|
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 
Python爬虫可以访问网页内容并获取其中的值，如何将访问到的网页进行下载到本地呢？ Python3访问并下载网页内容的方法： #!/usr/local/bin/python3.2
import urllib.request,io,os,sys
req = urllib.request.Request("http://www.google.com")
f = urllib.request.urlopen(req)
s = f.read()
s = s.decode('gbk','ignore')
mdir = sys.path[0]+'/'
file = open(mdir+'admin6.txt','a',1,'gbk')
file.write(s)
file.close() |
