Python標準庫——urllib模塊

功能：打開URL和http協議之類 python 3.x中urllib庫和urilib2庫合并成了urllib庫。其中urllib2.urlopen()變成了urllib.request.urlopen()urllib2.Request()變成了urllib.request.Request()

urllib請求返回網頁

urllib.request.urlopen

urllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]])

urllib.requset.urlioen可以打開HTTP（主要）、HTTPS、FTP、協議的URL

• ca 身份驗證
• data 以post方式提交URL時使用
• url 提交網絡地址（全程 前端需協議名 后端需端口 http:/192.168.1.1:80）
• timeout 超時時間設置

---

函數返回對象有三個額外的方法

• geturl() 返回response的url信息 常用與url重定向
• info()返回response的基本信息
• getcode()返回response的狀態代碼

200：success 404：服務器不存在 503：服務器暫停訪問 #coding:utf-8 import urllib.request import time import platform#清屏函數(無關緊要 可以不寫) def clear():print(u"內容過多 3秒后清屏")time.sleep(3)OS = platform.system()if (OS == u'Windows'):os.system('cls')else:os.system('clear') #訪問函數 def linkbaidu():url = 'http://www.baidu.com'try:response = urllib.request.urlopen(url,timeout=3)except urllib.URLError:print(u'網絡地址錯誤')exit()with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:response = urllib.request.urlopen(url,timeout=3)fp.write(response.read())print(u'獲取url信息，response.geturl()\n:%s'%response.getrul())print(u'獲取返回代碼，response.getcode()\n:%s' % response.getcode())print(u'獲取返回信息，response.info()\n:%s' % response.info())print(u"獲取的網頁信息經存與baidu.txt")if __name__ =='main':linkbaidu()

Python標準庫–logging模塊
logging模塊能夠代替print函數的功能，將標準輸出到日志文件保存起來，利用loggin模塊可以部分替代debug
re模塊
正則表達式
sys模塊
系統相關模塊

• sys.argv(返回一個列表，包含所有的命令行)
• sys.exit(退出程序)

---

---

Scrapy框架

urllib和re配合使用已經太落后，現在主流的是Scrapy框架

轉載于:https://www.cnblogs.com/oifengo/p/9385950.html

總結

以上是生活随笔為你收集整理的Python爬虫常用模块的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。