单页面抓图并且保存的爬虫
生活随笔
收集整理的這篇文章主要介紹了
单页面抓图并且保存的爬虫
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | #這個文件的目的是抓取http://baike.baidu.com/view/2975166.htm這個百度百科上的所有圖片,并且保存在電腦里。# #?-*-?coding:?cp936?-*- import?os from?bs4?import?BeautifulSoup import?re import?requests url="http://baike.baidu.com/view/2975166.htm"? #這個網站就是python開發者那個大白胖子的百度百科# AAA=requests.get(url) BBB=AAA.text #BBB是目標網站的源代碼文本,注意是文本!不然BS4不識別# soup=BeautifulSoup(BBB,"html.parser",from_encoding="utf-8") #這一步用BS4解析,他比正則表達式效果更好一點# links=soup.find_all("img") #定位所有以img開頭,并且以/img結尾的語句# i=1 for?each?in?links: ??print(str(i)+"is?OK!") ??pic=requests.get(each["src"]) ??#注意!這里用的是each["src"],因為requests.get是詢問一個網址,["src"]這是一個網址# ??f=open("e:/pythonaaa/a/"+str(i)+".jpg","wb") ??f.write(pic.content) ??#保存圖片的內容# ??i=i+1 f.close() |
這個程序在默認的idle 3.5里好用,在pycharm 啟動3.5模式的狀態下卻不行,提示requests.get有問題。我很奇怪。單頁面抓圖基本就是這么一個模式,也基本上屢試不爽。只要換換要抓的網頁url,然后起名的時候別起1,換一個數字,就OK了。
?本文轉自 蘇幕遮618 51CTO博客,原文鏈接:http://blog.51cto.com/chenx1242/1730554
總結
以上是生活随笔為你收集整理的单页面抓图并且保存的爬虫的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Linux系统环境查看已经登录用户信息及
- 下一篇: 开源性能测试工具JMeter快速入门(一