单页面抓图并且保存的爬虫
生活随笔
收集整理的這篇文章主要介紹了
单页面抓图并且保存的爬虫
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | #這個(gè)文件的目的是抓取http://baike.baidu.com/view/2975166.htm這個(gè)百度百科上的所有圖片，并且保存在電腦里。# #?-*-?coding:?cp936?-*- import?os from?bs4?import?BeautifulSoup import?re import?requests url="http://baike.baidu.com/view/2975166.htm"? #這個(gè)網(wǎng)站就是python開(kāi)發(fā)者那個(gè)大白胖子的百度百科# AAA=requests.get(url) BBB=AAA.text #BBB是目標(biāo)網(wǎng)站的源代碼文本,注意是文本！不然BS4不識(shí)別# soup=BeautifulSoup(BBB,"html.parser",from_encoding="utf-8") #這一步用BS4解析，他比正則表達(dá)式效果更好一點(diǎn)# links=soup.find_all("img") #定位所有以img開(kāi)頭，并且以/img結(jié)尾的語(yǔ)句# i=1 for?each?in?links: ??print(str(i)+"is?OK!") ??pic=requests.get(each["src"]) ??#注意！這里用的是each["src"]，因?yàn)閞equests.get是詢(xún)問(wèn)一個(gè)網(wǎng)址，["src"]這是一個(gè)網(wǎng)址# ??f=open("e:/pythonaaa/a/"+str(i)+".jpg","wb") ??f.write(pic.content) ??#保存圖片的內(nèi)容# ??i=i+1 f.close() |
這個(gè)程序在默認(rèn)的idle 3.5里好用，在pycharm 啟動(dòng)3.5模式的狀態(tài)下卻不行，提示requests.get有問(wèn)題。我很奇怪。單頁(yè)面抓圖基本就是這么一個(gè)模式，也基本上屢試不爽。只要換換要抓的網(wǎng)頁(yè)url，然后起名的時(shí)候別起1，換一個(gè)數(shù)字，就OK了。
?本文轉(zhuǎn)自 蘇幕遮618 51CTO博客，原文鏈接:http://blog.51cto.com/chenx1242/1730554
總結(jié)
以上是生活随笔為你收集整理的单页面抓图并且保存的爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Linux系统环境查看已经登录用户信息及
- 下一篇： 开源性能测试工具JMeter快速入门（一