python爬取正确但不出文件_[求助] Python 爬虫爬取豆瓣_请不要害羞,语法没有报错,但是最终没有得到图片,请各位大神帮我看看,到底哪里出现了问题??急求...
don't be shy.py
#coding=utf-8
import requests #導入 requests 模塊
from bs4 import BeautifulSoup #導入 BeautifulSoup 模塊
import os #導入 os 模塊
class haixiu():
def __init__(self): #類的初始化操作
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0'} #給請求指定一個請求頭來模擬 ff 瀏覽器
self.web_url = 'http://www.dbmeinv.com/dbgroup/current.htm?gid=haixiuzu' #要訪問的網頁地址
self.folder_path = 'D:\haixiu' #設置圖片要存放的文件目錄
def get_pic(self):
print('開始網頁 get 請求')
r = self.request(self.web_url)
print('開始獲取所有 a 標簽')
all_a = BeautifulSoup(r.text, 'lxml').find_all('a', class_='links') #獲取網頁中的 class 為 links 的所有 a 標簽
print('開始創建文件夾')
self.mkdir(self.folder_path) #創建文件夾
print('開始切換文件夾')
os.chdir(self.folder_path) #切換路徑至上面創建的文件夾
for a in all_a:
img_str = a['src']
print('a 標簽的 style 內容是:',img_str)
img_name = a['title']
self.save_img(img_str, img_name) #調用 save_img 方法來保存圖片
def save_img(self, url, name): ##保存圖片
print('開始請求圖片地址,過程會有點長...')
img = self.request(url)
file_name = name + '.jpg'
print('開始保存圖片')
f = open(file_name, 'ab')
f.write(img.content)
print(file_name,'圖片保存成功!')
f.close()
def request(self, url): #返回網頁的 response
r = requests.get(url, headers=self.headers) # 像目標 url 地址發送 get 請求,返回一個 response 對象。有沒有 headers 參數都可以。
return r
def mkdir(self, path): ##這個函數創建文件夾
path = path.strip()
isExists = os.path.exists(path)
if not isExists:
print('創建名字叫做', path, '的文件夾')
os.makedirs(path)
print('創建成功!')
else:
print(path, '文件夾已經存在了,不再創建')
beauty = haixiu() #創建類的實例
beauty.get_pic() #執行類中的方法
(望大神指點,謝謝!!)
總結
以上是生活随笔為你收集整理的python爬取正确但不出文件_[求助] Python 爬虫爬取豆瓣_请不要害羞,语法没有报错,但是最终没有得到图片,请各位大神帮我看看,到底哪里出现了问题??急求...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java计算时间差_JAVA并发编程三大
- 下一篇: pythonfor输入多个数字_我一天学