All IT eBooks多線程爬取-寫在前面

對一個爬蟲愛好者來說，或多或少都有這么一點點的收集癖 ~ 發現好的圖片，發現好的書籍，發現各種能存放在電腦上的東西，都喜歡把它批量的爬取下來。 然后放著，是的，就這么放著.......然后慢慢的遺忘掉.....

All IT eBooks多線程爬取-爬蟲分析

打開網址 http://www.allitebooks.com/ 發現特別清晰的小頁面，一看就好爬

在點擊一本圖書進入，發現下載的小鏈接也很明顯的展示在了我們面前，小激動一把，這么清晰無廣告的網站不多見了。

All IT eBooks多線程爬取-擼代碼

這次我采用了一個新的模塊 requests-html 這個模塊的作者之前開發了一款 requests，你應該非常熟悉了，線程控制采用的 queue
安裝 requests-html 模塊

pip install requests-html

關于這個模塊的使用，你只需要使用搜索引擎搜索一下這個模塊名稱，那文章也是很多滴，作為能學到這篇博客的你來說，是很簡單的拉~

我們編寫一下核心的內容

from requests_html import HTMLSession from queue import Queue import requests import randomimport threading CARWL_EXIT = False DOWN_EXIT = False##### # 其他代碼 #### if __name__ == '__main__':page_queue = Queue(5)for i in range(1,6):page_queue.put(i) # 把頁碼存儲到page_queue里面# 采集結果data_queue = Queue()# 記錄線程列表thread_crawl = []# 每次開啟5個線程craw_list = ["采集線程1號","采集線程2號","采集線程3號","采集線程4號","采集線程5號"]for thread_name in craw_list:c_thread = ThreadCrawl(thread_name,page_queue,data_queue)c_thread.start()thread_crawl.append(c_thread)while not page_queue.empty():pass# 如果page_queue為空，采集線程退出循環CARWL_EXIT = Truefor thread in thread_crawl:thread.join()print("抓取線程結束")

上面就是爬取圖書詳情頁面的線程了，我開啟了5個線程爬取，頁碼也只爬取了5 頁，如果你需要更多的，只需要修改

page_queue = Queue(5)for i in range(1,6):page_queue.put(i) # 把頁碼存儲到page_queue里面

下面我們把 ThreadCrawl 類編寫完畢

session = HTMLSession()# 這個地方是 User_Agents 以后我把他配置到服務器上面，就可以遠程獲取了 這個列表里面有很多項，你自己去源碼里面找吧 USER_AGENTS = ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20" ] # 獲取圖書下載鏈接的線程類 class ThreadCrawl(threading.Thread):# 構造函數def __init__(self,thread_name,page_queue,data_queue):super(ThreadCrawl,self).__init__()self.thread_name = thread_nameself.page_queue = page_queueself.data_queue = data_queueself.page_url = "http://www.allitebooks.com/page/{}" #URL拼接模板def run(self):print(self.thread_name+" 啟動*********")while not CARWL_EXIT:try:page = self.page_queue.get(block=False)page_url = self.page_url.format(page) # 拼接URL操作self.get_list(page_url) # 分析頁面鏈接 except Exception as e:print(e)break# 獲取當前列表頁所有圖書鏈接def get_list(self,url):try:response = session.get(url)except Exception as e:print(e)raise eall_link = response.html.find('.entry-title>a') # 獲取頁面所有圖書詳情鏈接for link in all_link:self.get_book_url(link.attrs['href']) # 獲取圖書鏈接# 獲取圖書下載鏈接def get_book_url(self,url):try:response = session.get(url)except Exception as e:print(e)raise edownload_url = response.html.find('.download-links a', first=True)if download_url is not None: # 如果下載鏈接存在，那么繼續下面的爬取工作link = download_url.attrs['href']self.data_queue.put(link) # 把圖書下載地址 存儲到 data_queue里面，準備后面的下載print("抓取到{}".format(link))

上述代碼一個非常重要的內容就是把圖書的下載鏈接存儲到了data_queue 里面，這些數據 在另一個下載線程里面是最基本的數據。

下面開始 編寫圖書下載的類和方法。

我開啟了4個線程，操作和上面的非常類似

class ThreadDown(threading.Thread):def __init__(self, thread_name, data_queue):super(ThreadDown, self).__init__()self.thread_name = thread_nameself.data_queue = data_queuedef run(self):print(self.thread_name + ' 啟動************')while not DOWN_EXIT:try:book_link = self.data_queue.get(block=False)self.download(book_link)except Exception as e:passdef download(self,url):# 隨機瀏覽器User-Agentheaders = {"User-Agent":random.choice(USER_AGENTS)}# 獲取文件名字filename = url.split('/')[-1]# 如果url里面包含pdfif '.pdf' in url or '.epub' in url:file = 'book/'+filename # 文件路徑已經寫死，請在跟目錄先創建好一個book文件夾with open(file,'wb') as f: # 開始二進制寫文件print("正在下載 {}".format(filename))response = requests.get(url,stream=True,headers=headers)# 獲取文件大小totle_length = response.headers.get("content-length")# 如果文件大小不存在，則直接寫入返回的文本if totle_length is None:f.write(response.content)else:for data in response.iter_content(chunk_size=4096):f.write(data)else:f.close()print("{}下載完成".format(filename))if __name__ == '__main__': # 其他代碼在上面thread_image = []image_list = ['下載線程1號', '下載線程2號', '下載線程3號', '下載線程4號']for thread_name in image_list:d_thread = ThreadDown(thread_name, data_queue)d_thread.start()thread_image.append(d_thread)while not data_queue.empty():passDOWN_EXIT = Truefor thread in thread_image:thread.join()print("下載線程結束")

如果你把我上面的代碼都組合完畢，那么應該可以很快速的去爬取圖書了，當然這些圖書都是英文了，下載下來你能不能讀....... 我就不知道了。

源碼下載地址，去上篇博客找吧~~~~

轉載于:https://www.cnblogs.com/happymeng/p/10188468.html

總結

以上是生活随笔為你收集整理的Python爬虫入门教程 14-100 All IT eBooks多线程爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。