Python爬虫入门教程24：下载某网站付费文档保存PDF
前言💨
本文的文字及圖片來源于網絡,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯系我們以作處理。
前文內容💨
Python爬蟲入門教程01：豆瓣Top電影爬取
Python爬蟲入門教程02：小說爬取
Python爬蟲入門教程03：二手房數據爬取
Python爬蟲入門教程04：招聘信息爬取
Python爬蟲入門教程05：B站視頻彈幕的爬取
Python爬蟲入門教程06：爬取數據后的詞云圖制作
Python爬蟲入門教程07：騰訊視頻彈幕爬取
Python爬蟲入門教程08：爬取csdn文章保存成PDF
Python爬蟲入門教程09：多線程爬取表情包圖片
Python爬蟲入門教程10：彼岸壁紙爬取
Python爬蟲入門教程11：新版王者榮耀皮膚圖片的爬取
Python爬蟲入門教程12：英雄聯盟皮膚圖片的爬取
Python爬蟲入門教程13：高質量電腦桌面壁紙爬取
Python爬蟲入門教程14：有聲書音頻爬取
Python爬蟲入門教程15：音樂網站數據的爬取
Python爬蟲入門教程17：音樂歌曲的爬取
Python爬蟲入門教程18：好看視頻的爬取
Python爬取入門教程19：YY短視頻的爬取
Python爬蟲入門教程20：IP代理的爬取使用
Python爬蟲入門教程21：付費文檔的爬取
Python爬蟲入門教程22：百度翻譯JS解密
Python爬蟲入門教程23：A站視頻的爬取，解密m3u8視頻格式
PS：如有需要 Python學習資料 以及 解答 的小伙伴可以加點擊下方鏈接自行獲取
python免費學習資料以及群交流解答點擊即可加入
基本開發環境💨
- Python 3.6
- Pycharm
相關模塊的使用💨
import requests import parsel import re import os import pdfkit安裝Python并添加到環境變量，pip安裝需要的相關模塊即可。
需要使用到一個軟件 wkhtmltopdf 這個軟件的作用就是把html文件轉成PDF
（軟件可以點擊上方鏈接在學習交流群中即可獲取）
想要把文檔內容保存成PDF， 首先保存成html文件， 然后把html文件轉PDF
💥需求數據來源分析
寫爬蟲程序，對于數據來源的分析，是比較重要的，因為只有當你知道數據的來源你才能通過代碼去實現
網站分類有比較多種， 也可以選擇自己要爬取的。
這個網站如果你只是正常直接去復制文章內容的話，會直接彈出需要費的窗口…
但是這個網站上面的數據內容又非常好找， 因為網站本身僅僅只是靜態網頁數據，可以直接獲取相關的內容。
通過上述內容，如果想要批量下載文章內容， 獲取每篇文章的url地址即可， 想要獲取每篇文章的url地址，這就需要去文章的列表頁面找尋相關的數據內容了。
💥整體思路
💥代碼實現
import requests import parsel import re import os import pdfkithtml_filename = 'html\\' if not os.path.exists(html_filename):os.mkdir(html_filename)pdf_filename = 'pdf\\' if not os.path.exists(pdf_filename):os.mkdir(pdf_filename)html_str = """ <!doctype html> <html lang="en"> <head><meta charset="UTF-8"><title>Document</title> </head> <body> {article} </body> </html> """def change_title(name):pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |'new_title = re.sub(pattern, "_", name) # 替換為下劃線return new_titlefor page in range(1, 11):print(f'正在爬取第{page}頁數據內容')url = f'https://www.chinawenwang.com/zlist-55-{page}.html'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}response = requests.get(url=url, headers=headers)href = re.findall('<h2><a href="(.*?)" class="juhe-page-left-div-link">', response.text)for index in href:response_1 = requests.get(url=index, headers=headers)selector = parsel.Selector(response_1.text)title = selector.css('.content-page-header-div h1::text').get()title = change_title(title)content = selector.css('.content-page-main-content-div').get()article = html_str.format(article=content)html_path = html_filename + title + '.html'pdf_path = pdf_filename + title + '.pdf'try:with open(html_path, mode='w', encoding='utf-8') as f:f.write(article)# exe 文件存放的路徑config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')# 把 html 通過 pdfkit 變成 pdf 文件pdfkit.from_file(html_path, pdf_path, configuration=config)print(f'{title}保存成功...')except:pass💥實現效果
總結
以上是生活随笔為你收集整理的Python爬虫入门教程24：下载某网站付费文档保存PDF的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： IDEA解决Tomcat乱码问题
- 下一篇： python怎么根据度分布生成网络_py