最近擔心一直關注的公眾號的文章突然失蹤，心心念念的文章一定要拽住自己手中才好。于是找了各種辦法，其實網上有代理采集的，想想為了長久之計還是自己研究一個辦法出來。

于是百度谷歌必應各種搜索引擎上手，第一次爬蟲經歷就這樣花生了~~~

好吧，其實也完全是照抄，感謝大神！

還沒有安裝python可以先下載一個anoconda3：https://www.anaconda.com/

1.終端加載python selenium模塊包

加載包

2.使用webdriver功能需要安裝對應瀏覽器的驅動插件，我用的是谷歌瀏覽器。安裝和瀏覽器版本對應的webdriver版本，解壓后記下 chromedriver.exe 路徑。對應版本查詢和下載鏈接：http://blog.csdn.net/huilan_same/article/details/51896672

3.注冊自己的公眾號：微信公眾號登陸地址：https://mp.weixin.qq.com/

4.參考：

我照抄代碼的那位大神：https://blog.csdn.net/d1240673769/article/details/75907152

崔慶才原文(另有探究代碼過程視頻)：https://mp.weixin.qq.com/s?__biz=MzI5NDY1MjQzNA==&mid=2247483970&idx=1&sn=cde40462d2346ded8e8c11ab4442bbab&chksm=ec5edd3fdb2954299e5b4736b3729014d4853e50e643de06640ba3af370753db069667511db1&mpshare=1&scene=1&srcid=0612suzxGJXTmoak9i81rRSZ&pass_ticket=YsJz0pUrK8Yj6XuoyHfGbfjFAgRZ9wHQMTLCnfaYLlQGaOXangzh2LWgrfB8lf76#rd

6.我的webdriver不知道是版本沒對上還是什么原因，不能實現自動輸入，注釋掉，手動輸入解決。

7.原文保存的是文章標題和鏈接，我需要保存到本地。用過兩種方法，一個是生成pdf格式，一個是保存為html格式。

(1)保存為html格式，終端加載pip install urllib,然后

import urllib.request

使用：urllib.request.urlretrieve('www.taobao.com','taobao.html')

(2)生成pdf較為復雜一些，不過有此方法，以后如果有需要，保存網址為pdf也方便許多。不過這方面的需求用印象筆記的瀏覽器插件已經相當滿足了。

pip intall pdfkit

pip install requests

pip install beautifulsoup4

安裝 wkhtmltopdf，Windows平臺直接在 http://wkhtmltopdf.org/downloads.html 下載穩定版的 wkhtmltopdf 進行安裝，安裝完成之后把該程序的執行路徑加入到系統環境 $PATH 變量中，否則 pdfkit 找不到 wkhtmltopdf 就出現錯誤 “No wkhtmltopdf executable found”

方便使用，自己寫了一個簡單的模塊：

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

'a html to pdf model'

'''

使用示例：python htmltopdf_dl.py www.taobao.com baidu.pdf

'''

_author_ = 'dengling'

import pdfkit

import sys

def htmltopdf_dl():

ags = sys.argv

pdfkit.from_url(ags[1],ags[2])

if __name__ =='__main__':

htmltopdf_dl()

8.缺點：(1)用這個方法只在一個安靜平和的夜晚奇妙地爬完了所有的文章。其余時候再也沒有完整的爬取過所有的鏈接了。(2)因為保存本地html時參數識別標題的特殊符號比如''時會出錯，所以不能一下子全轉換過來。(3)圖片不能一起保存下來。

完整代碼：

# -*- coding: utf-8 -*-

from selenium import webdriver

import time

import json

import requests

import re

import random

#微信公眾號賬號

user="你的賬戶"

#公眾號密碼

password="你的密碼"

#設置要爬取的公眾號列表

gzlist=['公眾號名字']

#登錄微信公眾號，獲取登錄之后的cookies信息，并保存到本地文本中

def weChat_login():

#定義一個空的字典，存放cookies內容

post={}

#用webdriver啟動谷歌瀏覽器

print("啟動瀏覽器，打開微信公眾號登錄界面")

driver = webdriver.Chrome(executable_path='E:\微信公眾號\chromedriver.exe')

#打開微信公眾號登錄頁面

driver.get('https://mp.weixin.qq.com/')

#等待5秒鐘

time.sleep(5)

print("正在輸入微信公眾號登錄賬號和密碼......")

#清空賬號框中的內容

driver.find_element_by_xpath("./*//input[@id='account']").clear()

#自動填入登錄用戶名

driver.find_element_by_xpath("./*//input[@id='account']").send_keys(user)

#清空密碼框中的內容

driver.find_element_by_xpath("./*//input[@id='pwd']").clear()

#自動填入登錄密碼

driver.find_element_by_xpath("./*//input[@id='pwd']").send_keys(password)

# 在自動輸完密碼之后需要手動點一下記住我

print("請在登錄界面點擊:記住賬號")

time.sleep(10)

#自動點擊登錄按鈕進行登錄

driver.find_element_by_xpath("./*//a[@id='loginBt']").click()

# 拿手機掃二維碼！

print("請拿手機掃碼二維碼登錄公眾號")

time.sleep(20)

print("登錄成功")

#重新載入公眾號登錄頁，登錄之后會顯示公眾號后臺首頁，從這個返回內容中獲取cookies信息

driver.get('https://mp.weixin.qq.com/')

#獲取cookies

cookie_items = driver.get_cookies()

#獲取到的cookies是列表形式，將cookies轉成json形式并存入本地名為cookie的文本中

for cookie_item in cookie_items:

post[cookie_item['name']] = cookie_item['value']

cookie_str = json.dumps(post)

with open('cookie.txt', 'w+', encoding='utf-8') as f:

f.write(cookie_str)

print("cookies信息已保存到本地")

#爬取微信公眾號文章，并存在本地文本中

def get_content(query):

#query為要爬取的公眾號名稱

#公眾號主頁

url = 'https://mp.weixin.qq.com'

#設置headers

header = {

"HOST": "mp.weixin.qq.com",

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0"

}

#讀取上一步獲取到的cookies

with open('cookie.txt', 'r', encoding='utf-8') as f:

cookie = f.read()

cookies = json.loads(cookie)

#登錄之后的微信公眾號首頁url變化為：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，從這里獲取token信息

response = requests.get(url=url, cookies=cookies)

token = re.findall(r'token=(\d+)', str(response.url))[0]

#搜索微信公眾號的接口地址

search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'

#搜索微信公眾號接口需要傳入的參數，有三個變量：微信公眾號token、隨機數random、搜索的微信公眾號名字

query_id = {

'action': 'search_biz',

'token' : token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'query': query,

'begin': '0',

'count': '5'

}

#打開搜索微信公眾號接口地址，需要傳入相關參數信息如：cookies、params、headers

search_response = requests.get(search_url, cookies=cookies, headers=header, params=query_id)

#取搜索結果中的第一個公眾號

lists = search_response.json().get('list')[0]

#獲取這個公眾號的fakeid，后面爬取公眾號文章需要此字段

fakeid = lists.get('fakeid')

#微信公眾號文章接口地址

appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'

#搜索文章需要傳入幾個參數：登錄的公眾號token、要爬取文章的公眾號fakeid、隨機數random

query_id_data = {

'token': token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'action': 'list_ex',

'begin': '0',#不同頁，此參數變化，變化規則為每頁加5

'count': '5',

'query': '',

'fakeid': fakeid,

'type': '9'

}

#打開搜索的微信公眾號文章列表頁

appmsg_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)

#獲取文章總數

max_num = appmsg_response.json().get('app_msg_cnt')

#每頁至少有5條，獲取文章總的頁數，爬取時需要分頁爬

num = int(int(max_num) / 5)

#起始頁begin參數，往后每頁加5

begin = 0

while num + 1 > 0 :

query_id_data = {

'token': token,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'random': random.random(),

'action': 'list_ex',

'begin': '{}'.format(str(begin)),

'count': '5',

'query': '',

'fakeid': fakeid,

'type': '9'

}

print('正在翻頁：--------------',begin)

#獲取每一頁文章的標題和鏈接地址，并寫入本地文本中

query_fakeid_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)

fakeid_list = query_fakeid_response.json().get('app_msg_list')

for item in fakeid_list:

content_link=item.get('link')

content_title=item.get('title')

fileName=query+'.txt'

with open(fileName,'a',encoding='utf-8') as fh:

fh.write(content_title+":\n"+content_link+"\n")

# fh.write("urllib.request.urlretrieve('"+content_link + "','" + content_title +".html')\n")由于還沒有解決標題的符號參數識別會報錯的問題，用了這個笨方法去解決的。

num -= 1

begin = int(begin)

begin+=5

time.sleep(2)

if __name__=='__main__':

try:

#登錄微信公眾號，獲取登錄之后的cookies信息，并保存到本地文本中

weChat_login()

#登錄之后，通過微信公眾號后臺提供的微信公眾號文章接口爬取文章

for query in gzlist:

#爬取微信公眾號文章，并存在本地文本中

print("開始爬取公眾號："+query)

get_content(query)

print("爬取完成")

except Exception as e:

print(str(e))

還好我要的文章都能下載下來了，圖片也沒有什么用，所以暫時已經能滿足了。至于解決這些問題，之后有時間有需要的時候再鉆研。

總結

以上是生活随笔為你收集整理的python 下载公众号文章_python3下载公众号历史文章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。