閱讀本文大概需要 3.6 分鐘。

前段時間《一個出身寒門的狀元之死》刷屏了，當我看完了這篇文章，很有感觸，一開始我以為是事實，后來才發現完全是虛構，對于我來講并不是非常在乎文章中的故事是否是真實的，我在乎文章給我的那種生活體驗。

文中那個出身寒門的狀元，不為利益而犧牲自己的原則，也就是不做惡：比如在做家教時，有錢人家的學生讓他把寒假作業的答案發給他們，這樣他就可以獲得豐厚的報酬，然而他堅決不做，還為此挨了打。文中有很多這樣的事情。

那個出身寒門的狀元堅持不做惡，這也讓他處處碰壁，最后，竟得病死了，不管怎么說，這樣一身正氣，充滿正能量的人卻死了，周圍那些到處諂媚，逢場作戲的人卻活的好好的，不得不說這樣的結局讓很多人感到惋惜。我想這也是此文章有很多閱讀量的原因。作者的寫作手法非常高超：要引發人們的羨慕，就捧到天上，要賺取眼淚，就踩到泥里。人造的落差感，到底還是缺了點生活。

但是現在想看這篇文章時，已經無法訪問了。

當我看到這個時很震驚，心想這么好的閱讀體驗的文章就這么沒了，在網上搜索了好久都搜索不到。心里一陣堵。

唉，如何防止喜歡的公眾號文章被刪除呢？ 那就是當天就把該文章保存起來，有時間再回頭慢慢玩味。現在每個人都很忙，而且關注的公眾號也多，有沒有程序來幫我做這件事呢？

還真有，我搜索了一下，發現這樣一個好的開源項目：wechat-spider

界面預覽

1) 要爬取的微信公眾號列表

2) 要爬取的文章關鍵字列表

3) 已經爬取的微信文章

4) 查看文章，并標記是否可用

5) 控制爬取進程數

技術棧

python + django + redis + mysql

安裝

1)python環境, 檢查python的版本，是否為2.7.x，如果不是，安裝2.7.6。

如果是centos 6.x，升級python2.6到python2.7，參考教程 http://ruiaylin.github.io/2014/12/12/python%20update/

如果是centos 7.x，默認就是python2.7,不用升級

如果是mac osx，可以使用virtualenv，安裝python2.7

2)安裝依賴包, clone代碼
安裝Mysql-python依賴

yum?install?python-devel?mysql-devel?gcc

安裝lxml依賴

yum?install?libxslt-devel?libxml2-devel

安裝瀏覽器環境 selenium依賴.(如果是mac環境，僅需安裝firefox， 但確保版本是 firefox 36.0，使用最新的版本會報錯)

yum?install?xorg-x11-server-Xvfb
yum?upgrade?glib2?#?確保glib2版本大于2.42.2，否則firefox啟動會報錯?
yum?install?firefox?#?centos下安裝最新的firefox版本

clone代碼,安裝依賴python庫

$?git?clone?https://github.com/bowenpay/wechat-spider.git$?cd?wechat-spider$?pip?install?-r?requirements.txt

3) 創建mysql數據庫

創建數據庫wechatspider，默認采用utf8編碼。(如果系統支持，可以采用utf8mb4，以兼容emoji字符)

mysql>?CREATE?DATABASE?`wechatspider`?CHARACTER?SET?utf8;

4) 安裝和運行Redis

$?wget?http://download.redis.io/releases/redis-2.8.3.tar.gz$?tar?xzvf?redis-2.8.3.tar.gz$?cd?redis-2.8.3$?make$?make?install$?redis-server

5) 更新配置文件local_settings

在 wechatspider 目錄下,添加 local_settings.py 文件,配置如下:

#?-*-?coding:?utf-8?-*-
SECRET_KEY="xxxxxx"
CRAWLER_DEBUG?=?True#?aliyun?oss2,?可以將圖片和視頻存儲到阿里云，也可以選擇不存儲，爬取速度會更快。?默認不存儲。#OSS2_ENABLE?=?True#OSS2_CONFIG?=?{#????"ACCESS_KEY_ID":?"XXXXXXXXXXXXXX",#????"ACCESS_KEY_SECRET":?"YYYYYYYYYYYYYYYYYYYYYY",#????"ENDPOINT":?"",#????"BUCKET_DOMAIN":?"oss-cn-hangzhou.aliyuncs.com",#????"BUCKET_NAME":?"XXXXX",#????"IMAGES_PATH":?"images/",#????"VIDEOS_PATH":?"videos/",#????"CDN_DOMAIN":?"XXXXXX.oss-cn-hangzhou.aliyuncs.com"#}#?mysql?數據庫配置
DATABASES?=?{'default':?{'ENGINE':?'django.db.backends.mysql','HOST':?'127.0.0.1','NAME':?'wechatspider','USER':?'root','PASSWORD':?'','OPTIONS':{'charset':?'utf8mb4',
????????},
????}
}#?redis配置,用于消息隊列和k-v存儲
REDIS_OPTIONS?=?{'host':?'localhost','port':?6379,'password':?'','db':?4
}

6) 初始化表

$?python?manage.py?migrate

7)啟動網站

python?manage.py?runserver?0.0.0.0:8001

訪問 http://localhost:8001/。

6) 創建超級管理員賬號,訪問后臺，并配置要爬取的公眾號和關鍵字

python?manage.py?createsuperuser

8)啟動爬蟲

$?python?bin/scheduler.py$?python?bin/downloader.py$?python?bin/extractor.py$?python?bin/processor.py

以上步驟執行成功，并能爬取文章后，可以考慮使用 uwsgi + nginx 在生產環境部署。

項目 github 地址： https://github.com/bowenpay/wechat-spider

(完)

總結

以上是生活随笔為你收集整理的redis关键字删除_微信公众号文章防删除的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。