閱讀本文大概需要 3.6 分鐘。

前段時(shí)間《一個(gè)出身寒門(mén)的狀元之死》刷屏了，當(dāng)我看完了這篇文章，很有感觸，一開(kāi)始我以為是事實(shí)，后來(lái)才發(fā)現(xiàn)完全是虛構(gòu)，對(duì)于我來(lái)講并不是非常在乎文章中的故事是否是真實(shí)的，我在乎文章給我的那種生活體驗(yàn)。

文中那個(gè)出身寒門(mén)的狀元，不為利益而犧牲自己的原則，也就是不做惡：比如在做家教時(shí)，有錢(qián)人家的學(xué)生讓他把寒假作業(yè)的答案發(fā)給他們，這樣他就可以獲得豐厚的報(bào)酬，然而他堅(jiān)決不做，還為此挨了打。文中有很多這樣的事情。

那個(gè)出身寒門(mén)的狀元堅(jiān)持不做惡，這也讓他處處碰壁，最后，竟得病死了，不管怎么說(shuō)，這樣一身正氣，充滿(mǎn)正能量的人卻死了，周?chē)切┑教幷~媚，逢場(chǎng)作戲的人卻活的好好的，不得不說(shuō)這樣的結(jié)局讓很多人感到惋惜。我想這也是此文章有很多閱讀量的原因。作者的寫(xiě)作手法非常高超：要引發(fā)人們的羨慕，就捧到天上，要賺取眼淚，就踩到泥里。人造的落差感，到底還是缺了點(diǎn)生活。

但是現(xiàn)在想看這篇文章時(shí)，已經(jīng)無(wú)法訪問(wèn)了。

當(dāng)我看到這個(gè)時(shí)很震驚，心想這么好的閱讀體驗(yàn)的文章就這么沒(méi)了，在網(wǎng)上搜索了好久都搜索不到。心里一陣堵。

唉，如何防止喜歡的公眾號(hào)文章被刪除呢？ 那就是當(dāng)天就把該文章保存起來(lái)，有時(shí)間再回頭慢慢玩味。現(xiàn)在每個(gè)人都很忙，而且關(guān)注的公眾號(hào)也多，有沒(méi)有程序來(lái)幫我做這件事呢？

還真有，我搜索了一下，發(fā)現(xiàn)這樣一個(gè)好的開(kāi)源項(xiàng)目：wechat-spider

界面預(yù)覽

1) 要爬取的微信公眾號(hào)列表

2) 要爬取的文章關(guān)鍵字列表

3) 已經(jīng)爬取的微信文章

4) 查看文章，并標(biāo)記是否可用

5) 控制爬取進(jìn)程數(shù)

技術(shù)棧

python + django + redis + mysql

安裝

1)python環(huán)境, 檢查python的版本，是否為2.7.x，如果不是，安裝2.7.6。

如果是centos 6.x，升級(jí)python2.6到python2.7，參考教程 http://ruiaylin.github.io/2014/12/12/python%20update/

如果是centos 7.x，默認(rèn)就是python2.7,不用升級(jí)

如果是mac osx，可以使用virtualenv，安裝python2.7

2)安裝依賴(lài)包, clone代碼
安裝Mysql-python依賴(lài)

yum?install?python-devel?mysql-devel?gcc

安裝lxml依賴(lài)

yum?install?libxslt-devel?libxml2-devel

安裝瀏覽器環(huán)境 selenium依賴(lài).(如果是mac環(huán)境，僅需安裝firefox， 但確保版本是 firefox 36.0，使用最新的版本會(huì)報(bào)錯(cuò))

yum?install?xorg-x11-server-Xvfb
yum?upgrade?glib2?#?確保glib2版本大于2.42.2，否則firefox啟動(dòng)會(huì)報(bào)錯(cuò)?
yum?install?firefox?#?centos下安裝最新的firefox版本

clone代碼,安裝依賴(lài)python庫(kù)

$?git?clone?https://github.com/bowenpay/wechat-spider.git$?cd?wechat-spider$?pip?install?-r?requirements.txt

3) 創(chuàng)建mysql數(shù)據(jù)庫(kù)

創(chuàng)建數(shù)據(jù)庫(kù)wechatspider，默認(rèn)采用utf8編碼。(如果系統(tǒng)支持，可以采用utf8mb4，以兼容emoji字符)

mysql>?CREATE?DATABASE?`wechatspider`?CHARACTER?SET?utf8;

4) 安裝和運(yùn)行Redis

$?wget?http://download.redis.io/releases/redis-2.8.3.tar.gz$?tar?xzvf?redis-2.8.3.tar.gz$?cd?redis-2.8.3$?make$?make?install$?redis-server

5) 更新配置文件local_settings

在 wechatspider 目錄下,添加 local_settings.py 文件,配置如下:

#?-*-?coding:?utf-8?-*-
SECRET_KEY="xxxxxx"
CRAWLER_DEBUG?=?True#?aliyun?oss2,?可以將圖片和視頻存儲(chǔ)到阿里云，也可以選擇不存儲(chǔ)，爬取速度會(huì)更快。?默認(rèn)不存儲(chǔ)。#OSS2_ENABLE?=?True#OSS2_CONFIG?=?{#????"ACCESS_KEY_ID":?"XXXXXXXXXXXXXX",#????"ACCESS_KEY_SECRET":?"YYYYYYYYYYYYYYYYYYYYYY",#????"ENDPOINT":?"",#????"BUCKET_DOMAIN":?"oss-cn-hangzhou.aliyuncs.com",#????"BUCKET_NAME":?"XXXXX",#????"IMAGES_PATH":?"images/",#????"VIDEOS_PATH":?"videos/",#????"CDN_DOMAIN":?"XXXXXX.oss-cn-hangzhou.aliyuncs.com"#}#?mysql?數(shù)據(jù)庫(kù)配置
DATABASES?=?{'default':?{'ENGINE':?'django.db.backends.mysql','HOST':?'127.0.0.1','NAME':?'wechatspider','USER':?'root','PASSWORD':?'','OPTIONS':{'charset':?'utf8mb4',
????????},
????}
}#?redis配置,用于消息隊(duì)列和k-v存儲(chǔ)
REDIS_OPTIONS?=?{'host':?'localhost','port':?6379,'password':?'','db':?4
}

6) 初始化表

$?python?manage.py?migrate

7)啟動(dòng)網(wǎng)站

python?manage.py?runserver?0.0.0.0:8001

訪問(wèn) http://localhost:8001/。

6) 創(chuàng)建超級(jí)管理員賬號(hào),訪問(wèn)后臺(tái)，并配置要爬取的公眾號(hào)和關(guān)鍵字

python?manage.py?createsuperuser

8)啟動(dòng)爬蟲(chóng)

$?python?bin/scheduler.py$?python?bin/downloader.py$?python?bin/extractor.py$?python?bin/processor.py

以上步驟執(zhí)行成功，并能爬取文章后，可以考慮使用 uwsgi + nginx 在生產(chǎn)環(huán)境部署。

項(xiàng)目 github 地址： https://github.com/bowenpay/wechat-spider

(完)

總結(jié)

以上是生活随笔為你收集整理的redis关键字删除_微信公众号文章防删除的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。