redis关键字删除_微信公众号文章防删除
閱讀本文大概需要 3.6 分鐘。
前段時(shí)間《一個(gè)出身寒門(mén)的狀元之死》刷屏了,當(dāng)我看完了這篇文章,很有感觸,一開(kāi)始我以為是事實(shí),后來(lái)才發(fā)現(xiàn)完全是虛構(gòu),對(duì)于我來(lái)講并不是非常在乎文章中的故事是否是真實(shí)的,我在乎文章給我的那種生活體驗(yàn)。
文中那個(gè)出身寒門(mén)的狀元,不為利益而犧牲自己的原則,也就是不做惡:比如在做家教時(shí),有錢(qián)人家的學(xué)生讓他把寒假作業(yè)的答案發(fā)給他們,這樣他就可以獲得豐厚的報(bào)酬,然而他堅(jiān)決不做,還為此挨了打。文中有很多這樣的事情。
那個(gè)出身寒門(mén)的狀元堅(jiān)持不做惡,這也讓他處處碰壁,最后,竟得病死了,不管怎么說(shuō),這樣一身正氣,充滿(mǎn)正能量的人卻死了,周?chē)切┑教幷~媚,逢場(chǎng)作戲的人卻活的好好的,不得不說(shuō)這樣的結(jié)局讓很多人感到惋惜。我想這也是此文章有很多閱讀量的原因。作者的寫(xiě)作手法非常高超:要引發(fā)人們的羨慕,就捧到天上,要賺取眼淚,就踩到泥里。人造的落差感,到底還是缺了點(diǎn)生活。
但是現(xiàn)在想看這篇文章時(shí),已經(jīng)無(wú)法訪問(wèn)了。
當(dāng)我看到這個(gè)時(shí)很震驚,心想這么好的閱讀體驗(yàn)的文章就這么沒(méi)了,在網(wǎng)上搜索了好久都搜索不到。心里一陣堵。
唉,如何防止喜歡的公眾號(hào)文章被刪除呢? 那就是當(dāng)天就把該文章保存起來(lái),有時(shí)間再回頭慢慢玩味。現(xiàn)在每個(gè)人都很忙,而且關(guān)注的公眾號(hào)也多,有沒(méi)有程序來(lái)幫我做這件事呢?
還真有,我搜索了一下,發(fā)現(xiàn)這樣一個(gè)好的開(kāi)源項(xiàng)目:wechat-spider
界面預(yù)覽
1) 要爬取的微信公眾號(hào)列表
2) 要爬取的文章關(guān)鍵字列表
3) 已經(jīng)爬取的微信文章
4) 查看文章,并標(biāo)記是否可用
5) 控制爬取進(jìn)程數(shù)
技術(shù)棧
python + django + redis + mysql
安裝
1)python環(huán)境, 檢查python的版本,是否為2.7.x,如果不是,安裝2.7.6。
如果是centos 6.x,升級(jí)python2.6到python2.7,參考教程 http://ruiaylin.github.io/2014/12/12/python%20update/
如果是centos 7.x,默認(rèn)就是python2.7,不用升級(jí)
如果是mac osx,可以使用virtualenv,安裝python2.7
2)安裝依賴(lài)包, clone代碼
安裝Mysql-python依賴(lài)
yum?install?python-devel?mysql-devel?gcc
安裝lxml依賴(lài)
yum?install?libxslt-devel?libxml2-devel
安裝瀏覽器環(huán)境 selenium依賴(lài).(如果是mac環(huán)境,僅需安裝firefox, 但確保版本是 firefox 36.0,使用最新的版本會(huì)報(bào)錯(cuò))
yum?install?xorg-x11-server-Xvfb
yum?upgrade?glib2?#?確保glib2版本大于2.42.2,否則firefox啟動(dòng)會(huì)報(bào)錯(cuò)?
yum?install?firefox?#?centos下安裝最新的firefox版本
clone代碼,安裝依賴(lài)python庫(kù)
$?git?clone?https://github.com/bowenpay/wechat-spider.git$?cd?wechat-spider$?pip?install?-r?requirements.txt
3) 創(chuàng)建mysql數(shù)據(jù)庫(kù)
創(chuàng)建數(shù)據(jù)庫(kù)wechatspider,默認(rèn)采用utf8編碼。(如果系統(tǒng)支持,可以采用utf8mb4,以兼容emoji字符)
mysql>?CREATE?DATABASE?`wechatspider`?CHARACTER?SET?utf8;
4) 安裝和運(yùn)行Redis
$?wget?http://download.redis.io/releases/redis-2.8.3.tar.gz$?tar?xzvf?redis-2.8.3.tar.gz$?cd?redis-2.8.3$?make$?make?install$?redis-server
5) 更新配置文件local_settings
在 wechatspider 目錄下,添加 local_settings.py 文件,配置如下:
#?-*-?coding:?utf-8?-*-
SECRET_KEY="xxxxxx"
CRAWLER_DEBUG?=?True#?aliyun?oss2,?可以將圖片和視頻存儲(chǔ)到阿里云,也可以選擇不存儲(chǔ),爬取速度會(huì)更快。?默認(rèn)不存儲(chǔ)。#OSS2_ENABLE?=?True#OSS2_CONFIG?=?{#????"ACCESS_KEY_ID":?"XXXXXXXXXXXXXX",#????"ACCESS_KEY_SECRET":?"YYYYYYYYYYYYYYYYYYYYYY",#????"ENDPOINT":?"",#????"BUCKET_DOMAIN":?"oss-cn-hangzhou.aliyuncs.com",#????"BUCKET_NAME":?"XXXXX",#????"IMAGES_PATH":?"images/",#????"VIDEOS_PATH":?"videos/",#????"CDN_DOMAIN":?"XXXXXX.oss-cn-hangzhou.aliyuncs.com"#}#?mysql?數(shù)據(jù)庫(kù)配置
DATABASES?=?{'default':?{'ENGINE':?'django.db.backends.mysql','HOST':?'127.0.0.1','NAME':?'wechatspider','USER':?'root','PASSWORD':?'','OPTIONS':{'charset':?'utf8mb4',
????????},
????}
}#?redis配置,用于消息隊(duì)列和k-v存儲(chǔ)
REDIS_OPTIONS?=?{'host':?'localhost','port':?6379,'password':?'','db':?4
}
6) 初始化表
$?python?manage.py?migrate
7)啟動(dòng)網(wǎng)站
python?manage.py?runserver?0.0.0.0:8001
訪問(wèn) http://localhost:8001/。
6) 創(chuàng)建超級(jí)管理員賬號(hào),訪問(wèn)后臺(tái),并配置要爬取的公眾號(hào)和關(guān)鍵字
python?manage.py?createsuperuser
8)啟動(dòng)爬蟲(chóng)
$?python?bin/scheduler.py$?python?bin/downloader.py$?python?bin/extractor.py$?python?bin/processor.py
以上步驟執(zhí)行成功,并能爬取文章后,可以考慮使用 uwsgi + nginx 在生產(chǎn)環(huán)境部署。
項(xiàng)目 github 地址: https://github.com/bowenpay/wechat-spider
(完)
總結(jié)
以上是生活随笔為你收集整理的redis关键字删除_微信公众号文章防删除的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: c语言练习的软件,我想学C语言,在自己的
- 下一篇: jdk1.6的项目可以用1.8吗_摩托车