點(diǎn)擊上方“AirPython”，選擇“加為星標(biāo)”

第一時(shí)間關(guān)注 Python 技術(shù)干貨！

1. 場景

經(jīng)常有小伙伴在交流群問我，每天的早報(bào)新聞是怎么獲取的？

其實(shí)，早期使用的方案，是利用爬蟲獲取到一些新聞網(wǎng)站的標(biāo)題，然后做了一些簡單的數(shù)據(jù)清洗，最后利用 itchat 發(fā)送到指定的社群中。

由于爬蟲面對?網(wǎng)站改版的不穩(wěn)定性及 itchat 不安全性，所以放棄了這種方案

后期更改了一種方案，通過修改爬蟲方案，創(chuàng)建 API 服務(wù)，編寫 App 去獲取數(shù)據(jù)，然后手動發(fā)送到微信群

本篇文章將和大家詳細(xì)聊聊具體的實(shí)現(xiàn)過程

2. 數(shù)據(jù)爬取

第 1 步，通過 Python 爬蟲獲取數(shù)據(jù)

獲取方式有 2 種，分別是：已有的新聞早報(bào)網(wǎng)站、新聞網(wǎng)站的頭條新聞

選擇一種爬蟲方式，就能很快地爬取到目標(biāo)網(wǎng)站的數(shù)據(jù)

第 2 步，數(shù)據(jù)清洗，排序

將爬取到的數(shù)據(jù)先進(jìn)行一次關(guān)鍵字篩選，然后按照點(diǎn)贊或者閱讀數(shù)按照熱點(diǎn)進(jìn)行排序

第 3 步，參數(shù)化，去重

去掉數(shù)據(jù)中重復(fù)的新聞，然后將最后展示的數(shù)目參數(shù)化

#?按照點(diǎn)贊數(shù)目，降序排列
news_sorted_pro?=?sorted(news,?key=itemgetter('news_approve_num'),?reverse=True)

result?=?[]

for?news_sorted_item?in?news_sorted_pro:
??????result.append(news_sorted_item.get('title'))

#?去重
result?=?sorted(set(result),?key=result.index)

#?只取前12條數(shù)據(jù)
result?=?result[:self.news_num]?if?len(result)?>=?self.news_num?else?result

需要注意的是，由于新聞網(wǎng)站會經(jīng)常改版，建議爬取多個(gè)新聞網(wǎng)站，做好異常處理，做一個(gè)優(yōu)先級，如果一個(gè)網(wǎng)站爬取數(shù)據(jù)失敗，切換到下一個(gè)級別的網(wǎng)站爬取數(shù)據(jù)

3. 服務(wù)化

將數(shù)據(jù)服務(wù)化，即編寫 API，目的是為了方便終端調(diào)用

如果使用 Python 編寫 API，建議使用 FastAPI 或 Flask 框架，因?yàn)檫@兩個(gè)框架開發(fā) API?方便快捷，以 FastAPI 為例：

第 1 步，安裝依賴

包含 FastAPI 框架及?hypercorn 依賴，hypercorn 是獨(dú)立的 ASGI 服務(wù)器，方便 FastAPI 項(xiàng)目的部署

#?FastAPI框架
pip3?install?fastapi

pip3?install?hypercorn

第 2?步，編寫 API

使用 FastAPI 很方便，不到?10 行代碼就能編寫一個(gè)接口服務(wù)

只需要實(shí)例化 FastAPI 對象，利用裝飾器指定請求方法和路徑即可，調(diào)用上面的爬蟲方法即可。

from?fastapi?import?FastAPI

#?實(shí)例化
app?=?FastAPI()

#?API，Get方式
@app.get("/last_news")
def?get_last_news():
????"""
????最新的新聞
????:return:
????"""
????news?=?get_news()

????data?=?{
????????'code':?0,
????????'news':?news
????}

????#?封裝
????return?data

如要想本地調(diào)試 API，可以通過 uvicorn?命令運(yùn)行項(xiàng)目

#?運(yùn)行項(xiàng)目
uvicorn?news:app?--reload

然后訪問下面的地址，查看返回的新聞數(shù)據(jù)

http://127.0.0.1:8000/last_news

第 3 步，生成依賴遷移文件

使用 pip?freeze 命令將在本地生成依賴遷移文件

#?生成遷移文件
pip?freeze?>?requirements.txt

第 4 步，上傳代碼

將代碼上傳到代碼托管平臺，比如：碼云、GitLab 等

第 5 步，服務(wù)器拉取代碼

服務(wù)器中通過 git 拉取代碼，并通過依賴文件一鍵安裝所有依賴

#?安裝依賴
pip3?install?-r?requirements.txt

第 6 步，運(yùn)行服務(wù)

使用 hypercorn 運(yùn)行 FastAPI 項(xiàng)目，使進(jìn)程一直在后臺運(yùn)行，并保存運(yùn)行日志信息

#?后臺運(yùn)行
#?保存日志，綁定端口號為：8000
#?nohup?hypercorn?news:app?--bind?0.0.0.0:8000?>?/news.log?2>&1?&

需要注意的是，項(xiàng)目綁定的端口號需要在防火墻和云服務(wù)器安全組開啟

當(dāng)然，如果使用 Java 編寫 API，推薦使用?Spring Boot，可以快速開發(fā)一個(gè) Restful API 服務(wù)

4. 編寫 App

完成 API 服務(wù)之后，接下來就是在終端編寫一款 App 去訪問 API，拿到數(shù)據(jù)并展示出來

以編寫一款 Android?應(yīng)用為例

首先，我們在界面上放置一個(gè)文本顯示框和一個(gè)按鈕控件

然后，對按鈕控件設(shè)置點(diǎn)擊事件的監(jiān)聽

get_news_btn?=?findViewById(R.id.get_news_btn);

//監(jiān)聽事件
get_news_btn.setOnClickListener(this);

@Override
public?void?onClick(View?v){
????switch?(v.getId())
????{
????????case?R.id.get_news_btn:
????????????news_et.setText("獲取中。。。");
????????????getNewsMet();
????????????break;
????????}
????}

接著，使用 Android 的網(wǎng)絡(luò)請求框架?OkHttp 框架調(diào)用 API 獲取數(shù)據(jù)

/***
*?獲取新聞
*/
private?void?getNewsMet(){
?????OkHttpClient?okHttpClient?=?new?OkHttpClient();
?????//構(gòu)建請求信息：連接請求url 請求方法method 請求頭部headers 請求體body 標(biāo)簽tag
?????Request?request?=?new?Request.Builder().url(url).get().build();
//????????Call?call?=?okHttpClient.newCall(request);

?????okHttpClient.newCall(request).enqueue(new?Callback()
?????{
??????????@Override
??????????public?void?onFailure(Call?call,?IOException?e){
??????????????Log.d("xag",?"獲取失敗");
??????????????showResult(false,?"");
??????????}

??????????@Override
??????????public?void?onResponse(Call?call,?final?Response?response)?throws?IOException{
??????????????Log.d("xag",?"獲取成功")
??????????????parseJsonWithJsonObject(response);
??????????}
??????});
}

最后，將新聞數(shù)據(jù)顯示在文本控件中，并復(fù)制到系統(tǒng)剪切板

private?void?copyToClip(String?content){
?????//獲取剪貼板管理器：
?????ClipboardManager?cm?=?(ClipboardManager)?getSystemService(CLIPBOARD_SERVICE);
?????//?創(chuàng)建普通字符型ClipData
?????ClipData?mClipData?=?ClipData.newPlainText("Label",?content);
?????//?將ClipData內(nèi)容放到系統(tǒng)剪貼板里。
?????if?(null?!=?cm)
?????{
?????????cm.setPrimaryClip(mClipData);
?????}
}

如果只有 iOS 設(shè)備，使用 Xcode 編寫 iOS 應(yīng)用，建議將 Xcode 升級到 11.0 以上

創(chuàng)建項(xiàng)目的時(shí)候，推薦使用 SwiftUI 構(gòu)建 UI 界面，然后利用 CocoaPods?添加 Alamofire 網(wǎng)絡(luò)請求依賴庫，其他操作步驟和 Android 端類似，這里不展開說明

#?Uncomment?the?next?line?to?define?a?global?platform?for?your?project
source?'https://github.com/CocoaPods/Specs.git'

platform?:ios,?'9.0'

use_frameworks!

target?'news_eve'?do
??#?Comment?the?next?line?if?you?don't?want?to?use?dynamic?frameworks
??pod?'Alamofire'
??pod?'SwiftyJSON'
??pod?'HandyJSON'
??#?Pods?for?news_eve

end

5. 最后

上面步驟只需要點(diǎn)擊 App 中的按鈕，早報(bào)新聞就復(fù)制到系統(tǒng)剪切板了，接著可以轉(zhuǎn)發(fā)到多個(gè)微信群了

當(dāng)然，最后一步也可以利用?SoloPi?或者無障礙，將內(nèi)容利用自動化操作，一鍵轉(zhuǎn)發(fā)出去

我已經(jīng)將文中部分源碼上傳到后臺，關(guān)注公眾號后回復(fù)「?早報(bào)?」即可獲得全部源碼

如果你覺得文章還不錯(cuò)，請大家點(diǎn)贊分享下。你的肯定是我最大的鼓勵和支持。

留言送書

---

今日贈書：《Web前端性能優(yōu)化》PS：每周的中獎名單會在次周在技術(shù)交流群公布推薦閱讀如何用 PyQt5 快速構(gòu)建一個(gè)簡單的 GUI 應(yīng)用推薦幾款優(yōu)質(zhì) Chrome 摸魚插件，帶你暢快劃水用 Python 分析微信群聊記錄，是怎樣一種體驗(yàn)？ 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的ios安装python的步骤_如何利用 Python 爬虫实现给微信群发新闻早报？（详细）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。