golang幽灵蛛(pholcus)(一)
最近開始重拾golang語言的原因
golang語言c語言的運行速度,Python的開發效率。
tensorflow支持golang了,預估國內會有一些人開發深度學習軟件了,會火一把,估計Google親爹應該不會拋棄它了。
gota快要支持日期時間型了,可以實現數據清洗了。
還有一些數據挖掘的包,我還沒用過,但是慢慢的會穩定。
幽靈蛛(pholcus)一套穩定的爬蟲架構,支持分布式。
還差可視化包了,有誰知道好的包求推薦????????????????????????
下面步入正題,幽靈蛛入門:
怎么運行,我給大家截圖一下我自己的文件結構吧,讓我詳細說 我也說不清楚:
golang項目中最主要的就是src文件夾了,這個文件夾是自動創建的,src上gopath里的。其中pholcus文件夾我是直接從github上下載的。
github.com文件夾截圖如下:
頁面解析文件都放在pholcus_lib下,如果你想自己寫爬蟲,也是維護到這個文件夾下。
main.go文件是從example_main.go改的。編譯并運行mai.go文件。瀏覽器自動彈出一下界面,按照截圖進行設置,點擊開啟:
進入爬蟲任務頁面,按紅框設置,分批輸出限制100是為了可以很快的看到輸出是啥樣子的。
運行log:
可以暫定和停止。
文本輸出文件在文件夾E:projectgoprojectgolearnsrcpholcuspholcus_pkg ext_out中,如果停止后想再次進行啟動進行爬取 需要先刪除history:E:projectgoprojectgolearnsrcpholcuspholcus_pkghistory (也可以通過設置“集成并保存成功記錄為False”)
在頁面解析文件的go文件中,可以直接進行print測試,如下圖:當然這種測試太麻煩了,還要啟動瀏覽器啥的,但是目前還沒找到其他的測試方式 先這么著 ,我再去探索一下,如果哪位朋友知道,請賜教????????????????????
下面我們來看看輸出的結果形式:
第5行的內容是空,這證明頁面解析沒有解析出“內容”值,可能是頁面改版了,以前的元素不存在了,
csv文件,第一行是列名,對應people.go文件中的以下代碼
當前鏈接,上級鏈接,下載時間 應該是系統自動添加的。
這是目前學習到的只是,雜亂無章。
總結
以上是生活随笔為你收集整理的golang幽灵蛛(pholcus)(一)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: IC卡和RFID卡的区别(网上说的都不准
- 下一篇: Go语言的原子操作atomic