導讀：要做一個文明的爬蟲技術團隊。

開發

KG公司2014年成立，早期做互聯網金融，2017年轉型做互聯網科技公司，主營業務是“助貸”，也就為按揭貸款購房的客戶提供贖樓及債務置換貸款等服務。

這個業務需要經常性地訪問政府居住證網站，查詢房產地址、房屋編碼和學區房的使用情況，用于做房產的市場評估和客戶風險評估。

因為手動查詢效率低下，公司產品組經討論后提出了一個建議——用爬蟲軟件自動查詢。

2017年12月，CTO安排新入職的程序員負責這個項目，要求他研發一個自動定時抓取的小程序，主要用來查詢、下載網上的數據。

2018年1月，項目經理給程序員一個抓取數據的程序源代碼，程序員開始修改。

2018年3月，小程序被部署在阿某云服務器上自動運行，其內置的“網絡爬蟲”可以：

鏈接某市居住證網站，也就是某市公安局人口管理處的居住證系統；?

可以在某市居住證網站上查詢到房產地址、房屋編碼等對應的資料；?

軟件對網站訪問量能達到每小時數十萬次。

查詢的信息都被下載保存到公司購買的阿某云服務器上。

這個程序還被用于查詢房地產中介（中原地產、鏈家地產、Q房網等）在網上掛盤的房子信息，主要是查詢房價、用作參考。

出事

2018年4月27日10:43-12:00左右，居住證系統的承建單位發現系統出現宕機現象，追蹤到請求應用服務器端口編號，但因日志缺失而無法定位IP來源，當時懷疑是人為攻擊。

2018年5月2日10:00-12:00左右，系統再次遭遇攻擊，這次管理人員成功地截取了IP地址并報案。

此時，公司這邊還不知道惹禍了，直到2018年5月17日晚上11點，服務器維護人員接到了阿某云客服的電話。阿某云說他們公司的服務器IP被網警鎖定了，因有攻擊行為，讓他們趕緊聯系網警。CTO隨即電話聯系研發人員（應該是指程序員），對方說估計是因為居住證網站加了驗證碼，但公司程序沒做相應的更新，就造成了程序出錯發出攻擊行為。

5月攻擊事件的影響很大。

案發時，某市居住證服務平臺的注冊用戶超過530萬，服務面包括：

所有市民的網上自助受理系統；

151個派出所、街道辦居住證受理點的現場受理系統；

后臺接口為市網格辦、市交警局、市民政局，市交委等多個政府部門提供居住證、居住登記條件查詢和審核。

居住證系統受攻擊癱瘓期間：

軟件對某市居住證系統查詢訪問量為每秒183次，共計查詢信息約151萬條次，竊取大量建筑物編碼數據，造成政府信息泄漏；

所有居住證辦理、居住登記申報、信息查詢、對外服務功能均無法正常工作，影響面極廣；

市民無法辦理居住證和居住登記，相關生產生活秩序受到嚴重影響。

除了此次攻擊，還有一些派出所出具證明證實5月期間經常出現系統無法登陸，錄入過程頻繁出現掉線、系統數據異常等情況。居住證系統無法正常使用、出現異常情況的時間長達一個多月。

供述

2018年8月，CTO、程序員被捕。

公安分局依法對公司進行搜查，提取應用程序源程序，應用程序日志及運行在服務器獲取的數據。經司法鑒定所鑒定確認：

導出的庫備份中檢出多個包含房產信息的數據表，包括房產的所處位置、樓宇編號、房間編號等信息，約有2905萬條；

在程序員的電腦上檢測出爬蟲程序的源代碼；

在IP地址為XXXX的服務器檢出爬蟲程序，這兩個爬蟲軟件程序均使用遍歷查詢的方式短時間向目標網址URL地址“......”發起大量查詢請求，從而實現非授權下載數據庫內容。

針對某市居住證網站及服務器的司法鑒定意見確認：

網站遭受自動化程序攻擊。IPXXXX對居住證服務器的持續大量的訪問造成了平臺在……期間無法正常對外提供服務，服務器無法正常運行。

CTO供述和辯解時說：

爬取的是公開信息，沒有任何惡意去攻擊網站和系統，只是為了提高查詢效率。沒有爬取個人信息，沒有在市場上買賣或者和其他公司搞資源置換，沒有通過查詢某市居住證網站信息獲利。軟件是公司管理層開會決定開發的，由法定代表人交代技術部研發，系統里的查詢和下載功能是程序員程序員負責開發的。程序員設定的是每周三次自動查詢，后面怎么實施的我也不清楚，主要是程序員負責。

他還說自己也知道“從技術上來講，如果超過服務器承載能力的查詢肯定會引起系統卡頓或癱瘓”，但因不清楚網站和系統的承載能力，加上心存僥幸，就只是口頭提醒同事在服務器晚間相對空閑的時候去查詢，控制一下頻率。

程序員供述和辯解時稱：

不清楚抓取數據的原程序是誰研發的，沒有因查詢居住證網站而獲利，這是工作任務。3月份后就去做公司安排的其他任務了，這個程序在服務器上啟動后，也沒有對程序做修改和更新，也沒有進入服務器的權限，權限在運維部門。

沒有爬取個人信息，沒有在市場上買賣或者和其他公司搞資源置換，只是用于公司業務上的參考。4月27日在公司，5月2日在日本，當時沒對程序作出修改，猜測是因為居住證平臺更新了驗證碼登陸功能，而我們的查詢軟件未做相應的更新，導致程序出錯，發出攻擊行為。

判決

二被告對起訴狀中指控的罪名沒有異議，只是希望能輕判。做罪輕辯護時：

都提出自己只是過失、疏忽大意，沒有預見可能會造成的后果，主觀上完全沒有破壞系統的故意；

都提出爬取的是公開信息，只是為了讓公司業務更高效，并沒有以此牟利；

CTO認為自己授權程序員開發爬蟲程序，只是一次性爬取，并未要求每天自動爬取，不是主犯；

程序員認為自己只是按領導指示、完成工作任務……

法院認為，二人違反國家規定，對計算機信息系統進行干擾，造成為5萬以上用戶提供服務的計算機信息系統不能正常運行累計1小時以上，屬于后果特別嚴重，應以破壞計算機信息系統罪追究其刑事責任。

CTO，負責并授權程序員開發涉案爬蟲軟件，系主犯，判處有期徒刑三年 程序員受指派開發爬蟲軟件，在共同犯罪中起次要作用，系從犯，判處有期徒刑一年六個月。

最高人民法院、最高人民檢察院關于辦理危害計算機信息系統安全刑事案件應用法律若千問題的解釋

至于這個案子里的其他人，從公司的法定代表人、提出建議的產品經理、傳達任務和給源代碼的項目經理，到使用數據的業務部門的同事，都沒責任，法務/合規/風控看起來更是從未出現。

總體來說，正常經營的公司，網絡爬取數據引發民事糾紛的常見，涉刑的不常見。立項時多問一句“我們這么做有沒有風險”“會不會出事”沒壞處，畢竟看起來是“集體決策”的決策最后往往并不是集體買單！

最后：警鐘長鳴，愿各位珍重，做一個守法、護法、有原則的技術人。

來源：數據保護官

有道無術，術可成；有術無道，止于術

歡迎大家關注Java之道公眾號

好文章，我在看??

總結

以上是生活随笔為你收集整理的因为爬虫失控，CTO和程序员双双被判刑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。