学习爬虫目录
?
網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
隨著網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：
（1）不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通過搜索引擎所返回的結果包含大量用戶不關心的網頁。
（2）通用搜索引擎的目標是盡可能大的網絡覆蓋率，有限的搜索引擎服務器資源與無限的網絡數據資源之間的矛盾將進一步加深。
（3）萬維網數據形式的豐富和網絡技術的不斷發展，圖片、數據庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。
（4）通用搜索引擎大多提供基于關鍵字的檢索，難以支持根據語義信息提出的查詢。
為了解決上述問題，定向抓取相關網頁資源的聚焦爬蟲應運而生。聚焦爬蟲是一個自動下載網頁的程序，它根據既定的抓取目標，有選擇的訪問萬維網上的網頁與相關的鏈接，獲取所需要的信息。與通用爬蟲（general purpose web crawler）不同，聚焦爬蟲并不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢準備數據資源。
?接下來就來學習爬蟲：
爬蟲的基礎知識
爬蟲的前導知識及requests模塊
爬蟲基礎三劍客
正則表達式
BeautifulSoup模塊
xpah的使用
基本模塊的總結
Scrapy模塊???????
Scrapy框架（一）基礎知識
Scrapy（二）翻頁功能
Scrapy框架（三）基本保存和照片保存
Scrapy框架（四）常用的類概述
MongoDB模塊
MongoDB數據庫的概述和基本使用
python與MongoDB的交互
Scrapy與MongoDB交互
Redis模塊
Redis數據庫概述與基本操作
Redis的基本數據結構
分布式爬蟲的介紹
python與redis的簡單交互
盜墓筆記案例：基于Redis-Scrapy實現
JS逆向及反爬
JS反爬介紹以及環境的搭建
有道字典案例
微信公眾號密碼轉換的密鑰（md5加密）
凡科網登錄解密
房天下解密（RSA）
python的破解重構加密
JS逆向之無限debugger的處理方式
AES的python重構解密
建筑市場案例（AES解密）
python重構之DES加密???????
JS的字體反爬
總結
- 上一篇： uniapp 蓝牙通讯（搜索/连接蓝牙、
- 下一篇： arm的一些概念(ARM9、Cortex