写一个简单的爬虫 - 如何模拟登录网站
設置Developer Tools 以查看完整的登錄過程
如 chrome 的 Developer Tools、firefox 的 httpfox 插件等
推薦 chrome 的?Developer Tools,設置Preserver log 顯示完整的跳轉過程、Disable cache??禁用緩存
關于瀏覽器開發工具,可參考:http://jinlong.github.io/2013/08/29/devtoolsecrets/
?
以163的登錄過程為例:
tips:如果看到Request Headers里帶有Cookie,說明前面還有一步獲取Cookie的過程。
分析登錄過程
第一步的?https://reg.163.com/logins.jsp,post 的參數有三個,其中有username, password,都是明文的。
試試在 url 后面加上 post 的參數看看會發生什么,https://reg.163.com/logins.jsp?username=abcdefg@163.com&password=1234567(將username, password 換為自己的)直接登錄成功。
Tips:有的網站同時支持POST、GET 登錄方式
?
登錄成功后,保存返回的cookie,后續操作帶著該cookie 即可。
有的網站登錄時還有驗證碼等保護措施,不妨直接使用最終跳轉頁面的 cookie,通常有十幾天的保質期,如:
?
原文:http://www.cnblogs.com/congbo/archive/2012/11/04/2753961.html
轉載于:https://www.cnblogs.com/congbo/archive/2012/11/05/2753961.html
總結
以上是生活随笔為你收集整理的写一个简单的爬虫 - 如何模拟登录网站的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: WF 4.0 之持久化操作一:SqlSe
- 下一篇: PowerDesigner教程系列(四)