當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

关于web爬虫的tips

發(fā)布時間：2024/4/13 编程问答 37 豆豆

生活随笔收集整理的這篇文章主要介紹了关于web爬虫的tips 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

網(wǎng)站爬蟲限制默認(rèn)在心中
robots.txt?

爬一個網(wǎng)站怎么預(yù)測爬的量

每個網(wǎng)站都使用各種各樣的技術(shù)，怎么確定網(wǎng)站使用的技術(shù)
pip install builtwith

?>>> import builtwith

?>>> builtwith.parse('http://www.douban.com')

{u'javascript-frameworks': [u'jQuery'], u'tag-managers': [u'Google Tag Manager'], u'analytics': [u'Piwik']}

#網(wǎng)站的所屬者 pip?install?python-whois >>>?print?whois.whois('cnblogs.com') {"updated_date":?["2014-11-12?00:00:00",?"2014-11-12?01:07:15"],?"status":?["clientDeleteProhibited?https://icann.org/epp#clientDeleteProhibited",?"clientTransferProhibited?https://icann.org/epp#clientTransferProhibited"],?"name":?"du?yong",?"dnssec":?"unsigned",?"city":?"Shanghai",?"expiration_date":?["2021-11-12?00:00:00",?"2021-11-11?04:00:00"],?"zipcode":?"201203",?"domain_name":?["CNBLOGS.COM",?"cnblogs.com"],?"country":?"CN",?"whois_server":?"whois.35.com",?"state":?"Shanghai",?"registrar":?"35?Technology?Co.,?Ltd.",?"referral_url":?"http://www.35.com",?"address":?"Room?312,?No.22?BOXIA?Rd,?Pudong?New?District",?"name_servers":?["NS3.DNSV4.COM",?"NS4.DNSV4.COM",?"ns3.dnsv4.com",?"ns4.dnsv4.com"],?"org":?"Shanghai?Yucheng?Information?Technology?Co.?Ltd.",?"creation_date":?["2003-11-12?00:00:00",?"2003-11-11?04:00:00"],?"emails":?["abuse@35.cn",?"dudu.yz@gmail.com"] }

轉(zhuǎn)載于:https://blog.51cto.com/similarface/1861494

總結(jié)

以上是生活随笔為你收集整理的关于web爬虫的tips的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇： myBatis之事务管理
下一篇： Angular2 从搭建环境到开发