17.3.12---urlparse模块的URL下载
1---urlparse模塊是一個解析與泛解析Web網址URL字符串的一個工具
urlparse模塊會將一個普通的url解析為6個部分,返回的數據類型都是元祖,同時,他還可以將已經分解后的url在組合成url地址
? ? ? ? ? ? ? ? 返回六個部分,分別是:scheme(機制),,netloc(網絡配置),path(路徑),params(路徑段參數)
query(查詢),fragment(片段)
2-----urlparse函數講解
1 )、 urlparse.urlparse(url),分解url返回元組,可以得到很多關于這個url的數據,網絡協議、目錄層次等。
2 )、 urlparse.urlunparse(parts),它接收一個元組類型,將元組內對應元素重新組后為一個url網址,與上面功 ? ? ? ? ? ? ? ? ? ? ?能正好相反。
3 )、 urlparse.urlsplit(url),作用與urlparse非常相似,它不會分解url參數,對于遵循RFC2396的URL很有用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 處。
4 )、 urlparse.urljoin(base, url ) 功能是基于一個base url和另一個url構造一個絕對URL
3------urlparse模塊知識總結
? ? ? ? ? Python的一大強項就是它在網絡抓取方面的功能,像編寫一個爬蟲抓取網絡上面的資源,往往就需要先對網址url做一 ? ? ? ?個處理,這離不開urlparse模塊,自己編寫處理url地址的代碼費時費力,不如直接找找標準庫中的urlparse。
轉載于:https://www.cnblogs.com/xiaoyoucai/p/6538647.html
總結
以上是生活随笔為你收集整理的17.3.12---urlparse模块的URL下载的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 怎么删除映射网络里的计算机,win10系
- 下一篇: 优先级表和Ascll表