17.3.12---urlparse模块的URL下载
1---urlparse模塊是一個解析與泛解析Web網(wǎng)址URL字符串的一個工具
urlparse模塊會將一個普通的url解析為6個部分,返回的數(shù)據(jù)類型都是元祖,同時,他還可以將已經(jīng)分解后的url在組合成url地址
? ? ? ? ? ? ? ? 返回六個部分,分別是:scheme(機(jī)制),,netloc(網(wǎng)絡(luò)配置),path(路徑),params(路徑段參數(shù))
query(查詢),fragment(片段)
2-----urlparse函數(shù)講解
1 )、 urlparse.urlparse(url),分解url返回元組,可以得到很多關(guān)于這個url的數(shù)據(jù),網(wǎng)絡(luò)協(xié)議、目錄層次等。
2 )、 urlparse.urlunparse(parts),它接收一個元組類型,將元組內(nèi)對應(yīng)元素重新組后為一個url網(wǎng)址,與上面功 ? ? ? ? ? ? ? ? ? ? ?能正好相反。
3 )、 urlparse.urlsplit(url),作用與urlparse非常相似,它不會分解url參數(shù),對于遵循RFC2396的URL很有用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 處。
4 )、 urlparse.urljoin(base, url ) 功能是基于一個base url和另一個url構(gòu)造一個絕對URL
3------urlparse模塊知識總結(jié)
? ? ? ? ? Python的一大強(qiáng)項就是它在網(wǎng)絡(luò)抓取方面的功能,像編寫一個爬蟲抓取網(wǎng)絡(luò)上面的資源,往往就需要先對網(wǎng)址url做一 ? ? ? ?個處理,這離不開urlparse模塊,自己編寫處理url地址的代碼費時費力,不如直接找找標(biāo)準(zhǔn)庫中的urlparse。
轉(zhuǎn)載于:https://www.cnblogs.com/xiaoyoucai/p/6538647.html
總結(jié)
以上是生活随笔為你收集整理的17.3.12---urlparse模块的URL下载的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 怎么删除映射网络里的计算机,win10系
- 下一篇: 优先级表和Ascll表