request進階第一步

1、爬取網頁所有內容

import urllib.request file=urllib.request.urlopen('http://www.baidu.com') data=file.read() #讀取全部 dataline=file.readline() #讀取一行內容 print(data)

添加請求頭

java

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'}#在get請求內，添加user-agentresponse = requests.get(url='https://www.zhihu.com/explore', headers=headers)

2、創建文件并寫入文字內容

創建文件夾：

os.makedirs("test.txt")
刪除文件：

os.remove("1.html")

移除目錄

os.removedirs("/test")

展示當前路徑

os.getcwd()

展示當前文件所有文件

os.listdir()

刪除當前目錄所有文件

import shutil shutil.rmtree('./')

創建文件并寫入內容：

file = open("xx.txt","w") text="Hello, world" file.write(text) file.close()

open函數參數中的w和wb的區別在于，wb是以二進制的方式寫入

讀取文件內容：

file = open("test.txt","r") txt = file.read() print(txt)

3、正則表達

search

查詢到當前單詞所匹配到的是第幾個序列

import re str = "you are the winner!" c = re.search("are",str) print(c)

匹配.的時候需要加
.在匹配時相當于癩子
\d代表任何數字

c = re.search("\.",str) str = "192.168.111.255" c = re.search("\d\d\d\.\d\d\d\.",str) print(c)

findall

str = "adlkjlkasjdk<h1>123456</h1>dadasdsdsafsd<h1>12300000</h1>" c = re.findall(r'<h1 *?>(.*?)</h1>', str)

findall：
s[a-z]代表匹配兩個字符，第一個字母一定是s后面跟另一個字母

匹配里面所有img標簽中src的屬性

import rehtml='dasdas <img src="Hello.jpg">adasdassdasdasd<img src="Hello123.jpg">' par =r'<img src="[^"]+\.jpg">' html=re.findall(par,html) print(html)

總結

以上是生活随笔為你收集整理的爬虫基础5.24的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。