Python---获取div标签中的文字
生活随笔
收集整理的這篇文章主要介紹了
Python---获取div标签中的文字
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
?
預備知識點
?
compile 函數
compile 函數用于編譯正則表達式,生成一個正則表達式( Pattern )對象,供 match() 和 search() 這兩個函數使用。
語法格式為:
re.compile(pattern[, flags]).compile(pattern[, flags])參數:
- pattern : 一個字符串形式的正則表達式
- flags 可選,表示匹配模式,比如忽略大小寫,多行模式等,具體參數為:
-
- re.I 忽略大小寫
- re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當前環境
- re.M 多行模式
- re.S 即為' . '并且包括換行符在內的任意字符(' . '不包括換行符)
- re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依賴于 Unicode 字符屬性數據庫
- re.X 為了增加可讀性,忽略空格和' # '后面的注釋
?
檢索和替換
Python 的re模塊提供了re.sub用于替換字符串中的匹配項。
語法:
re.sub(pattern, repl, string, count=0).sub(pattern, repl, string, count=0)參數:
- pattern : 正則中的模式字符串。
- repl : 替換的字符串,也可為一個函數。
- string : 要被查找替換的原始字符串。
- count : 模式匹配后替換的最大次數,默認 0 表示替換所有的匹配。
?
Python中字符串前面加上 r 表示原生字符串, 與大多數編程語言相同,正則表達式里使用"\"作為轉義字符,這就可能造成反斜杠困擾。假如你需要匹配文本中的字符"\",那么使用編程語言表示的正則表達式里將需要4個反斜杠"\\\\":前兩個和后兩個分別用于在編程語言里轉義成反斜杠,轉換成兩個反斜杠后再在正則表達式里轉義成一個反斜杠。Python里的原生字符串很好地解決了這個問題,這個例子中的正則表達式可以使用r"\\"表示。同樣,匹配一個數字的"\\d"可以寫成r"\d"。有了原生字符串,你再也不用擔心是不是漏寫了反斜杠,寫出來的表達式也更直觀。
?
思路整理:
?在編程過程中遇到的部分問題在這里寫出來和大家共享
?問題1:在編程過程中成功獲取了目標的名字,但是它存在于div框架中,我們要做的就是將div中的文字與標簽分開,在這里我們用的是正則表達式
?問題2:
上代碼:
<span style="color:#000000"># -*- coding: UTF-8 -*- import requests import time import re from bs4 import BeautifulSoup from urllib.request import urlretrieveif __name__ == '__main__':list_url = []url = 'https://www.names.org/n/kevin/about'#設置請求頭信息headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}req = requests.get(url=url,headers=headers)req.encoding='utf-8'html=req.textbf = BeautifulSoup(html,'html.parser')targets_url_1 = bf.find_all(class_='container page-section')bf = BeautifulSoup(str(targets_url_1),'html.parser')targets_url_2 = bf.find_all(class_='name')#保存名字鏈接for each in targets_url_2:list_url.append(re.sub('[\t\n]',"",re.sub(r'<[^>]+>',"",str(each))))f = open('test.txt', 'w') #首先先創建一個文件對象,打開方式為wfor each in list_url:f.writelines(each) #用readlines()方法寫入文件f.writelines('\n')print(list_url)print('下載完成!')</span>?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的Python---获取div标签中的文字的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python3--有道音频下载
- 下一篇: Python3--爬取海词信息