使用類庫:

from bs4 import BeautifulSoup
import requests
import re

個人比較喜歡BeautifulSoup

url = "http://www.jianshu.com/c/2ba824b6ed53?utm_medium=index-collections&utm_source=desktop"
res = requests.get(url)
res.cencoding = 'utf-8'
soup = BeautifulSoup(res.text,"lxml")

將soup 獲取到
使用正則表達式進行解析

titles_html = soup.select("#list-container > ul > li > div > a") 使用soup的選擇去驚醒選擇 這個可以通過瀏覽器的 copy selector 或者牛逼的話自己也可以寫。就是div下面一層一層撥開，這里如果有id的話直接以id開頭就可以
content_html = soup.select("#list-container > ul > li > div > p")
re_title = re.compile(r'target="_blank">(.*?)</a>')
re_content = re.compile(r'<p class="abstract">[\s\D]* (.*?)\n') 正則表達式的使用：
通過re.compile， r'' 這里面寫正則 一般是用首尾講去要的信息括起來，需要的信息使用（） 驚醒匹配，括號里面寫自己需要取得信息

這里最常用的的 . 這個 . 能夠取到除了換行符之外的所有字符， * 代表任意個字符。
** 如果需要取包括換行符的字符 可以用 [\s\S]

另外人工分析的時候需要非常小心這個字符里面的東西。 分析清楚才能寫出簡單并且正確的正則表達式. 尤其是換行符要非常注意。

* 有幾點去要注意的：
　　一、通過soup.select 得到的是list 而且list 里面的元素的類型 是 bs4.element.Tag 類型 ，這個類型是不能直接用正則表達式進行解析的 要使用str 將這個元素轉化為String類型，這樣就能夠驚醒解析。
　　二、建議獲取soup 集合后可以打印一下 第一個元素的類型和值，通過查看類型和值能夠幫你更好地進行分析，然后方便寫出正則表達式。

?

轉載于:https://www.cnblogs.com/enzoluo-blog/p/7810719.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python 中爬虫的运用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。