01

抓取目標

我們要爬取的目標是「 簡書網 」。

打開簡書網的首頁，隨手點擊一篇文章進入到詳情頁面。

我們要爬取的數據有：作者、頭像、發布時間、文章 ID 以及文章內容。

02

準備工作

在編寫爬蟲程序之前，我都是先對頁面進行簡單分析，然后指定爬取思路。

由于我們爬取簡書網所有的文章數據，所以考慮使用「 CrawlSpider」來對整個網站進行爬取。

首先使用 Scrapy 創建一個項目和一個爬蟲

# 打開 CMD 或者終端到一個指定目錄

# 新建一個項目

scrapy startproject jianshu_spider

cd jianshu_spider

# 創建一個爬蟲

scrapy genspider -t crawl jianshu "jianshu.com"

爬取的數據準備存儲到 Mysql 數據庫中，因此需要提前建立好數據庫和表。

03

爬取思路

首先，我們我們檢查首頁頁面文章列表每一項的 href 屬性、文章詳情頁面的地址、詳情頁面推薦文章中的 href 屬性。

可以獲取出規律，每一篇文章的地址，即 URL 是由「.../p/文章id/...」構成，其中文章 ID 是由小寫字母 a-z 或者 0-9 的 12 位數字構成，因此 Rule 構成如下：

/p/[0-9a-z]{12}

04

代碼實現

第一步是指定開始爬取的地址和爬取規則。

allowed_domains = ['jianshu.com']

start_urls = ['https://www.jianshu.com/']

rules = (

# 文章id是有12位小寫字母或者數字0-9構成

Rule(LinkExtractor(allow=r'.*/p/[0-9a-z]{12}.*'), callback='parse_detail', follow=True),

)

第二步是拿到下載器下載后的數據 Response，利用 Xpath 語法獲取有用的數據。這里可以使用「Scrapy shell url」去測試數據是否獲取正確。

# 獲取需要的數據

title = response.xpath('//h1[@class="title"]/text()').get()

author = response.xpath('//div[@class="info"]/span/a/text()').get()

avatar = self.HTTPS + response.xpath('//div[@class="author"]/a/img/@src').get()

pub_time = response.xpath('//span[@class="publish-time"]/text()').get().replace("*", "")

current_url = response.url

real_url = current_url.split(r"?")[0]

article_id = real_url.split(r'/')[-1]

content = response.xpath('//div[@class="show-content"]').get()

然后構建 Item 模型用來保存數據。

import scrapy

# 文章詳情Item

class ArticleItem(scrapy.Item):

title = scrapy.Field()

content = scrapy.Field()

# 文章id

article_id = scrapy.Field()

# 原始的url

origin_url = scrapy.Field()

# 作者

author = scrapy.Field()

# 頭像

avatar = scrapy.Field()

# 發布時間

pubtime = scrapy.Field()

第三步是將獲取的數據通過 Pipline 保存到數據庫中。

# 數據庫連接屬性

db_params = {

'host': '127.0.0.1',

'port': 3306,

'user': 'root',

'password': 'root',

'database': 'jianshu',

'charset': 'utf8'

}

# 數據庫【連接對象】

self.conn = pymysql.connect(**db_params)

# 構建游標對象

self.cursor = self.conn.cursor()

# sql 插入語句

self._sql = """

insert into article(id,title,content,author,avatar,pubtime,article_id,origin_url)

values(null,%s,%s,%s,%s,%s,%s,%s)

"""

# 執行 sql 語句

self.cursor.execute(self._sql, (

item['title'], item['content'], item['author'], item['avatar'], item['pubtime'], item['article_id'],

item['origin_url']))

# 插入到數據庫中

self.conn.commit()

# 關閉游標資源

self.cursor.close()

總結

以上是生活随笔為你收集整理的简书python_使用 Python 爬取简书网的所有文章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。