一：分析當(dāng)當(dāng)網(wǎng)圖書相關(guān)網(wǎng)頁

1、分析網(wǎng)頁發(fā)現(xiàn)部分接口帶有加密參數(shù)

2、圖書分類、圖書詳情接口有規(guī)律

總結(jié)：為快速完成相應(yīng)數(shù)據(jù)圖書數(shù)據(jù)采集，故先采用python中selenium模塊進行

二：數(shù)據(jù)采集方式

1、先獲取分類接口存到數(shù)據(jù)庫中

2、根據(jù)分類接口獲取圖書詳情接口存儲到數(shù)據(jù)庫中

3、根據(jù)圖書詳情接口獲取圖書信息

三：數(shù)據(jù)存儲表設(shè)計

1、圖書類別表

? ? ? ? ?1）存儲分類接口信息

? ? ? ? ?2）is_s字段判斷此分類下的圖書信息是否被抓取過

2、圖書詳情接口表

? ? 1）存儲圖書詳情接口信息

? ? 2）is_up判斷接口信息否更新

三：代碼實現(xiàn)

1、提取分類url

2、提取詳情url

3、提取詳情數(shù)據(jù)

?

總結(jié)

以上是生活随笔為你收集整理的当当网图书信息数据抓取V1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。