一.主題式網絡爬蟲設計方案：爬取人人貸網上部分借貸信息

1.主題式網絡爬蟲名稱：爬取人人貸網上部分信息

2.主題式網絡爬蟲的內容與數據特征分析：爬取人人貸部分信息數據，借貸信息

3.主題式網絡爬蟲設計方案概述(包括實現思路與技術難點)：找到該網站的網址，然后F12分析該網址的源代碼，找到自己所需要的數據所在的位置，提取相關的數據分析，進行數據上的處理和數據可視化的操作.

二.二、主題頁面的結構特征分析

主題頁面的結構與特征分析：打開網址找到我們需要的數據所在位置

然后摁F12提取相關的數據源代碼

三、網絡爬蟲程序設計

1.數據爬取與采集

首先爬取網頁通用框架

然后再將該內容進行解析

選擇需要繪制的最大值與最小值的柱狀圖數據

繪制餅圖

from?pyecharts?import?Pie

def?drawRRDPie?(data)?:

繪制餅狀圖.

四.

附上完整程序代碼

i?mport?requestsi?mport?json

def?getRRDInfo(startPage,?endPage)?:

解析jison文件，獲取數據’

data=0_?#統計數據

for?page?in?range?(startPage,?endPage)?:

responseFrequests.?post?(ur1).?textur1='

https://www.?renrendai.?com/1?oan/1ist/1oanLi?st?star?tNum=O&1imi?t=10'

list=.?json.1oads(response).?get('?data'?).get('?1ist')

for?item?in?list:

title=item.?get('?tit1e'?)

amount=i?tem.?get('?amount'?)

if?title?not?in?data.?keys():

data[tit1e]=[]

data?[title].?append?(amount)

#打印數據

print("?***************************?)

print("借款標題:?%s"?%?tit1e)

print("?Hà:?%sT"?%?amount)

return?data

if_?name_?=="

main_?."?:

data-getRRDInfo(0,?1)

def?bs(text):

#將讀取到的網頁解析

return?soupsoup?=?bs4.?Beauti?fulSoup(text,'?html.?parser')

def?main():

url?=?'https:/?/www.?bilibili.?com/?ranking?'#?pE?pE#?A?#FfTiisome?=?get_?url(url)

soup?=?bs?some?)

with?open(?'try2.txt'?,?'?W',?encoding-'utf-8'?)?as?f:

f?.?write(?soup.?text)#?it5fH4iI##??FШf#

main(?)

from?pyecharts?import?Bar

)?def?drawRRDBar?(data)?:

繪制柱狀圖”

attr=1ist?(data.?keys?(())

min_?_amount=[]

max_?_amount=[]

for?item?in?data.?keys(:

min_?amount.?append(min(data[i?tem]))

max_?amount.?append(max?(data[i?tem]))

bar?=Bar("人人貸”，”借款類型最小值/最大值")

bar.?add("最小值”，attr?,?min_?amount?,?is_?1abel_?show=True)bar.?add("最大值",attr，max_?amount,?is_?1abel_?show=True)bar.?render?()

if_?_name__main_”:

data=getRRDInfo(0,?10)

drawRRDBar?(data)

from?pyecharts?import?Pie

def?drawRRDPie?(data)?:

繪制餅狀圖.

attr=list?(data.?keys())

va1ue=[]

for?item?in?data.?keys()?:

value.?append(sum(data?[i?tem]))

bar?=Pie(”人人貸”，?”借款類型所占比例")

bar.?render?()bar.?add(""?,?attr?,?value?,?is_?1abel_?_show=True)

if?_?_name__?=="_?main__"?:

dr?awRRDPie?(data)data=getRRDInfo(0,?10)

四.結論

1..經過對數據的分析和可視化，我看到借款最多的為擴大生產經營，最少為日常消費。數據的可視化與圖像可以讓我們很好的將數據的關系體現出來，讓我們能夠簡易的了解到它的相關內容。

2.在此次做作業的過程中，我發現到我對該網絡爬蟲的知識運用的程度還不夠高，還存在許多的盲區，我利用B站與各種渠道學習該知識，加深了我對python的熱愛程度。

總結

以上是生活随笔為你收集整理的python人人贷爬虫_爬取人人贷网上部分借贷信息以及数据可视化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。