Python应用实战-用Python爬取数据分析岗位信息并可视化分析
生活随笔
收集整理的這篇文章主要介紹了
Python应用实战-用Python爬取数据分析岗位信息并可视化分析
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
需要用到的模塊
import requests import time import random import os import requests from bs4 import BeautifulSoup import openpyxl import numpy as np爬蟲代碼
本次爬蟲難度不大,屬于入門級別的,只要懂得requests請求,BeautifulSoup解析即可輕松上手,下面是本次爬蟲的主要代碼。
def getPosition(url): times=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) print(u'\n本地時間:',times) print(u'\n開始采集數據...') # 請求獲取返回值 data = getData(url) # BeautifulSoup解析網頁 soup = BeautifulSoup(data.text, features='lxml') # 對html進行解析,完成初始化 results = soup.find_all(attrs={'class': "job-list"}) job_list = results[0].find_all(attrs={'class': "job-primary"}) lens = len(job_list) for num in range(lens): positions = [] job = job_list[num] # 根據節點查詢相應數據 positions.extend(job.find_all(attrs=總結
以上是生活随笔為你收集整理的Python应用实战-用Python爬取数据分析岗位信息并可视化分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python应用实战-Clumper |
- 下一篇: Python应用实战-Pandas 计算