最近幫老媽在58上找保姆的工作，無奈58上的中介服務(wù)太多 了，我想找一些私人發(fā)布的保姆招聘信息，所以倒騰了一個(gè)python的爬蟲，將數(shù)據(jù)爬出來之后通過Excel進(jìn)行過濾中介，因?yàn)榇a實(shí)在是太簡(jiǎn)單，這里就不解釋了

代碼不多，如下：

#!/usr/bin/python #coding=utf-8import requests from bs4 import BeautifulSoup import xlwturl1 = "https://gz.58.com/job/pn" url2 = "/?key=%E4%BF%9D%E5%A7%86&final=1&jump=1&PGTID=0d302408-0000-3bd9-3b86-d29895d9ee5d&ClickID=3" book = xlwt.Workbook(encoding='utf-8') sheet = book.add_sheet(u'qingyuan',cell_overwrite_ok=True) kk = 0for i in range(1,54):print("*******************第"+str(i)+"頁(yè)****************************")html = requests.get(url1+str(i)+url2)soup = BeautifulSoup(html.text, "lxml")address = soup.select('#list_con > li.job_item > div.job_title > div.job_name > a > span.address')jobTitle = soup.select('#list_con > li.job_item > div.job_title > div.job_name > a > span.name')salary = soup.select('#list_con > li.job_item > div.job_title > p.job_salary')company = soup.select('#list_con > li.job_item > div.job_comp > div.comp_name > a')link = soup.select("#list_con > li.job_item > div.job_title > div.job_name > a")if len(address)==0:print("*******************第" + i + "頁(yè)被攔截****************************")breakfor j in range(len(address)):sheet.write(j+kk, 0, address[j].get_text())sheet.write(j+kk, 1, jobTitle[j].get_text())sheet.write(j+kk, 2, salary[j].get_text())sheet.write(j+kk, 3, company[j].get('title'))sheet.write(j+kk, 4, link[j].get('href'))kk = kk+len(address)path = 'E:/58廣州保姆招聘信息爬蟲結(jié)果.xls' book.save(path)

這是最后排出來的Excel的數(shù)據(jù)樣子

?

轉(zhuǎn)載于:https://www.cnblogs.com/baby-lijun/p/9889338.html

總結(jié)

以上是生活随笔為你收集整理的python:爬虫初体验的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。