網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人）就是模擬客戶端發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序。

只要是瀏覽器能做的事情，原則上，爬蟲都能夠做

先來看一下最簡單的網絡爬蟲百度Logo圖片提取：

import requestsr = requests.get("https://www.baidu.com/img/bd_logo1.png")with open("baidu.png","wb") as f:f.write(r.content)

接下來按照爬蟲基本工作流程提取內涵社區網站文本內容：

1.獲取url：

url=http://neihanshequ.com/ headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}

2.發送請求，接受響應：

r = requests.get(url,headers=headers) html_str = r.content.decode() 3.提取數據：

''' <h1 class="title"><p>公交車上，一小伙對著手機打公放點微信語音：“臭小子，你是不是一點也不想你老娘？都不知道陪我聊聊天，回家來看看我...”每點開這段語音，小伙都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小伙子！你能不能不循環播這段語音，你要是想你媽了，能不能給她打個電話？”小伙說道：“上個月她走了，就只剩下這段語音了...”</p></h1>''' t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S) 4.保存數據：

with open("neihan.txt","w",encoding="utf-8") as f:for i in t:f.write(i)f.write("\n")
這是最簡單的面向過程網站爬取，最終代碼如下：

import re import requests def Neihan（）：url=http://neihanshequ.com/headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}r = requests.get(url,headers=headers)html_str = r.content.decode()'''<h1 class="title"><p>公交車上，一小伙對著手機打公放點微信語音：“臭小子，你是不是一點也不想你老娘？都不知道陪我聊聊天，回家來看看我...”每點開這段語音，小伙都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小伙子！你能不能不循環播這段語音，你要是想你媽了，能不能給她打個電話？”小伙說道：“上個月她走了，就只剩下這段語音了...”</p></h1>'''t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S)with open("neihan.txt","w",encoding="utf-8") as f:for i in t:f.write(i)f.write("\n") Neihan（）

按照面向對象爬取內涵社區網站文本，爬蟲工作流程代碼如下：

# coding=utf-8 import requests import re import jsonclass Neihan:def __init__(self):self.start_url = "http://neihanshequ.com/"self.headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}self.next_url_temp = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time={}"def parse_url(self,url): #發送url地址的請求，獲取響應r = requests.get(url,headers=self.headers)return r.content.decode()def get_first_page_content_list(self,html_str):t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>", html_str, re.S)#獲取max——timemax_time = re.findall("max_time: '(.*?)'",html_str,re.S)[0]return t,max_timedef save_content_list(self,content_list): #保存for content in content_list:print(content)def get_content_list(self,html_str):dict_response = json.loads(html_str)content_list = [i["group"]['text'] for i in dict_response["data"]["data"]]max_time = dict_response["data"]["max_time"]#獲取has_morehas_more = dict_response["data"]["has_more"]return content_list,max_time,has_moredef run(self):#實現主要邏輯#1.start_url#2.發送請求，獲取響應html_str = self.parse_url(self.start_url)#3.提取數據content_list,max_time = self.get_first_page_content_list(html_str)#4.保存self.save_content_list(content_list)#5.獲取第二頁的urlhas_more=Truewhile has_more:next_url = self.next_url_temp.format(max_time)html_str = self.parse_url(next_url) #發送下一頁的請求content_list,max_time,has_more = self.get_content_list(html_str)#獲取json中的段子和max——timeself.save_content_list(content_list)if __name__ == '__main__':neihan = Neihan()neihan.run()

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的爬虫最基本的工作流程：内涵社区网站为例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。