Python爬蟲綜合案例
import requests
import xlwt
from bs4 import BeautifulSoup
from urllib.parse import unquote,quote

#創建表格
w=xlwt.Workbook(encoding=‘utf-8’)

#添加一個sheet頁
ws=w.add_sheet(‘京東爬取結果’)

#設置樣式
style=xlwt.XFStyle() # 初始化樣式
font=xlwt.Font() # 為樣式創建字體
font.name=‘Times New Roman’ #設置字體 font.bold = True # 黑體 font.underline = True # 下劃線 font.italic = True # 斜體字
style.font=font # 設定樣式

#寫入表格頭標題內容
ws.write(0,0,‘排名’)
ws.write(0,1,‘鏈接’)
ws.write(0,2,‘商品名’)
ws.write(0,3,‘商店名’)
ws.write(0,4,‘價格’)

#抓取商品ID，構造每個產品的訪問連接
keyword = quote(‘口紅’,encoding=‘utf-8’)
url = “https://search.jd.com/Search?keyword=”+keyword+"&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&stock=1&psort=3&click=0"

header = {
“user-agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36”
}

session = requests.session()#獲得session，能夠保持代碼證session的統一
requests.packages.urllib3.disable_warnings()#忽略warning警告
response = session.get(url, headers = header , verify = False)#解決ssl安全鏈接報錯問題

soup = BeautifulSoup(response.text,‘html.parser’)#構造bs4解析器
product_id = soup.select(’.gl-item’)#得到所有class=gl-item的標簽

for i in range(len(product_id)): #對每個標簽構造訪問鏈接，獲得對應商品信息
##for i in range(1):
sku_link = “https://item.jd.com/”+product_id[i].get(‘data-sku’)+".html"

##獲取商品信息 response = session.get(sku_link, headers = header, verify = False) soup = BeautifulSoup(response.text,'html.parser')#商品名稱 sku_name = soup.select_one('.sku-name').text#商店名稱 try:sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpuname1').text #商店名稱 國內 except:sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpu_oversea').text #商店名稱 跨境 sku_price = soup.find('span',{'class':'p-price'})#商品價格 sku_pricelink = 'https://p.3.cn/prices/mgets?skuIds=J_'+product_id[i].get('data-sku') response = session.get(sku_pricelink, headers = header, verify = False) sku_price = response.json()[0]['p']#商品評論 未完成 ## 在線json解析網址：http://www.bejson.com/ ## header['Host'] = 'club.jd.com' ## header['Referer'] = 'https://item.jd.com/2349751.html' ## link_comment ='https://club.jd.com/comment/skuProductPageComments.action?\ ## callback=fetchJSON_comment98vv16692\ ## &productId=2349751\ ## &score=0\ ## &sortType=5\ ## &page=0\ ## &pageSize=10\ ## &isShadowSku=0' ## response = session.get(link_comment, headers = header, verify = False) ## print(response.text)#打印 sku_rank = str(i+1) print("排名："+ sku_rank) print("商品連接："+sku_link) print("商品名稱："+sku_name.strip()) print("商店名稱："+sku_shopname.strip()) print("商品價格："+ sku_price)#寫入excel print('開始寫入excel,請稍等...',end='') sku_info = [sku_rank,sku_link,sku_name.strip(),sku_shopname.strip(),sku_price] for k in range(5):ws.write(i+1,k,sku_info[k]) #兩個參數 ： 行號，寫入內容 print('寫入成功') print('')

w.save(‘京東爬蟲結果.xls’)

歡迎使用Markdown編輯器

你好！ 這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章，了解一下Markdown的基本語法知識。

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支持，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫博客：

全新的界面設計 ，將會帶來全新的寫作體驗；

在創作中心設置你喜愛的代碼高亮樣式，Markdown 將代碼片顯示選擇的高亮樣式 進行展示；

增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；

全新的 KaTeX數學公式 語法；

增加了支持甘特圖的mermaid語法¹ 功能；

增加了 多屏幕編輯 Markdown文章功能；

增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設置 等功能，功能按鈕位于編輯區域與預覽區域中間；

增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入代碼：Ctrl/Command + Shift + K
插入鏈接：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替換：Ctrl/Command + G

合理的創建標題，有助于目錄的生成

直接輸入1次#，并按下space后，將生成1級標題。
輸入2次#，并按下space后，將生成2級標題。
以此類推，我們支持6級標題。有助于使用TOC語法后生成一個完美的目錄。

如何改變文本的樣式

強調文本 強調文本

加粗文本 加粗文本

標記文本

刪除文本

引用文本

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入鏈接與圖片

鏈接: link.

圖片:

帶尺寸的圖片:

居中的圖片:

居中并且帶尺寸的圖片:

當然，我們為了讓用戶更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的代碼片

去博客設置頁面，選擇一款你喜歡的代碼片高亮樣式，下面展示同樣高亮的 代碼片.

// An highlighted block var foo = 'bar';

生成一個適合你的列表

• 項目
  • 項目
    • 項目

項目1

項目2

項目3

• 計劃任務
• 完成任務

創建一個表格

一個簡單的表格是這么創建的：

項目Value

電腦	$1600
手機	$12
導管	$1

設定內容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列

第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants將ASCII標點字符轉換為“智能”印刷標點HTML實體。例如：

TYPEASCIIHTML

Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

創建一個自定義列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何創建一個注腳

一個具有注腳的文本。²

注釋也是必不可少的

Markdown將文本轉換為 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表達式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n?1)!?n\in \mathbb{N}$ 是通過歐拉積分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z?1}{e}^{?t}dt.$$

你可以找到更多關于的信息 LaTeX 數學表達式here.

新的甘特圖功能，豐富你的文章

Mon 06 Mon 13 Mon 20 已完成 進行中 計劃一 計劃二 現有任務 Adding GANTT diagram functionality to mermaid

• 關于 甘特圖 語法，參考 這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：

張三 李四 王五 你好！李四, 最近怎么樣? 你最近怎么樣，王五？ 我很好，謝謝! 我很好，謝謝! 李四想了很長時間, 文字太長了 不適合放在一行. 打量著王五... 很好... 王五, 你怎么樣? 張三 李四 王五

這將產生一個流程圖。:

鏈接 長方形 圓 圓角長方形 菱形

• 關于 Mermaid 語法，參考 這兒,

FLowchart流程圖

我們依舊會支持flowchart的流程圖：

Created with Rapha?l 2.2.0 開始 我的操作 確認？ 結束 yes no

• 關于 Flowchart流程圖 語法，參考 這兒.

導出與導入

導出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章導出 ，生成一個.md文件或者.html文件進行本地保存。

導入

如果你想加載一篇你寫過的.md文件，在上方工具欄可以選擇導入功能進行對應擴展名的文件導入，
繼續你的創作。

---

mermaid語法說明 ??

注腳的解釋 ??

總結

以上是生活随笔為你收集整理的python爬虫京东口红销售排行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。