日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > linux >内容正文

linux

linux c语 curl代码_偷懒必备工具——一键生成爬虫代码

發布時間:2024/7/19 linux 49 豆豆
生活随笔 收集整理的這篇文章主要介紹了 linux c语 curl代码_偷懒必备工具——一键生成爬虫代码 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

我們在構建網絡請求的時候,不可避免地要添加請求頭(headers),以mdn學習區為例(https://developer.mozilla.org/zh-CN/docs/learn),我們的請求頭是這樣的:

一般來說,我們只要添加user-agent和cookie就能滿足絕大部分需求了,Python代碼如下:

但是有些請求,我們要把特定的headers參數添加上才能獲得正確的網絡響應,不知道哪個參數是必要的情況下,就要先把所有參數都添加上,再逐個排除。

但是手動復制粘貼headers字典里的每一個鍵值對太費事了,一個不那么方便的解決方案:

  • 正則表達式或者直接字符串替換,把headers字符串拷貝下來,轉化為字典

有沒有把網絡請求快速構建成Python代碼的方法呢?這里給大家介紹兩個:

  • 網站在線轉換
  • Postman

抓取網站:https://developer.mozilla.org/zh-CN/docs/learn

網站在線轉換

1,Chrome打開開發者選項(f12),network選項卡,刷新頁面,獲取請求,找到頁面信息對應的請求 (通過請求的名稱、后綴和response來判斷)

2,右鍵,copy,copy as cURL (bash),注意不是【copy as cURL (cmd)】

3,打開網站,https://curl.trillworks.com/,粘貼cURL (bash)到左邊curl command,右邊會自動出Python代碼

4,生成代碼如下圖

5,print(response.text) 就可以打印網頁源代碼啦!

Postman

1,下載postman (Chrome有個postman的插件,操作應該差不多)

2,打開postman,彈出的界面可以直接關掉

3,import,paste raw text,在Chrome里復制curl(bash),粘貼到下面的對話框里,點擊import按鈕

4,點擊send,模擬網絡請求,下方可查看源代碼

5,確保源代碼正常后,點擊code

6,左上角可以選擇編程語言,右上角復制到剪貼板

總結

以上是生活随笔為你收集整理的linux c语 curl代码_偷懒必备工具——一键生成爬虫代码的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。