前言

本文的文字及圖片來源于網絡,僅供學習、交流使用,不具有任何商業(yè)用途,如有問題請及時聯系我們以作處理。

還記得童年的網頁小游戲嗎？今天帶大家爬取4399小游戲網站的數據，游戲名字+鏈接地址

目標網站

http://www.4399.com/

基本環(huán)境配置

• python 3.6
• pycharm
• requests
• parsel
• csv

爬蟲代碼

導入需要用到的工具

1import requests 2import parsel 3import csv

請求網頁

1 url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page) 2 headers = { 3 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' 4 } 5 response = requests.get(url=url, headers=headers) 6 response.encoding = response.apparent_encoding

解析網頁，爬取數據

1 for li in lis: 2 dit ={} 3 data_url = li.css('a::attr(href)').get() 4 new_url = 'http://www.4399.com' + data_url.replace('http://', '/') 5 dit['游戲地址'] = new_url 6 title = li.css('img::attr(alt)').get() 7 dit['游戲名字'] = title 8 print(new_url, title)

保存數據

1f = open('4399游戲.csv', mode='a', encoding='utf-8-sig', newline='') 2 3csv_writer = csv.DictWriter(f, fieldnames=['游戲地址', '游戲名字']) 4csv_writer.writeheader() 5f.close()

運行代碼，效果如下圖

每秒200條數據，超快的爬取速度

總結

以上是生活随笔為你收集整理的怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。