當前位置:
首頁 >
当当网爬虫
發布時間:2024/3/7
44
豆豆
我對當當網所分類進行了遍歷 ,對分類下的商品內容精心爬取,算是一個簡單的爬取,并沒有細化分類 爬取所有的商品
下面是爬蟲的spider
下面是爬蟲的pipline
import MySQLdb from dangdang.settings import * class DangdangPipeline(object):def __init__(self):self.item_array = []self.db = MySQLdb.connect(MYSQL_HOST, MYSQL_USER, MYSQL_PASSWD, MYSQL_DBNAME, charset='utf8mb4', use_unicode=True)self.cursor = self.db.cursor()self.insert_sql = """insert into {table_name}(name,price,level,shop)VALUES (%s, %s, %s, %s)""".format(table_name=table_name)def process_item(self, item, spider):params = (item['name'], item['price'], item['level'], item['shop'])self.item_array.append(params)self.cursor.executemany(self.insert_sql, self.item_array)self.db.commit()self.item_array = []return item最后放圖
單機沒有跑完 大概跑了10w數據
總結
- 上一篇: 三大开源社区是哪几个_3个衡量开源社区健
- 下一篇: 国内外开源社区资源汇总