我嘗試使用蜘蛛網(wǎng).py。當(dāng)我跑“小蜘蛛”的時(shí)候蜘蛛網(wǎng).py“我沒有得到任何輸出，只是沒有出錯(cuò)。在

我在python腳本中測(cè)試了SELECT查詢，并使用MYSQL表中的條目填充start_url。在

蜘蛛網(wǎng).pyfrom scrapy.spider import BaseSpider

from scrapy.selector import Selector

import MySQLdb

class ProductsSpider(BaseSpider):

name = "Products"

allowed_domains = ["test.com"]

start_urls = []

def parse(self, response):

print self.start_urls

def populate_start_urls(self, url):

conn = MySQLdb.connect(

user='user',

passwd='password',

db='scrapy',

host='localhost',

charset="utf8",

use_unicode=True

)

cursor = conn.cursor()

cursor.execute(

'SELECT url FROM links;'

)

rows = cursor.fetchall()

for row in rows:

start_urls.append(row[0])

conn.close()

總結(jié)

以上是生活随笔為你收集整理的mysql构建url给scrapy_Python Scrapy从mysq填充起始url的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。