scrapy在命令行指定要采集的url
生活随笔
收集整理的這篇文章主要介紹了
scrapy在命令行指定要采集的url
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
class MySpider(BaseSpider):
? ? ?# http://www.sharejs.com
? ? name = 'my_spider' ??
?
? ? def __init__(self, *args, **kwargs):
? ? ? super(MySpider, self).__init__(*args, **kwargs)
?
? ? ? self.start_urls = [kwargs.get('start_url')]
?
?
#該代碼片段來自于: http://www.sharejs.com/codes/python/8809
命令行
scrapy crawl my_spider -a start_url="http://some_url"
轉載于:https://blog.51cto.com/961911/1631988
總結
以上是生活随笔為你收集整理的scrapy在命令行指定要采集的url的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Xcode 6.3 Ineligibl
- 下一篇: 项目案例分享四:DC升级后Sysvol停