創建Scrapy工程：

scrapy?startproject?weather2

定義Items（items.py）：

import?scrapyclass?Weather2Item(scrapy.Item):#?define?the?fields?for?your?item?here?like:#?name?=?scrapy.Field()weatherDate?=?scrapy.Field()weatherDate2?=?scrapy.Field()weatherWea?=?scrapy.Field()weatherTem1?=?scrapy.Field()weatherTem2?=?scrapy.Field()weatherWin?=?scrapy.Field()

編寫Spider（spiders/weatherSpider.py）：

import?scrapy from?weather2.items?import?Weather2Item?class?CatchWeatherSpider(scrapy.Spider):name?=?'CatchWeather2'allowed_domains?=?['weather.com.cn']start_urls?=?["http://www.weather.com.cn/weather/101280101.shtml"]def?parse(self,?response):for?sel?in?response.xpath('//*[@id="7d"]/ul/li'):item?=?Weather2Item()item['weatherDate']?=?sel.xpath('h1/text()').extract()?item['weatherDate2']?=?sel.xpath('h2/text()').extract()item['weatherWea']?=?sel.xpath('p[@class="wea"]/text()').extract()item['weatherTem1']?=?sel.xpath('p[@class="tem?tem1"]/span/text()').extract()?+?sel.xpath('p[@class="tem?tem1"]/i/text()').extract()item['weatherTem2']?=?sel.xpath('p[@class="tem?tem2"]/span/text()').extract()?+?sel.xpath('p[@class="tem?tem2"]/i/text()').extract()item['weatherWin']?=?sel.xpath('p[@class="win"]/i/text()').extract()yield?item

• name:定義蜘蛛的名字。

• allowed_domains:?包含構成許可域的基礎URL，供蜘蛛去爬。

• start_urls:?是一個URL列表，蜘蛛從這里開始爬。蜘蛛從start_urls中的URL下載數據，所有后續的URL將從這些數據中獲取。

數據來源是http://www.weather.com.cn/weather/101280101.shtml，101280101是廣州的城市編號

這里用到了xpath分析html，感覺好簡單

測試運行：

scrapy?crawl?CatchWeather2

結果片斷：

已經拿到我們想要的數據

創建數據庫：

CREATE?TABLE?`yunweiApp_weather`?(`id`?int(11)?NOT?NULL?AUTO_INCREMENT,`weatherDate`?varchar(10)?DEFAULT?NULL,`weatherDate2`?varchar(10)?NOT?NULL,`weatherWea`?varchar(10)?NOT?NULL,`weatherTem1`?varchar(10)?NOT?NULL,`weatherTem2`?varchar(10)?NOT?NULL,`weatherWin`?varchar(10)?NOT?NULL,`updateTime`?datetime?NOT?NULL,PRIMARY?KEY?(`id`) )?ENGINE=InnoDB?AUTO_INCREMENT=15?DEFAULT?CHARSET=utf8;

創建PipeLines（）：

import?MySQLdb import?datetimeDEBUG?=?Trueif?DEBUG:dbuser?=?'lihuipeng'dbpass?=?'lihuipeng'dbname?=?'game_main'dbhost?=?'192.168.1.100'dbport?=?'3306' else:dbuser?=?'root'dbpass?=?'lihuipeng'dbname?=?'game_main'dbhost?=?'127.0.0.1'dbport?=?'3306'class?MySQLStorePipeline(object):def?__init__(self):self.conn?=?MySQLdb.connect(user=dbuser,?passwd=dbpass,?db=dbname,?host=dbhost,?charset="utf8",?use_unicode=True)self.cursor?=?self.conn.cursor()#清空表：self.cursor.execute("truncate?table?yunweiApp_weather;")self.conn.commit()?def?process_item(self,?item,?spider):?curTime?=??datetime.datetime.now()??try:self.cursor.execute("""INSERT?INTO?yunweiApp_weather?(weatherDate,?weatherDate2,?weatherWea,?weatherTem1,?weatherTem2,?weatherWin,?updateTime)??VALUES?(%s,?%s,?%s,?%s,?%s,?%s,?%s)""",?(item['weatherDate'][0].encode('utf-8'),?item['weatherDate2'][0].encode('utf-8'),item['weatherWea'][0].encode('utf-8'),item['weatherTem1'][0].encode('utf-8'),item['weatherTem2'][0].encode('utf-8'),item['weatherWin'][0].encode('utf-8'),curTime,))self.conn.commit()except?MySQLdb.Error,?e:print?"Error?%d:?%s"?%?(e.args[0],?e.args[1])return?item

修改setting.py啟用pipelines：

ITEM_PIPELINES?=?{#'weather2.pipelines.Weather2Pipeline':?300,'weather2.pipelines.MySQLStorePipeline':?400, }

后面的數字只是一個權重，范圍在0-1000內即可

重新測試運行：

scrapy?crawl?CatchWeather2

結果：

結合運維后臺隨便展示一下：

搞完收工~~

轉載于:https://blog.51cto.com/lihuipeng/1711852

總結

以上是生活随笔為你收集整理的Scrapy结合Mysql爬取天气预报入库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。