1.使用python的re模塊過濾html標(biāo)簽

In [1]: response.xpath("//div[@class='zx-dis_content']/p").extract()

Out[1]:

['

',

'

'

\xa0 \xa0 \xa0 \xa0張舜咨蒼鷹竹梧圖軸 \xa0 \xa0元，絹本，設(shè)色。縱146厘米，橫93厘米。

',

'

此圖畫一只黃鷹獨(dú)立 于梧桐樹之上，昂首遠(yuǎn)眺，目光咄咄。樹下墨竹成趣。黃鷹的畫法師承宋代院體畫派，造型準(zhǔn)確，羽毛用細(xì)筆勾描后填色，工整細(xì)致，刻畫精微，神形畢肖。梧桐和墨竹用兼工帶寫的筆法，于蒼古之中又見清潤之致。畫中自題云：“張舜咨師夔為德英識”，另有薩達(dá)道、劉嵩題詩。張舜咨傳世作品極少，此幅設(shè)色淡雅、繁簡得當(dāng)，在其作品中亦屬佳品。
\xa0\xa0\xa0\xa0\xa0 張舜咨，生卒年不詳，元 代畫家。一名羲上，字師夔，號櫟山、輒醉翁，錢塘(今浙江杭州)人。善畫山水、竹石，用筆沉著，頗有氣勢，兼長詩、書，人稱“三絕”。精心研習(xí)諸家畫技，吸取各家之長，自成一家。作畫講究布局，大幅小景，布置各有其法。所作山水畫，使人有身臨其境之感。畫古柏蒼老擎天，別具風(fēng)氣。

']

使用scrapy shell查看，發(fā)現(xiàn)想要獲取的數(shù)據(jù)是帶有標(biāo)簽的數(shù)據(jù)，但是只想要標(biāo)簽內(nèi)的文本，因此進(jìn)行html標(biāo)簽過濾

raw_description = response.xpath("//div[@class='zx-dis_content']/p").extract() # 帶標(biāo)簽的文本

string = "".join(raw_description)

dr = re.compile(r']+>', re.S) # 構(gòu)建匹配模式

dd = dr.sub('', string) # 去除html標(biāo)簽

item['description'] = dd.strip().replace('\xa0', '').replace('\u3000', '').replace('\r\n', '')

2.在瀏覽器中構(gòu)建的xpath在python中卻無法獲取數(shù)據(jù)

第一種情況：xpath寫的太長很容易出錯

第二種情況：瀏覽器中的代碼和源碼不一致

瀏覽器對不標(biāo)準(zhǔn)的HTML文檔都有糾正功能，同樣的URL瀏覽器會加載js事件，所以瀏覽器和python爬蟲類requests打開同樣的URL獲取的源碼肯定是不一樣的，因此最好是查看page source(是源代碼，不是developer tool那個)。

3.Python scrapy中統(tǒng)計parse函數(shù)的執(zhí)行次數(shù)

在spider類里面加個計數(shù)變量，然后再closed() 方法里面添加log，把計數(shù)給打印出來

class MySpider(scrapy.Spider):

def __init__(self):

self.count = 0

def parse(self, response):

self.count += 1

def closed(self):

log(self.count)

4.使用meta傳遞信息

Request中meta參數(shù)的作用是傳遞信息給下一個函數(shù)，meta是一個dict，一種常見的情況：在parse中給item某些字段提取了值，但是另外一些值需要在parse_item中提取，這時候需要將parse中的item傳到parse_item方法中處理，顯然無法直接給parse_item設(shè)置而外參數(shù)。 Request對象接受一個meta參數(shù)，一個字典對象，同時Response對象有一個meta屬性可以取到相應(yīng)request傳過來的meta。

使用過程可以理解成：

1---把需要傳遞的信息賦值給這個叫meta的變量，但meta只接受字典類型的賦值，因此要把待傳遞的信息改成“字典”的形式，即：meta={'key1':value1,'key2':value2}

2---如果想在下一個函數(shù)中取出value1,只需得到上一個函數(shù)的meta['key1']即可，

因?yàn)閙eta是隨著Request產(chǎn)生時傳遞的，下一個函數(shù)得到的Response對象中就會有meta，即response.meta，取value1則是value1=response.meta['key1']

class example(scrapy.Spider):

name='example'

allowed_domains=['example.com']

start_urls=['http://www.example.com']

def parse(self,response):

#從start_urls中分析出的一個網(wǎng)址賦值給url

url=response.xpath('.......').extract()

#ExamleClass是在items.py中定義的,下面會寫出。

"""記住item本身是一個字典"""

item=ExampleClass()

item['name']=response.xpath('.......').extract()

item['htmlurl']=response.xpath('.......').extract()

"""通過meta參數(shù)，把item這個字典，賦值給meta中的'key'鍵(記住meta本身也是一個字典)。

Scrapy.Request請求url后生成一個"Request對象"，這個meta字典(含有鍵值'key'，'key'的值也是一個字典，即item)

會被“放”在"Request對象"里一起發(fā)送給parse2()函數(shù) """

yield Request(url,meta={'key':item},callback='parse2')

def parse2(self,response):

item=response.meta['key']

"""這個response已含有上述meta字典，此句將這個字典賦值給item，

完成信息傳遞。這個item已經(jīng)和parse中的item一樣了"""

item['text']=response.xpath('.......').extract()

#item共三個鍵值，到這里全部添加完畢了

yield item

5.python 字符串(str)和列表(list)的互相轉(zhuǎn)換

1.str >>>list

str1 = "12345"

list1 = list(str1)

print list1

str2 = "123 sjhid dhi"

list2 = str2.split() #or list2 = str2.split(" ")

print list2

str3 = "www.google.com"

list3 = str3.split(".")

print list3

輸出為：

['1', '2', '3', '4', '5']

['123', 'sjhid', 'dhi']

['www', 'google', 'com']

2.list >>>str

str4 = "".join(list3)

print str4

str5 = ".".join(list3)

print str5

str6 = " ".join(list3)

print str6

輸出為：

wwwgooglecom

www.google.com

www google com

6. 文件讀寫'r' 和 'rb'區(qū)別

文件使用方式標(biāo)識:

'r':默認(rèn)值，表示從文件讀取數(shù)據(jù)。

'w':表示要向文件寫入數(shù)據(jù)，并截斷以前的內(nèi)容

'a':表示要向文件寫入數(shù)據(jù)，添加到當(dāng)前內(nèi)容尾部

'r+':表示對文件進(jìn)行可讀寫操作(刪除以前的所有數(shù)據(jù))

'r+a'：表示對文件可進(jìn)行讀寫操作(添加到當(dāng)前文件尾部)

'b':表示要讀寫二進(jìn)制數(shù)據(jù)

注：使用'r'/'w'進(jìn)行讀/寫二進(jìn)制文件時，遇到'0x1A'即停止，因此可能會出現(xiàn)文檔讀/寫不全的現(xiàn)象。

解決辦法：使用'rb'/'wb'來讀/寫二進(jìn)制文件。

7. Python中的lambda使用

func=lambda x:x+1

print(func(1))

#2

print(func(2))

#3

#以上lambda等同于以下函數(shù)

def func(x):

return(x+1)

可以這樣認(rèn)為，lambda作為一個表達(dá)式，定義了一個匿名函數(shù)，上例的代碼x為入口參數(shù)，x+1為函數(shù)體。在這里lambda簡化了函數(shù)定義的書寫形式，使代碼更為簡潔。

8.哈希函數(shù)

# 導(dǎo)入hash庫

import hashlib

# 實(shí)例化對象

md5 = hashlib.md5()

# 準(zhǔn)備兩個不同的字符串，用來進(jìn)行對比

text1 = "There are two books"

text2 = "There are 2 books"

# 對第一個字符串進(jìn)行哈希運(yùn)算

md5.update(text1.encode('utf-8'))

hash1 = md5.hexdigest()

# 打印第一個字符串的哈希值

print("第一個字符串的哈希值：" + hash1)

# 對第二個字符串進(jìn)行哈希運(yùn)算

md5.update(text2.encode('utf-8'))

hash2 = md5.hexdigest()

# 打印第二個字符串的哈希值

print("第二個字符串的哈希值：" + hash2)

9.文件操作

列出當(dāng)前目錄下的所有文件和目錄名

import os

for d in os.listdir('D:/Pythonworkspace/Instrument/'):

print(d)

輸出某個路徑及其子目錄下所有以".xlsx"為后綴的文件

import os

def print_dir(filepath):

for i in os.listdir(filepath):

path = os.path.join(filepath, i)

if os.path.isdir(path):

print_dir(path)

if path.endswith(".xlsx"):

print(path)

filepath = "D:/Pythonworkspace/Instrument/"

print_dir(filepath)

10.

總結(jié)

以上是生活随笔為你收集整理的python的scrapy爬虫模块间进行传参_Python | Scrapy 爬虫过程问题解决（持续更新...）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。