1.使用python的re模塊過濾html標簽

In [1]: response.xpath("//div[@class='zx-dis_content']/p").extract()

Out[1]:

['

',

'

'

\xa0 \xa0 \xa0 \xa0張舜咨蒼鷹竹梧圖軸 \xa0 \xa0元，絹本，設色。縱146厘米，橫93厘米。

',

'

此圖畫一只黃鷹獨立 于梧桐樹之上，昂首遠眺，目光咄咄。樹下墨竹成趣。黃鷹的畫法師承宋代院體畫派，造型準確，羽毛用細筆勾描后填色，工整細致，刻畫精微，神形畢肖。梧桐和墨竹用兼工帶寫的筆法，于蒼古之中又見清潤之致。畫中自題云：“張舜咨師夔為德英識”，另有薩達道、劉嵩題詩。張舜咨傳世作品極少，此幅設色淡雅、繁簡得當，在其作品中亦屬佳品。
\xa0\xa0\xa0\xa0\xa0 張舜咨，生卒年不詳，元 代畫家。一名羲上，字師夔，號櫟山、輒醉翁，錢塘(今浙江杭州)人。善畫山水、竹石，用筆沉著，頗有氣勢，兼長詩、書，人稱“三絕”。精心研習諸家畫技，吸取各家之長，自成一家。作畫講究布局，大幅小景，布置各有其法。所作山水畫，使人有身臨其境之感。畫古柏蒼老擎天，別具風氣。

']

使用scrapy shell查看，發現想要獲取的數據是帶有標簽的數據，但是只想要標簽內的文本，因此進行html標簽過濾

raw_description = response.xpath("//div[@class='zx-dis_content']/p").extract() # 帶標簽的文本

string = "".join(raw_description)

dr = re.compile(r']+>', re.S) # 構建匹配模式

dd = dr.sub('', string) # 去除html標簽

item['description'] = dd.strip().replace('\xa0', '').replace('\u3000', '').replace('\r\n', '')

2.在瀏覽器中構建的xpath在python中卻無法獲取數據

第一種情況：xpath寫的太長很容易出錯

第二種情況：瀏覽器中的代碼和源碼不一致

瀏覽器對不標準的HTML文檔都有糾正功能，同樣的URL瀏覽器會加載js事件，所以瀏覽器和python爬蟲類requests打開同樣的URL獲取的源碼肯定是不一樣的，因此最好是查看page source(是源代碼，不是developer tool那個)。

3.Python scrapy中統計parse函數的執行次數

在spider類里面加個計數變量，然后再closed() 方法里面添加log，把計數給打印出來

class MySpider(scrapy.Spider):

def __init__(self):

self.count = 0

def parse(self, response):

self.count += 1

def closed(self):

log(self.count)

4.使用meta傳遞信息

Request中meta參數的作用是傳遞信息給下一個函數，meta是一個dict，一種常見的情況：在parse中給item某些字段提取了值，但是另外一些值需要在parse_item中提取，這時候需要將parse中的item傳到parse_item方法中處理，顯然無法直接給parse_item設置而外參數。 Request對象接受一個meta參數，一個字典對象，同時Response對象有一個meta屬性可以取到相應request傳過來的meta。

使用過程可以理解成：

1---把需要傳遞的信息賦值給這個叫meta的變量，但meta只接受字典類型的賦值，因此要把待傳遞的信息改成“字典”的形式，即：meta={'key1':value1,'key2':value2}

2---如果想在下一個函數中取出value1,只需得到上一個函數的meta['key1']即可，

因為meta是隨著Request產生時傳遞的，下一個函數得到的Response對象中就會有meta，即response.meta，取value1則是value1=response.meta['key1']

class example(scrapy.Spider):

name='example'

allowed_domains=['example.com']

start_urls=['http://www.example.com']

def parse(self,response):

#從start_urls中分析出的一個網址賦值給url

url=response.xpath('.......').extract()

#ExamleClass是在items.py中定義的,下面會寫出。

"""記住item本身是一個字典"""

item=ExampleClass()

item['name']=response.xpath('.......').extract()

item['htmlurl']=response.xpath('.......').extract()

"""通過meta參數，把item這個字典，賦值給meta中的'key'鍵(記住meta本身也是一個字典)。

Scrapy.Request請求url后生成一個"Request對象"，這個meta字典(含有鍵值'key'，'key'的值也是一個字典，即item)

會被“放”在"Request對象"里一起發送給parse2()函數 """

yield Request(url,meta={'key':item},callback='parse2')

def parse2(self,response):

item=response.meta['key']

"""這個response已含有上述meta字典，此句將這個字典賦值給item，

完成信息傳遞。這個item已經和parse中的item一樣了"""

item['text']=response.xpath('.......').extract()

#item共三個鍵值，到這里全部添加完畢了

yield item

5.python 字符串(str)和列表(list)的互相轉換

1.str >>>list

str1 = "12345"

list1 = list(str1)

print list1

str2 = "123 sjhid dhi"

list2 = str2.split() #or list2 = str2.split(" ")

print list2

str3 = "www.google.com"

list3 = str3.split(".")

print list3

輸出為：

['1', '2', '3', '4', '5']

['123', 'sjhid', 'dhi']

['www', 'google', 'com']

2.list >>>str

str4 = "".join(list3)

print str4

str5 = ".".join(list3)

print str5

str6 = " ".join(list3)

print str6

輸出為：

wwwgooglecom

www.google.com

www google com

6. 文件讀寫'r' 和 'rb'區別

文件使用方式標識:

'r':默認值，表示從文件讀取數據。

'w':表示要向文件寫入數據，并截斷以前的內容

'a':表示要向文件寫入數據，添加到當前內容尾部

'r+':表示對文件進行可讀寫操作(刪除以前的所有數據)

'r+a'：表示對文件可進行讀寫操作(添加到當前文件尾部)

'b':表示要讀寫二進制數據

注：使用'r'/'w'進行讀/寫二進制文件時，遇到'0x1A'即停止，因此可能會出現文檔讀/寫不全的現象。

解決辦法：使用'rb'/'wb'來讀/寫二進制文件。

7. Python中的lambda使用

func=lambda x:x+1

print(func(1))

#2

print(func(2))

#3

#以上lambda等同于以下函數

def func(x):

return(x+1)

可以這樣認為，lambda作為一個表達式，定義了一個匿名函數，上例的代碼x為入口參數，x+1為函數體。在這里lambda簡化了函數定義的書寫形式，使代碼更為簡潔。

8.哈希函數

# 導入hash庫

import hashlib

# 實例化對象

md5 = hashlib.md5()

# 準備兩個不同的字符串，用來進行對比

text1 = "There are two books"

text2 = "There are 2 books"

# 對第一個字符串進行哈希運算

md5.update(text1.encode('utf-8'))

hash1 = md5.hexdigest()

# 打印第一個字符串的哈希值

print("第一個字符串的哈希值：" + hash1)

# 對第二個字符串進行哈希運算

md5.update(text2.encode('utf-8'))

hash2 = md5.hexdigest()

# 打印第二個字符串的哈希值

print("第二個字符串的哈希值：" + hash2)

9.文件操作

列出當前目錄下的所有文件和目錄名

import os

for d in os.listdir('D:/Pythonworkspace/Instrument/'):

print(d)

輸出某個路徑及其子目錄下所有以".xlsx"為后綴的文件

import os

def print_dir(filepath):

for i in os.listdir(filepath):

path = os.path.join(filepath, i)

if os.path.isdir(path):

print_dir(path)

if path.endswith(".xlsx"):

print(path)

filepath = "D:/Pythonworkspace/Instrument/"

print_dir(filepath)

10.

總結

以上是生活随笔為你收集整理的python的scrapy爬虫模块间进行传参_Python | Scrapy 爬虫过程问题解决（持续更新...）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。