1)urllib2+BeautifulSoup抓取Goolge搜索鏈接

近期，參與的項(xiàng)目需要對(duì)Google搜索結(jié)果進(jìn)行處理，之前學(xué)習(xí)了Python處理網(wǎng)頁(yè)相關(guān)的工具。實(shí)際應(yīng)用中，使用了urllib2和beautifulsoup來進(jìn)行網(wǎng)頁(yè)的抓取，但是在抓取google搜索結(jié)果的時(shí)候，發(fā)現(xiàn)如果是直接對(duì)google搜索結(jié)果頁(yè)面的源代碼進(jìn)行處理，會(huì)得到很多“臟”鏈接。

看下圖為搜索“titanic james”的結(jié)果：

圖中紅色標(biāo)記的是不需要的，藍(lán)色標(biāo)記的是需要抓取處理的。

這種“臟鏈接”當(dāng)然可以通過規(guī)則過濾的方法來過濾掉，但是這樣程序的復(fù)雜度就高了。正當(dāng)自己愁眉苦臉的正在寫過濾規(guī)則時(shí)。同學(xué)提醒說google應(yīng)該提供相關(guān)的api，才恍然大明白。

(2)Google Web Search API+多線程

文檔中給出使用Python進(jìn)行搜索的例子：

圖中紅色標(biāo)記的是不需要的，藍(lán)色標(biāo)記的是需要抓取處理的。

這種“臟鏈接”當(dāng)然可以通過規(guī)則過濾的方法來過濾掉，但是這樣程序的復(fù)雜度就高了。正當(dāng)自己愁眉苦臉的正在寫過濾規(guī)則時(shí)。同學(xué)提醒說google應(yīng)該提供相關(guān)的api，才恍然大明白。

(2)Google Web Search API+多線程

文檔中給出使用Python進(jìn)行搜索的例子：

import simplejson

# The request also includes the userip parameter which provides the end

# user's IP address. Doing so will help distinguish this legitimate

# server-side traffic from traffic which doesn't come from an end-user.

url = ('https://ajax.googleapis.com/ajax/services/search/web'

'?v=1.0&q=Paris%20Hilton&userip=USERS-IP-ADDRESS')

request = urllib2.Request(

url, None, {'Referer': /* Enter the URL of your site here */})

response = urllib2.urlopen(request)

# Process the JSON string.

results = simplejson.load(response)

# now have some fun with the results...

import simplejson

# The request also includes the userip parameter which provides the end

# user's IP address. Doing so will help distinguish this legitimate

# server-side traffic from traffic which doesn't come from an end-user.

url = ('https://ajax.googleapis.com/ajax/services/search/web'

'?v=1.0&q=Paris%20Hilton&userip=USERS-IP-ADDRESS')

request = urllib2.Request(

url, None, {'Referer': /* Enter the URL of your site here */})

response = urllib2.urlopen(request)

# Process the JSON string.

results = simplejson.load(response)

# now have some fun with the results..

實(shí)際應(yīng)用中可能需要抓取google的很多網(wǎng)頁(yè)，所以還需要使用多線程來分擔(dān)抓取任務(wù)。使用google web search api的參考詳細(xì)介紹，請(qǐng)看此處(這里介紹了Standard URL Arguments)。另外要特別注意，url中參數(shù)rsz必須是8(包括8)以下的值，若大于8，會(huì)報(bào)錯(cuò)的！

(3)代碼實(shí)現(xiàn)

代碼實(shí)現(xiàn)還存在問題，但是能夠運(yùn)行，魯棒性差，還需要進(jìn)行改進(jìn)，希望各路大神指出錯(cuò)誤(初學(xué)Python)，不勝感激。

#-*-coding:utf-8-*-

import urllib2,urllib

import simplejson

import os, time,threading

import common, html_filter

#input the keywords

keywords = raw_input('Enter the keywords: ')

#define rnum_perpage, pages

rnum_perpage=8

pages=8

#定義線程函數(shù)

def thread_scratch(url, rnum_perpage, page):

url_set = []

try:

request = urllib2.Request(url, None, {'Referer': 'http://www.sina.com'})

response = urllib2.urlopen(request)

# Process the JSON string.

results = simplejson.load(response)

info = results['responseData']['results']

except Exception,e:

print 'error occured'

print e

else:

for minfo in info:

url_set.append(minfo['url'])

print minfo['url']

#處理鏈接

i = 0

for u in url_set:

try:

request_url = urllib2.Request(u, None, {'Referer': 'http://www.sina.com'})

request_url.add_header(

'User-agent',

'CSC'

)

response_data = urllib2.urlopen(request_url).read()

#過濾文件

#content_data = html_filter.filter_tags(response_data)

#寫入文件

filenum = i+page

filename = dir_name+'/related_html_'+str(filenum)

print ' write start: related_html_'+str(filenum)

f = open(filename, 'w+', -1)

f.write(response_data)

#print content_data

f.close()

print ' write down: related_html_'+str(filenum)

except Exception, e:

print 'error occured 2'

print e

i = i+1

return

#創(chuàng)建文件夾

dir_name = 'related_html_'+urllib.quote(keywords)

if os.path.exists(dir_name):

print 'exists file'

common.delete_dir_or_file(dir_name)

os.makedirs(dir_name)

#抓取網(wǎng)頁(yè)

print 'start to scratch web pages:'

for x in range(pages):

print "page:%s"%(x+1)

page = x * rnum_perpage

url = ('https://ajax.googleapis.com/ajax/services/search/web'

'?v=1.0&q=%s&rsz=%s&start=%s') % (urllib.quote(keywords), rnum_perpage,page)

print url

t = threading.Thread(target=thread_scratch, args=(url,rnum_perpage, page))

t.start()

#主線程等待子線程抓取完

main_thread = threading.currentThread()

for t in threading.enumerate():

if t is main_thread:

continue

t.join()

更多技巧請(qǐng)《轉(zhuǎn)發(fā) + 關(guān)注》哦！

總結(jié)

以上是生活随笔為你收集整理的python request url 转义_Python多线程抓取Google搜索链接网页的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。