python当当图书信息抓取
生活随笔
收集整理的這篇文章主要介紹了
python当当图书信息抓取
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import time
#當(dāng)當(dāng)圖書(shū)信息抓取
def getdangdang(isbn):ua = UserAgent()headers = {'User-Agent':ua.random}url = 'http://search.dangdang.com/?act=input&key='+isbndata = requests.get(url,headers=headers)#print(data.text)soup = BeautifulSoup(data.text,'lxml')ul = soup.find_all('ul',{'class':'bigimg'})[0]#print(ul)li = ul.find_all('li')#print(li)titles = []imgsrcs = []prices = []for index in range(len(li)):#print(li[index].find('img'))data_original = li[index].find('img').get('data-original')#print('data_original=',data_original)if data_original == None:src = li[index].find('img').get('src')if src.find('http') != -1:imgsrcs.append(src)else:imgsrcs.append(data_original)titles.append(li[index].find('img').get('alt'))prices.append(li[index].find('p',{'class':'price'}).find('span',{'class':'search_now_price'}).get_text().replace('¥',''))#print(titles)#print(imgsrcs)return titles,imgsrcs,pricesif __name__=='__main__':print('當(dāng)當(dāng)圖書(shū)信息抓取開(kāi)始。。。')#time.sleep(1)titles,imgsrcs,prices = getdangdang('9787533735609')print('titles=',titles)print('img=',imgsrcs)print('prices=',prices)print('當(dāng)當(dāng)圖書(shū)信息抓取結(jié)束。。。')
#以上代碼僅提供參考交流學(xué)習(xí)
總結(jié)
以上是生活随笔為你收集整理的python当当图书信息抓取的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Labview操作sqlite数据库
- 下一篇: python 批量替换srt文本_Pyt