爬取股票信息(股票代码+价格)
生活随笔
收集整理的這篇文章主要介紹了
爬取股票信息(股票代码+价格)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
用到的兩個網站分別東方財富網和老虎社區
思路為先從東方財富網獲取股票列表,列表包含所有的股票名稱和代碼。然后再根據股票代碼從老虎社區獲取到個股的價格信息。
直接上代碼:
import requests from bs4 import BeautifulSoup import re# 獲得HTML頁面 def getHTMLpages(url):try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""# 將股票信息存入列表 def getSharelist(ulis, html):soup = BeautifulSoup(html, "html.parser")tags = soup.find_all('a', target="_blank") # a標簽的target屬性值為"_blank"# print(tags)for tag in tags:str1 = tag.attrs['href'] # 獲得鏈接信息# print(type(str1))# print(str1)match = re.search(r's[hz]\d{6}', str1) # 從鏈接中找到股票代碼if match: # 必須加判斷,因為有的鏈接不符合,這樣的話正則表達式匹配不到,match.group(0)就是空的,會報錯TypeError# print(match.group(0))ulis.append(match.group(0))else:continue# 將個股信息存入文件 def getShareinfo(url, count):html = getHTMLpages(url)soup = BeautifulSoup(html, "html.parser")names = soup.find('h1', attrs={'class': 'name'}) #股票名稱price = soup.find('span', attrs={'class': 'latest'}) # 個股價格# print(tags.attrs['class'])if names: # 必須加判斷,因為有的查詢不到TestDict = {}# print(names.text) # 打印標簽內的內容TestDict[names.text] = price.text# print(price.text)# 將股票信息追加寫入到股票信息.txt中with open("D:\VscodePy\pytest\股票信息.txt", "a", encoding='utf-8') as f:f.write('\n' + str(TestDict))f.close()print("當前進度: {:.2f}%\n".format(count * 100 / len(ulis)), end="")# 主函數 if __name__ == "__main__":ulis = []count = 1url1 = "http://quote.eastmoney.com/stock_list.html"html = getHTMLpages(url1)# with open("D:\VscodePy\pytest\sharehtml1.txt", "w", encoding='utf-8') as f:# f.write(html)# f.close()# with open('D:\VscodePy\pytest\sharehtml1.txt', 'r', encoding='utf-8') as f:# sss = f.read()# getSharelist(ulis, sss)# f.close()# print(ulis)getSharelist(ulis, html)print("數據共有{}條\n".format(len(ulis)))url2 = "https://www.laohu8.com/stock/"for i in range(len(ulis)):code = re.search(r'\d{6}', ulis[i])url = url2 + code.group(0)getShareinfo(url, count)count += 1輸出結果為:
共有4792條數據,有些股票是停牌狀態,但是是JS動態加載出來的,使用這個方法只能爬取靜態頁面,如何爬取動態頁面后面更新會補上。
總結
以上是生活随笔為你收集整理的爬取股票信息(股票代码+价格)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python爬取淘宝商品价格销量信息
- 下一篇: Scrapy爬虫框架命令行操作