前言：

編寫一個爬蟲腳本，用于爬取東方財富網的上海股票代碼，并通過爬取百度股票的單個股票數據，將所有上海股票數據爬取下來并保存到本地文件中

系統環境：

64位win10系統，64位python3.6,IDE位pycharm

預備知識：

BeautifulSoup的基本知識，re正則表達式的基本知識

代碼：

代碼解釋：

第一個getHTMLText函數的作用是獲得所需的網頁源代碼

第二個getStockList函數的作用是獲得東方財富網上面上海股票的全部代碼，查看網頁源代碼可知，股票代碼的數據放在'a'標簽里面，如下圖所示：

因此，首先用find_all方法遍歷所有'a'標簽，然后在'a'標簽里面提取出href部分信息，在提取出來的href信息里面，用正則表達式匹配所需的信息，“shd{6}”，即徐亞匹配例如sh200010的信息

第三個函數需要根據第二個函數得到的股票代碼，拼接出一個url，在這個特定的url的網頁里，使用第一個函數解析網頁，首先加一個判斷，如果遇到html為空，那么要繼續執行下去，同樣，我們也需要再加一個判斷（關鍵之處），遇到網頁不存在，

但html源代碼仍然是存在的，因此接下去這個命令

stockInfo = soup.find('div',attrs = {'class':'stock-bets'})

可能為空，如果不加判斷，程序執行到這里就會報錯而無法繼續執行，因此添加：

if stockInfo == None:

continue

總結

以上是生活随笔為你收集整理的mysql 数据为空 none 网页显示空白_用python爬虫爬取股票数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。