聲明：本文已授權(quán)公眾號「AI極客研修站」獨家發(fā)布

前言

各位朋友大家好，小之今天又來給大家?guī)硪恍└韶浟恕Ｉ掀恼聶C(jī)器學(xué)習(xí)股票價格預(yù)測初級實戰(zhàn)是我在剛接觸量化交易那會，因為苦于找不到數(shù)據(jù)源，所以找的一個第三方平臺來獲取股票數(shù)據(jù)。

后來對平臺上使用的ipython notebook感興趣了，我畢竟Python學(xué)習(xí)的時間不長，所以接觸到這樣特殊美好的編譯環(huán)境，真的很欣喜。ipython中代碼、文字、圖表混合在一起，非常方便做文檔演示，而且它可以即時編譯，總之用起來很爽。

所以我就查閱了一些資料，了解到實際上我們自己也是可以使用ipython來作為本地編輯器的，這讓我特別開心，加上這周五，也就是明天，我要在全公司面前做一個人工智能和量化交易方面的分享會，所以我就趁機(jī)把演示代碼寫在ipython notebook上，等明天的時候，先把代碼跑好，然后邊演示代碼邊演示圖表，舒服，等會大家也會在文章中感受到ipython notebook的魅力。

這個PPT我會分享出來，并且還會用一篇文章，專門的說說我在這次分享會演講中說了什么，想到了什么，希望可以和大家一起交流。

當(dāng)然，PPT 的樣式可能真的不太符合你的期望，我只是一個程序員，實在是不太擅長這些，所以白底黑字，感覺也是極好的。

URL分析

像上篇文章，我是用的股票中的指數(shù)數(shù)據(jù)來分析，不過呢，周五的分享會中，我需要用一個我們公司平時比較熟悉的一個品種(我們公司涉及的是貴金屬現(xiàn)貨)，所以我就詢問了我們的CTO，讓他給我些路子拿到黃金的數(shù)據(jù)，后來CTO給了我個地址，華爾街見聞網(wǎng)站。然后點開我需要的品種的圖表，用chrome的檢查工具，輕易的就抓到了URL數(shù)據(jù)。網(wǎng)頁上大概是這樣的

這個數(shù)據(jù)的請求url是這樣的

https://forexdata.wallstreetcn.com/kline?prod_code=XAUUSD&candle_period=8&data_count=1000&end_time=1413158399&fields=time_stamp%2Copen_px%2Cclose_px%2Chigh_px%2Clow_px

數(shù)據(jù)的格式很清晰，我們大概可以猜測到請求參數(shù)data_count代表的是請求的數(shù)據(jù)量，end_time是時間戳，這兩個數(shù)據(jù)結(jié)合在一起就是從end_time開始往前data_count個交易日的數(shù)據(jù)。

后面帶&號的就是我們需要獲取的數(shù)據(jù)了，time_stamp是每筆數(shù)據(jù)的時間戳，close是收盤價，open是開盤價，high是最高價，low是最低價，這五個數(shù)據(jù)是我們需要繪制K線圖的基本數(shù)據(jù)，就是所謂的蠟燭圖了，K線有不太了解的伙伴可以自己查閱下，我在這里就不多細(xì)說了。

爬取數(shù)據(jù)

分析好url，我們就要正式的爬取數(shù)據(jù)了，我希望獲取黃金(這里實際上是黃金/美金，代號是XAUUSD，是一種外匯)10年的數(shù)據(jù)，這里注意下，經(jīng)過我的嘗試，這個url中，data_count最多只能獲取1000的數(shù)據(jù)，如果大于1000，也會默認(rèn)返回1000條數(shù)據(jù)。那么自然，我們的請求參數(shù)end_time就得動態(tài)變化。

為了方便，我決定每次只爬取一年的數(shù)據(jù)，所以data_count固定死為365，而end_time通過format函數(shù)從參數(shù)中獲取，代碼如下

def get_data(end_time,count):

url = "https://forexdata.wallstreetcn.com/kline?prod_code=XAUUSD&candle_period=8&data_count=365&end_time="\

"{end_time}"\

"&fields=time_stamp%2Copen_px%2Cclose_px%2Chigh_px%2Clow_px".format(end_time=end_time)

response = requests.get(url) # 請求數(shù)據(jù)

data_list = json.loads(response.text) # json 解析

data = data_list.get("data").get("candle").get("XAUUSD")

# 轉(zhuǎn)化為 DataFrame

df = pd.DataFrame(data,columns=['date','open','close','high','low'],index=list(range(count,count+365)))

return df

這里，我們使用requests第三方包來請求數(shù)據(jù)，拿到數(shù)據(jù)后先用json來解析數(shù)據(jù)，最后把數(shù)據(jù)轉(zhuǎn)化為pandas的DataFrame結(jié)構(gòu)。這個是常規(guī)操作了，大家應(yīng)該都沒什么問題。

獲取數(shù)據(jù)的方法寫好后，我們循環(huán)調(diào)用10次get_data函數(shù)，并且把DataFrame對象進(jìn)行拼接，就完整的拿到我們黃金的10年數(shù)據(jù)了，注意每次循環(huán)間隔要有一定延時，免得被反爬蟲機(jī)制封了iP啦。

init_time = 1237507200 # 2009年3月20日

window = 60*60*24*365 # 每次獲取365天的數(shù)據(jù)

df = pd.DataFrame()

for i in range(10):

df = pd.concat([df,get_data(init_time + i * window,i*365)])

print("get data success ",i)

time.sleep(0.5)

好了，代碼執(zhí)行完之后，我們來看看df的數(shù)據(jù)，截一個ipython notebook的樣式。

ipython這種體驗我可以歸納為：及時行樂。

玩弄數(shù)據(jù)

好了，現(xiàn)在我們有了3650條DataFrame數(shù)據(jù)了，作為擁有數(shù)據(jù)分析三大神器的Python來說，下面就可以隨意的玩弄數(shù)據(jù)了。(import matplotlib.pyplot as plt)

比如我們繪制下黃金的收盤價走勢圖，三行代碼就可以咯

df['close'].plot(figsize=(15,10))

plt.grid(True)

plt.show()

那我們有了繪制K線數(shù)據(jù)的5個基本數(shù)據(jù)，不繪制個K線顯然說不過去。繪制K線的代碼稍微復(fù)雜一些，主要就是處理橫坐標(biāo)的時間，需要有一個數(shù)據(jù)的轉(zhuǎn)化，把時間戳轉(zhuǎn)化為%Y-%m-%d，再把這種格式轉(zhuǎn)化為pyplot支持的時間樣式。

import matplotlib.finance as mpf

from matplotlib.pylab import date2num

import datetime

r = map(lambda x : time.strftime('%Y-%m-%d',time.localtime(x)),df['date'])

df['date'] = list(r)

def date_to_num(dates):

num_time = []

for date in dates:

date_time = datetime.datetime.strptime(date,'%Y-%m-%d')

num_date = date2num(date_time)

num_time.append(num_date)

return num_time

fig,ax = plt.subplots(figsize=(15,10))

mat_data = df.as_matrix()

num_time = date_to_num(mat_data[:,0])

mat_data[:,0] = num_time

fig.subplots_adjust(bottom=0.2)

ax.xaxis_date()

mpf.candlestick_ochl(ax,mat_data,width=0.6,colorup='r',colordown='g')

plt.grid(True)

plt.xlabel('Data')

plt.ylabel('Price')

plt.show()

我們還可以繪制這10年來每天的漲跌幅狀態(tài)，從中能看出黃金走勢的牛熊和震蕩

rate_of_return = (df['close']-df['open'])/df['open']

rate_of_return.plot(kind='line',style='k--',figsize=(15,10))

plt.show()

可以看出，黃金大部分時間都是在震蕩，剛開始和中間有一些比較反常的情況，剛開始那個我推測是經(jīng)濟(jì)危機(jī)之后那段時間的調(diào)整，美元大跌那會吧。

哦對了，這里我要糾正下我上篇文章的一個錯誤，記得那個彎曲的柱狀圖嗎，沒錯，就是它了

我當(dāng)時以為是ipython的bug，后來發(fā)現(xiàn)并不是，而是代碼中我加了這一行

with plt.xkcd():

xkcd是一部漫畫的名稱，然后這個函數(shù)代表就是用類似于這部漫畫的style來畫圖，所以，這漫畫是啥樣的呢？

emm...看起來確實很手工。

結(jié)尾

好了，數(shù)據(jù)爬取篇就這樣了，實際上和大部分爬取工作都差不多，只是行情有一定的特殊性。

下一篇我將針對這些數(shù)據(jù)玩弄一些機(jī)器學(xué)習(xí)代碼，來和大家一起調(diào)調(diào)參。

推薦閱讀

總結(jié)

以上是生活随笔為你收集整理的python财务报表预测股票价格_机器学习股票价格预测从爬虫到预测-数据爬取部分...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。