本人在私募，負責數據收集以及清洗，就是包括收集數據，按照領導要求，選出滿足條件的數據，用于校驗策略是否正確。 現在就在這進行代碼上傳，即用于自己總結整理，也用于供大家學習了解，實習生到底干什么事。 數據收集： #期權數據收集 import akshare as ak import pandas as pd import numpy as np import datetime import time #用于將千分位數字改為常規數字 from locale import atof # 顯示所有列 pd.set_option('display.max_columns', None) # 顯示所有行 pd.set_option('display.max_rows', None) #收集數據，鐵礦石期權的全部數據 start = '2019-02-09' #獲得全部的交易日數據 dates = ak.tool_trade_date_hist_sina() today = time.strftime("%Y-%m-%d") #篩選符合條件的日期 dates = dates.loc[(dates['trade_date']>start)&(dates['trade_date']<today)] #創建儲存數據的DF last = pd.DataFrame() last_2 = pd.DataFrame() #循環獲取數據 for i in range(len(dates)):date = dates.iloc[i, 0]#print(date)# 獲取當天所有合約part_1, part_2 = ak.get_dce_option_daily(trade_date= i, symbol="鐵礦石期權")#print(part_1.head())#print(part_2.head())#增加日期，cp,年份，月份，行權價，part_1['date'] = datepart_1['cp'] = part_1['合約名稱'].apply(lambda x: x[6:7])part_1['year'] = part_1['合約名稱'].apply(lambda x: x[1:3])part_1['o_month'] = part_1['合約名稱'].apply(lambda x: x[3:5])part_1['xqj'] = part_1['合約名稱'].apply(lambda x: x[8:]) part_1['合約系列'] = part_1['合約名稱'].apply(lambda x: x[0:5])#以日期作為indexpart_1.set_index('date',inplace=True)last = last.append(part_1)part_2.columns = [['合約系列','IV']]#增加日期，年份，月份part_2['date'] = datepart_2.set_index('date')part_2['year'] = part_2['合約系列'].apply(lambda x: x[1:3])part_2['month'] = part_2['合約系列'].apply(lambda x: x[3:])last_2 = last_2.append(part_2) #保存數據，為方便讀者復現，使用csv。（真實情況，直接存入sql數據庫，各種報錯，各種坑，數據缺失，格式不正確............） last.to_csv('i.csv') last_2.to_csv('i2.csv')

數據處理：

df = pd.read_csv('i.csv') #默認期權持倉量為1,999這種千分位數字格式。 setlocale(LC_NUMERIC, 'English_US') df['持倉量'] = df['持倉量'].apply(lambda x:atof(x))#根據每天的主力合約數據信息，篩選最虛值合約，分為C,P兩塊,且持倉量最大。 #舉例:今天c端最虛c5800,持倉量1w，為c端最大持倉量，則符合條件保留。 def select_xu(df):df_c = df.loc[df['cp'] == 'C']#根據行權價排序，獲得最虛值，C端取最大值。dfc = df_c.sort_values(by='xqj',ascending=True).tail(1) # print(df_c) # print(dfc) # print('-'*20)df_p = df.loc[df['cp']=='P']#根據行權價排序，獲得最虛值，p端取最小值。dfp = df_p.sort_values(by='xqj',ascending=True).head(1) # print(df_p) # print(dfp)if max(dfc['持倉量']) == max(df_c['持倉量']) :dfc = dfcelse:dfc = Noneif max(dfp['持倉量']) == max(df_p['持倉量']) :dfp = dfpelse:dfp = Nonereturn dfc ,dfp #目標，里面為日期和年份，月份 dfd = pd.read_excel('I.xlsx') last = pd.DataFrame() last1 = pd.DataFrame() last2 = pd.DataFrame() if __name__ == '__main__':for i in range(len(dfd)):year = dfd.iloc[i,-2]month = dfd.iloc[i,-1]date = dfd.iloc[i,0]#篩選數據d = df.loc[(df['year']==int(year))&(df['o_month']==int(month))&(df['date']==datetime.datetime.strftime(date,'%Y-%m-%d'))]#如果數據不為空if len(d)>0:dfc,dfp =select_xu(d)if dfc is not None and dfp is not None:s = pd.merge(dfc,dfp)last = last.append(s)elif dfc is None and dfp is not None :s = dfplast1 = last1.append(s)elif dfc is not None and dfp is None :s = dfclast2 = last2.append(s)else:s = Noneelse:passlast.to_csv('i0.csv')last1.to_csv('i1.csv')last2.to_csv('i2.csv')

I.xlsx數據內容如下：

此時便可獲得滿足條件的期權數據。用于后續的校驗。

總結

以上是生活随笔為你收集整理的数据清洗，筛选的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。