pandas基本功能

將文件數(shù)據(jù)導(dǎo)入Pandas

通過pandas提供的read_xxx相關(guān)的函數(shù)可以讀取文件中的數(shù)據(jù)，并形成DataFrame,常用的數(shù)據(jù)讀取方法為：read_csv，主要可以讀取文本類型的數(shù)據(jù)

df =pd.read_csv("Counts.csv", header=0) df.head()

選擇/切片

df[‘column_name’] ，df[row_start_index, row_end_index] 選取指定整列數(shù)據(jù)

df['name'] # 選取一列，成一個(gè)series df[['name']] # 選取一列，成為一個(gè)dataframe df[['name','gender']] #選取多列，多列名字要放在list里 df[0:] #第0行及之后的行，相當(dāng)于df的全部數(shù)據(jù)，注意冒號(hào)是必須的 df[:2] #第2行之前的數(shù)據(jù)（不含第2行） df[0:1] #第0行 df[1:3] #第1行到第2行（不含第3行） df[-1:] #最后一行 df[-3:-1] #倒數(shù)第3行到倒數(shù)第1行（不包含最后1行即倒數(shù)第1行，這里有點(diǎn)煩躁，因?yàn)閺那皵?shù)時(shí)從第0行開始，從后數(shù)就是-1行開始，畢竟沒有-0）

loc，在知道列名字的情況下，df.loc[index,column] 選取指定行，列的數(shù)據(jù)

# df.loc[index, column_name],選取指定行和列的數(shù)據(jù) df.loc[0,'name'] # 'Snow' df.loc[0:2, ['name','age']] #選取第0行到第2行，name列和age列的數(shù)據(jù), 注意這里的行選取是包含下標(biāo)的。 df.loc[[2,3],['name','age']] #選取指定的第2行和第3行，name和age列的數(shù)據(jù) df.loc[df['gender']=='M','name'] #選取gender列是M，name列的數(shù)據(jù) df.loc[df['gender']=='M',['name','age']] #選取gender列是M，name和age列的數(shù)據(jù)

iloc，在column name特別長(zhǎng)或者index是時(shí)間序列等各種不方便輸入的情況下，可以用iloc (i = index), iloc完全用數(shù)字來定位 iloc[row_index, column_index]

df.iloc[0,0] #第0行第0列的數(shù)據(jù)，'Snow' df.iloc[1,2] #第1行第2列的數(shù)據(jù)，32 df.iloc[[1,3],0:2] #第1行和第3行，從第0列到第2列（不包含第2列）的數(shù)據(jù) df.iloc[1:3,[1,2] #第1行到第3行（不包含第3行），第1列和第2列的數(shù)據(jù)

索引匯總

# 選擇單獨(dú)的一列，返回 Serires，與 df.A 效果相當(dāng)。 df['A']# 位置切片 df[0:3]# 索引切片 df['20130102':'20130104']#　通過標(biāo)簽選擇 df.loc[dates[0]]# 對(duì)多個(gè)軸同時(shí)通過標(biāo)簽進(jìn)行選擇 df.loc[:,['A','B']]# 獲得某一個(gè)單元的數(shù)據(jù) df.loc[dates[0],'A'] # 或者 df.at[dates[0],'A']#　速度更快的做法# 通過位置進(jìn)行選擇 df.iloc[3]# 切片 df.iloc[3:5,0:2]# 列表選擇 df.iloc[[1,2,4],[0,2]]# 獲得某一個(gè)單元的數(shù)據(jù) df.iloc[1,1] # 或者 df.iat[1,1]# 更快的做法# 布爾索引 df[df.A > 0]# 獲得大于零的項(xiàng)的數(shù)值 df[df > 0]# isin 過濾 df2[df2['E'].isin(['two','four'])]

賦值（缺省值NaN處理方法）

于DataFrame/Series中的NaN一般采取的方式為刪除對(duì)應(yīng)的列/行或者填充一個(gè)默認(rèn)值

# 新增一列，根據(jù)索引排列 s1 =pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6)) df['F']=s1# 缺省項(xiàng) # 在 pandas 中使用 np.nan 作為缺省項(xiàng)的值。 df1 =df.reindex(index=dates[0:4], columns=list(df.columns)+['E']) df1.loc[dates[0]:dates[1],'E']=1# 刪除所有帶有缺省項(xiàng)的行 df1.dropna(how='any')# 填充缺省項(xiàng) df1.fillna(value=5)# 獲得缺省項(xiàng)的布爾掩碼 pd.isnull(df1)

算數(shù)運(yùn)算

兩個(gè)dataframe 矩陣相加、相減、相乘、相除，會(huì)對(duì)兩個(gè)矩陣行索引（包括行索引名稱和行索引值）和列索引相同的兩個(gè)對(duì)應(yīng)元素做運(yùn)算。

觀察操作

# 觀察開頭的數(shù)據(jù) df.head()# 觀察末尾的數(shù)據(jù) df.tail(3)# 顯示索引 df.index# 顯示列 df.columns# 顯示底層 numpy 結(jié)構(gòu) df.values# DataFrame 的基本統(tǒng)計(jì)學(xué)屬性預(yù)覽 df.describe() """A B C D count 6.000000 6.000000 6.000000 6.000000 #數(shù)量 mean 0.073711 -0.431125 -0.687758 -0.233103 #平均值 std 0.843157 0.922818 0.779887 0.973118 #標(biāo)準(zhǔn)差 min -0.861849 -2.104569 -1.509059 -1.135632 #最小值 25% -0.611510 -0.600794 -1.368714 -1.076610 #正態(tài)分布 25% 50% 0.022070 -0.228039 -0.767252 -0.386188 #正態(tài)分布 50% 75% 0.658444 0.041933 -0.034326 0.461706 #正態(tài)分布 75% max 1.212112 0.567020 0.276232 1.071804 #最大值 """# 轉(zhuǎn)置 df.T# 根據(jù)某一軸的索引進(jìn)行排序 df.sort_index(axis=1, ascending=False)# 根據(jù)某一列的數(shù)值進(jìn)行排序 df.sort(columns='B')

統(tǒng)計(jì)

count 非NA值的數(shù)量 describe 針對(duì)Series或各DataFrame列計(jì)算匯總統(tǒng)計(jì) min,max 計(jì)算最小值和最大值 argmin,argmax 計(jì)算能夠獲取到最小值和最大值的索引位置（整數(shù)) idxmin,idxmax 計(jì)算能夠獲取到最小值和最大值的索引值 quantile 計(jì)算樣本的分位數(shù)（0到 1） sum 值的總和 mean 值的平均數(shù)， a.mean() 默認(rèn)對(duì)每一列的數(shù)據(jù)求平均值；若加上參數(shù)a.mean(1)則對(duì)每一行求平均值 media 值的算術(shù)中位數(shù)（50%分位數(shù)) mad 根據(jù)平均值計(jì)算平均絕對(duì)離差 var 樣本值的方差 std 樣本值的標(biāo)準(zhǔn)差 skew 樣本值的偏度（三階矩） kurt 樣本值的峰度（四階矩） cumsum 樣本值的累計(jì)和 cummin,cummax 樣本值的累計(jì)最大值和累計(jì)最小 cumprod 樣本值的累計(jì)積 diff 計(jì)算一階差分（對(duì)時(shí)間序列很有用) pct_change 計(jì)算百分?jǐn)?shù)變化 # 求平均值 df.mean() """ A -0.004474 B -0.383981 C -0.687758 D 5.000000 F 3.000000 dtype: float64 """# 指定軸上的平均值 df.mean(1)# 不同維度的 pandas 對(duì)象也可以做運(yùn)算，它會(huì)自動(dòng)進(jìn)行對(duì)應(yīng)，shift 用來做對(duì)齊操作。 s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2) """ 2013-01-01NaN 2013-01-02NaN 2013-01-031 2013-01-043 2013-01-055 2013-01-06NaN Freq: D, dtype: float64 """# 對(duì)不同維度的 pandas 對(duì)象進(jìn)行減法操作 df.sub(s, axis='index') """A B C D F 2013-01-01NaN NaN NaN NaN NaN 2013-01-02NaN NaN NaN NaN NaN 2013-01-03-1.861849-3.104569-1.49492941 2013-01-04-2.278445-3.706771-4.03957520 2013-01-05-5.424972-4.432980-4.7237680-1 2013-01-06NaN NaN NaN NaN NaN """

函數(shù)應(yīng)用

# 累加 df.apply(np.cumsum)

唯一值、值計(jì)數(shù)以及成員資格

unique方法用于獲取Series中的唯一值數(shù)組(去重?cái)?shù)據(jù)后的數(shù)組)

value_counts方法用于計(jì)算一個(gè)Series中各值的出現(xiàn)頻率

isin方法用于判斷矢量化集合的成員資格，可用于選取Series中或者DataFrame中列中數(shù)據(jù)的子集

直方圖

s =pd.Series(np.random.randint(0,7, size=10)) s.value_counts() """ 4 5 6 2 2 2 1 1 dtype: int64 String Methods """

字符處理

s =pd.Series(['A','B','C','Aaba','Baca', np.nan,'CABA','dog','cat']) s.str.lower() """ 0 a 1 b 2 c 3 aaba 4 baca 5 NaN 6 caba 7 dog 8 cat dtype: object """

合并

使用 concat() 連接 pandas 對(duì)象:

df =pd.DataFrame(np.random.randn(10,4)) """0 1 2 3 0 -0.548702 1.467327 -1.015962 -0.483075 1 1.637550 -1.217659 -0.291519 -1.745505 2 -0.263952 0.991460 -0.919069 0.266046 3 -0.709661 1.669052 1.037882 -1.705775 4 -0.919854 -0.042379 1.247642 -0.009920 5 0.290213 0.495767 0.362949 1.548106 6 -1.131345 -0.089329 0.337863 -0.945867 7 -0.932132 1.956030 0.017587 -0.016692 8 -0.575247 0.254161 -1.143704 0.215897 9 1.193555 -0.077118 -0.408530 -0.862495 """pieces =[df[:3], df[3:7], df[7:]] pd.concat(pieces) """0 1 2 3 0 -0.548702 1.467327 -1.015962 -0.483075 1 1.637550 -1.217659 -0.291519 -1.745505 2 -0.263952 0.991460 -0.919069 0.266046 3 -0.709661 1.669052 1.037882 -1.705775 4 -0.919854 -0.042379 1.247642 -0.009920 5 0.290213 0.495767 0.362949 1.548106 6 -1.131345 -0.089329 0.337863 -0.945867 7 -0.932132 1.956030 0.017587 -0.016692 8 -0.575247 0.254161 -1.143704 0.215897 9 1.193555 -0.077118 -0.408530 -0.862495 """

join 合并：

left =pd.DataFrame({'key': ['foo','foo'],'lval': [1,2]}) right =pd.DataFrame({'key': ['foo','foo'],'rval': [4,5]}) pd.merge(left, right, on='key') """key lval rval 0 foo 1 4 1 foo 1 5 2 foo 2 4 3 foo 2 5 """

追加

在 dataframe 數(shù)據(jù)后追加行

df =pd.DataFrame(np.random.randn(8,4), columns=['A','B','C','D']) s =df.iloc[3] df.append(s, ignore_index=True)

分組

分組常常意味著可能包含以下的幾種的操作中一個(gè)或多個(gè)

依據(jù)一些標(biāo)準(zhǔn)分離數(shù)據(jù)
對(duì)組單獨(dú)地應(yīng)用函數(shù)
將結(jié)果合并到一個(gè)數(shù)據(jù)結(jié)構(gòu)中

df =pd.DataFrame({'A': ['foo','bar','foo','bar','foo','bar','foo','foo'], 'B': ['one','one','two','three','two','two','one','three'], 'C': np.random.randn(8), 'D': np.random.randn(8)}) print('源數(shù)據(jù)集：\n',df) df1 = df.groupby('A').sum() print('A分組：\n',df1) df2 = df.groupby(['A','B']).sum() print('AB分組：\n',df2)

輸出結(jié)果

源數(shù)據(jù)集： A B C D 0 foo one 0.423062 -0.813870 1 bar one -1.058636 -0.943536 2 foo two -0.843569 -0.611338 3 bar three 0.933234 -1.425916 4 foo two -1.145840 0.643593 5 bar two 1.057359 -1.049414 6 foo one -0.387183 1.056451 7 foo three 1.923139 -1.184541 A分組： C D A bar 0.931957 -3.418865 foo -0.030391 -0.909705 AB分組： C D A B bar one -1.058636 -0.943536 three 0.933234 -1.425916 two 1.057359 -1.049414 foo one 0.035879 0.242581 three 1.923139 -1.184541 two -1.989409 0.032255

分組時(shí)，組內(nèi)運(yùn)算
代表運(yùn)算的字符串包括‘sum’、‘mean’、‘min’、‘max’、‘count’

pd3 = pd3.groupby('a').agg('sum').reset_index()

或者自定義函數(shù)

# # 或自定義函數(shù)不需要參數(shù)，則x是serise，如果x有自定參數(shù)，則x為DataFrame def funname(x,name): print(name) print(type(x),'\n',x) return 2 pd3 = pd3.groupby('a').agg(funname,'aaa').reset_index()

數(shù)據(jù)透視表

df =pd.DataFrame({'A': ['one','one','two','three']*3,'B': ['A','B','C']*4,'C': ['foo','foo','foo','bar','bar','bar']*2,'D': np.random.randn(12),'E': np.random.randn(12)})# 生成數(shù)據(jù)透視表 pd.pivot_table(df, values='D', index=['A','B'], columns=['C']) """ C bar foo A B one A -0.773723 1.418757B -0.029716 -1.879024C -1.146178 0.314665 three A 1.006160 NaNB NaN -1.035018C 0.648740 NaN two A NaN 0.100900B -1.170653 NaNC NaN 0.536826 """

時(shí)間序列

pandas 擁有既簡(jiǎn)單又強(qiáng)大的頻率變換重新采樣功能，下面的例子從 1次/秒 轉(zhuǎn)換到了 1次/5分鐘：

rng =pd.date_range('1/1/2012', periods=100, freq='S') ts =pd.Series(np.random.randint(0,500,len(rng)), index=rng) ts.resample('5Min', how='sum') """ 2012-01-01 25083 Freq: 5T, dtype: int32 """# 本地化時(shí)區(qū)表示 rng =pd.date_range('3/6/2012 00:00', periods=5, freq='D') ts =pd.Series(np.random.randn(len(rng)), rng) """ 2012-03-06 0.464000 2012-03-07 0.227371 2012-03-08 -0.496922 2012-03-09 0.306389 2012-03-10 -2.290613 Freq: D, dtype: float64 """ts_utc =ts.tz_localize('UTC') """ 2012-03-06 00:00:00+00:00 0.464000 2012-03-07 00:00:00+00:00 0.227371 2012-03-08 00:00:00+00:00 -0.496922 2012-03-09 00:00:00+00:00 0.306389 2012-03-10 00:00:00+00:00 -2.290613 Freq: D, dtype: float64 """# 轉(zhuǎn)換為周期 ps =ts.to_period()# 轉(zhuǎn)換為時(shí)間戳 ps.to_timestamp()

分類

df =pd.DataFrame({"id":[1,2,3,4,5,6],"raw_grade":['a','b','b','a','a','e']})# 將 raw_grades 轉(zhuǎn)換成 Categoricals 類型 df["grade"]=df["raw_grade"].astype("category") df["grade"] """ 0 a 1 b 2 b 3 a 4 a 5 e Name: grade, dtype: category Categories (3, object): [a, b, e] """# 重命名分類 df["grade"]=df["grade"].cat.set_categories(["very bad","bad","medium","good","very good"])# 根據(jù)分類的順序?qū)?shù)據(jù)進(jìn)行排序 df.sort("grade") """id raw_grade grade 5 6 e very bad 1 2 b good 2 3 b good 0 1 a very good 3 4 a very good 4 5 a very good """

作圖

ts =pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000)) ts =ts.cumsum() ts.plot()

數(shù)據(jù)IO

# 從 csv 文件讀取數(shù)據(jù) pd.read_csv('foo.csv')# 保存到 csv 文件 df.to_csv('foo.csv')# 讀取 excel 文件 pd.read_excel('foo.xlsx','Sheet1', index_col=None, na_values=['NA'])# 保存到 excel 文件 df.to_excel('foo.xlsx', sheet_name='Sheet1')

文章有不當(dāng)之處，歡迎指正，如果喜歡微信閱讀，你也可以關(guān)注我的微信公眾號(hào)：cplus人工智能算法后端技術(shù)，獲取優(yōu)質(zhì)學(xué)習(xí)資源。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的pandas教程：pandas主要功能详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。