python數據分析工具pandas中DataFrame和Series作為主要的數據結構.

本文主要是介紹如何對DataFrame數據進行操作并結合一個實例測試操作函數。

1)查看DataFrame數據及屬性

df_obj = DataFrame() #創建DataFrame對象

df_obj.dtypes #查看各行的數據格式

df_obj['列名'].astype(int)#轉換某列的數據類型

df_obj.head() #查看前幾行的數據,默認前5行

df_obj.tail() #查看后幾行的數據,默認后5行

df_obj.index #查看索引

df_obj.columns #查看列名

df_obj.values #查看數據值

df_obj.describe() #描述性統計

df_obj.T #轉置

df_obj.sort_values(by=['',''])#同上

2)使用DataFrame選擇數據:

df_obj.ix[1:3] #獲取1-3行的數據,該操作叫切片操作,獲取行數據

df_obj.ix[columns_index] #獲取列的數據

df_obj.ix[1:3，[1,3]]#獲取1列3列的1~3行數據

df_obj[columns].drop_duplicates() #剔除重復行數據

3)使用DataFrame重置數據:

df_obj.ix[1:3，[1,3]]=1#所選位置數據替換為1

4)使用DataFrame篩選數據(類似SQL中的WHERE):

alist = ['023-18996609823']

df_obj['用戶號碼'].isin(alist) #將要過濾的數據放入字典中,使用isin對數據進行篩選,返回行索引以及每行篩選的結果,若匹配則返回ture

df_obj[df_obj['用戶號碼'].isin(alist)] #獲取匹配結果為ture的行

5)使用DataFrame模糊篩選數據(類似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*')] #使用正則表達式進行模糊匹配,*匹配0或無限次,?匹配0或1次

6)使用DataFrame進行數據轉換(后期補充說明)

df_obj['支局_維護線'] = df_obj['支局_維護線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表達式

可以設置take_last=ture 保留最后一個,或保留開始一個.補充說明:注意take_last=ture已過時,請使用keep='last'

7)使用pandas中讀取數據:

read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文本地址,然后分割符選擇等等

df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#寫入讀取excel數據，pd.read_excel讀取的數據是以DataFrame形式存儲

df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#寫入讀取HDF5數據

8)使用pandas聚合數據(類似SQL中的GROUP BY 或HAVING):

data_obj['用戶標識'].groupby(data_obj['支局_維護線'])

data_obj.groupby('支局_維護線')['用戶標識'] #上面的簡單寫法

adsl_obj.groupby('支局_維護線')['用戶標識'].agg([('ADSL','count')])#按支局進行匯總對用戶標識進行計數,并將計數列的列名命名為ADSL

9)使用pandas合并數據集(類似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用戶標識',how='inner')# mxj_obj1和mxj_obj2將用戶標識當成重疊列的鍵合并兩個數據集,inner表示取兩個數據集的交集.

10)清理數據

df[df.isnull()]

df[df.notnull()]

df.dropna()#將所有含有nan項的row刪除

df.dropna(axis=1,thresh=3) #將在列的方向上三個為NaN的項刪除

df.dropna(how='ALL')#將全部項都是nan的row刪除填充值

df.fillna(0)

df.fillna({1:0,2:0.5}) #對第一列nan值賦0，第二列賦值0.5

df.fillna(method='ffill') #在列方向上以前一個值作為值賦給NaN

實例

1. 讀取excel數據

代碼如下

import pandas as pd# 讀取高爐數據，注意文件名不能為中文

data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])

print data

測試結果如下

燃料比 頂溫西南 頂溫西北 頂溫東南 頂溫東北

0 531.46 185 176 176 174

1 510.35 184 173 184 188

2 533.49 180 165 182 177

3 511.51 190 172 179 188

4 531.02 180 167 173 180

5 511.24 174 164 178 176

6 532.62 173 170 168 179

7 583.00 182 175 176 173

8 530.70 158 149 159 156

9 530.32 168 156 169 171

10 528.62 164 150 171 169

2. 切片處理，選取行或列，修改數據

代碼如下：

data_1row=data.ix[1]

data_5row_2col=data.ix[0:5,[u'燃料比',u'頂溫西南']

print data_1row,data_5row_2col

data_5row_2col.ix[0:1,0:2]=3

測試結果如下：

燃料比 510.35

頂溫西南 184.00

頂溫西北 173.00

頂溫東南 184.00

頂溫東北 188.00

Name: 1, dtype: float64

燃料比 頂溫西南

0 531.46 185

1 510.35 184

2 533.49 180

3 511.51 190

4 531.02 180

5 511.24 174

燃料比 頂溫西南

0 3.00 3

1 3.00 3

2 533.49 180

3 511.51 190

4 531.02 180

5 511.24 174

格式說明，data_5row_2col.ix[0:1,0:2]，data_5row_2col.ix[0:1,[0,2]],選取部分行和列需加”[]”

3. 排序

代碼如下：

print data_1row.sort_values()

print data_5row_2col.sort_values(by=u'燃料比')

測試結果如下：

頂溫西北 173.00

頂溫西南 184.00

頂溫東南 184.00

頂溫東北 188.00

燃料比 510.35

Name: 1, dtype: float64

燃料比 頂溫西南

1 510.35 184

5 511.24 174

3 511.51 190

4 531.02 180

0 531.46 185

2 533.49 180

4. 刪除重復的行

代碼如下：

print data_5row_2col[u'頂溫西南'].drop_duplicates()#剔除重復行數據

測試結果如下：

0 185

1 184

2 180

3 190

5 174

Name: 頂溫西南, dtype: int64

說明：從測試結果3中可以看出頂溫西南index=2的數據與index=4的數據重復，測試結果4顯示將index=4的頂溫西南數據刪除

以上這篇python pandas中DataFrame類型數據操作函數的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持我們。

本文標題: python pandas中DataFrame類型數據操作函數的方法

本文地址: http://www.cppcns.com/jiaoben/python/224809.html

總結

以上是生活随笔為你收集整理的python查看dataframe数据类型_python pandas中DataFrame类型数据操作函数的方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。