（雖然是轉(zhuǎn)載，但是是我每塊都測(cè)試過(guò)得，容易出問(wèn)題的地方我會(huì)添加一些自己的經(jīng)驗(yàn)，僅供參考）

摘要：本篇文章通過(guò)python與excel的功能對(duì)比介紹如何使用python通過(guò)函數(shù)式編程完成excel中的數(shù)據(jù)處理及分析工作。

Excel是數(shù)據(jù)分析中最常用的工具，本篇文章通過(guò)python與excel的功能對(duì)比介紹如何使用python通過(guò)函數(shù)式編程完成excel中的數(shù)據(jù)處理及分析工作。在Python中pandas庫(kù)用于數(shù)據(jù)處理 ，我們從1787頁(yè)的pandas官網(wǎng)文檔中總結(jié)出最常用的36個(gè)函數(shù)，通過(guò)這些函數(shù)介紹如何通過(guò)python完成數(shù)據(jù)生成和導(dǎo)入，數(shù)據(jù)清洗，預(yù)處理，以及最常見(jiàn)的數(shù)據(jù)分類，數(shù)據(jù)篩選，分類 匯總，透視等最常見(jiàn)的操作。

文章內(nèi)容共分為9個(gè)部分。這是第一篇，介紹前3部分內(nèi)容，數(shù)據(jù)表生成，數(shù)據(jù)表查看，和數(shù)據(jù)清洗。

1， 生成數(shù)據(jù)表

第一部分是生成數(shù)據(jù)表，常見(jiàn)的生成方法有兩種，第一種是導(dǎo)入外部數(shù)據(jù)，第二種是直接寫入數(shù)據(jù)。 Excel中的文件菜單中提供了獲取外部數(shù)據(jù)的功能，支持?jǐn)?shù)據(jù)庫(kù)和文本文件和頁(yè)面的多種數(shù)據(jù)源導(dǎo)入。

python支持從多種類型的數(shù)據(jù)導(dǎo)入。在開(kāi)始使用python進(jìn)行數(shù)據(jù)導(dǎo)入前需要先導(dǎo)入pandas庫(kù)，為了方便起見(jiàn)，我們也同時(shí)導(dǎo)入numpy庫(kù)。

import numpy asnp

import pandasas pd

導(dǎo)入數(shù)據(jù)表

下面分別是從excel和csv格式文件導(dǎo)入數(shù)據(jù)并創(chuàng)建數(shù)據(jù)表的方法。代碼是最簡(jiǎn)模式，里面有很多可選參數(shù)設(shè)置，例如列名稱，索引列，數(shù)據(jù)格式等等。感興趣的朋友可以參考pandas的

官方文檔。

#這里注意：read_csv的時(shí)候經(jīng)常會(huì)出現(xiàn)編碼錯(cuò)誤，此時(shí)1、需要修改文件路徑中的\ 為 / 2、用notepad將文件的格式修改為utf-8

df=pd.DataFrame(pd.read_csv('name.csv',header=1))

df=pd.DataFrame(pd.read_excel('name.xlsx'))

創(chuàng)建數(shù)據(jù)表

另一種方法是通過(guò)直接寫入數(shù)據(jù)來(lái)生成數(shù)據(jù)表，excel中直接在單元格中輸入數(shù)據(jù)就可以，python中通過(guò)下面的代碼來(lái)實(shí)現(xiàn)。生成數(shù)據(jù)表的函數(shù)是pandas庫(kù)中的DateFrame函數(shù)，數(shù)據(jù)表一共有6行數(shù)據(jù)，每行有6個(gè)字段。在數(shù)據(jù)中我們特意設(shè)置了一些NA值和有問(wèn)題的字段，例如包含空格等。后面將在數(shù)據(jù)清洗步驟進(jìn)行處理。后面我們將統(tǒng)一以DataFrame的簡(jiǎn)稱df來(lái)命名數(shù)據(jù)表。

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],"date":pd.date_range('20130102', periods=6),"city":['Beijing', 'SH', 'guangzhou', 'Shenzhen', 'shanghai', 'BEIJING'],"age":[23,44,54,32,34,32],"category":['100-A','100-B','110-A','110-C','210-A','130-F'],"price":[1200,np.nan,2133,5433,np.nan,4432]},

columns=['id','date','city','category','age','price'])

這是剛剛創(chuàng)建的數(shù)據(jù)表，我們沒(méi)有設(shè)置索引列，price字段中包含有NA值，city字段中還包含了一些臟數(shù)據(jù)。

2，數(shù)據(jù)表檢查

第二部分是對(duì)數(shù)據(jù)表進(jìn)行檢查，python中處理的數(shù)據(jù)量通常會(huì)比較大，比如我們之前的文章中介紹的紐約出租車數(shù)據(jù)和Citibike的騎行數(shù)據(jù)，數(shù)據(jù)量都在千萬(wàn)級(jí)，我們無(wú)法一目了然的

了解數(shù)據(jù)表的整體情況，必須要通過(guò)一些方法來(lái)獲得數(shù)據(jù)表的關(guān)鍵信息。數(shù)據(jù)表檢查的另一個(gè)目的是了解數(shù)據(jù)的概況，例如整個(gè)數(shù)據(jù)表的大小，所占空間，數(shù)據(jù)格式，是否有空值和重復(fù)項(xiàng)和具體的數(shù)據(jù)內(nèi)容。為后面的清洗和預(yù)處理做好準(zhǔn)備。

數(shù)據(jù)維度(行列)

Excel中可以通過(guò)CTRL+向下的光標(biāo)鍵，和CTRL+向右的光標(biāo)鍵來(lái)查看行號(hào)和列號(hào)。Python中使用shape函數(shù)來(lái)查看數(shù)據(jù)表的維度，也就是行數(shù)和列數(shù)，函數(shù)返回的結(jié)果(6,6)表示數(shù)據(jù)表有6行，6列。下面是具體的代碼。

#查看數(shù)據(jù)表的維度

df.shape

(6, 6)

數(shù)據(jù)表信息

使用info函數(shù)查看數(shù)據(jù)表的整體信息，這里返回的信息比較多，包括數(shù)據(jù)維度，列名稱，數(shù)據(jù)格式和所占空間等信息。

#數(shù)據(jù)表信息

df.info()RangeIndex:6 entries, 0 to 5Data columns (total6columns):

id6 non-nullint64

date6 non-nulldatetime64[ns]

city6 non-null objectcategory6 non-null objectage6 non-nullint64

price4 non-nullfloat64

dtypes: datetime64[ns](1), float64(1), int64(2), object(2)

memory usage:368.0+ bytes

查看數(shù)據(jù)格式

Excel中通過(guò)選中單元格并查看開(kāi)始菜單中的數(shù)值類型來(lái)判斷數(shù)據(jù)的格式。Python中使用dtypes函數(shù)來(lái)返回?cái)?shù)據(jù)格式。

Dtypes是一個(gè)查看數(shù)據(jù)格式的函數(shù)，可以一次性查看數(shù)據(jù)表中所有數(shù)據(jù)的格式，也可以指定一列來(lái)單獨(dú)查看。

#查看數(shù)據(jù)表各列格式

df.dtypes

id int64

date datetime64[ns]

cityobjectcategoryobjectage int64

price float64

dtype:object

#查看單列格式

df['B'].dtype

dtype('int64')

查看空值

Excel中查看空值的方法是使用“定位條件”功能對(duì)數(shù)據(jù)表中的空值進(jìn)行定位。“定位條件”在“開(kāi)始”目錄下的“查找和選擇”目錄中。

Isnull是Python中檢驗(yàn)空值的函數(shù)，返回的結(jié)果是邏輯值，包含空值返回True，不包含則返回False。可以對(duì)整個(gè)數(shù)據(jù)表進(jìn)行檢查，也可以單獨(dú)對(duì)某一列進(jìn)行空值檢查。

#檢查數(shù)據(jù)空值

df.isnull()

#檢查特定列空值

df['price'].isnull()0False1True2False3False4True5False

Name: price, dtype:bool

查看唯一值

Excel中查看唯一值的方法是使用“條件格式”對(duì)唯一值進(jìn)行顏色標(biāo)記。Python中使用unique函數(shù)查看唯一值。

Unique是查看唯一值的函數(shù)，只能對(duì)數(shù)據(jù)表中的特定列進(jìn)行檢查。下面是代碼，返回的結(jié)果是該列中的唯一值。類似與Excel中刪除重復(fù)項(xiàng)后的結(jié)果。

#查看city列中的唯一值

df['city'].unique()

array(['Beijing', 'SH', 'guangzhou', 'Shenzhen', 'shanghai', 'BEIJING'], dtype=object)

查看數(shù)據(jù)表數(shù)值

Python中的Values函數(shù)用來(lái)查看數(shù)據(jù)表中的數(shù)值。以數(shù)組的形式返回，不包含表頭信息。

#查看數(shù)據(jù)表的值

df.values

array([[1001, Timestamp('2013-01-02 00:00:00'), 'Beijing', '100-A', 23,1200.0],

[1002, Timestamp('2013-01-03 00:00:00'), 'SH', '100-B', 44, nan],

[1003, Timestamp('2013-01-04 00:00:00'), 'guangzhou', '110-A', 54,2133.0],

[1004, Timestamp('2013-01-05 00:00:00'), 'Shenzhen', '110-C', 32,5433.0],

[1005, Timestamp('2013-01-06 00:00:00'), 'shanghai', '210-A', 34,

nan],

[1006, Timestamp('2013-01-07 00:00:00'), 'BEIJING', '130-F', 32,4432.0]], dtype=object)

查看列名稱

Colums函數(shù)用來(lái)單獨(dú)查看數(shù)據(jù)表中的列名稱。

#查看列名稱

df.columns

Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='object')

查看前10行數(shù)據(jù)

Head函數(shù)用來(lái)查看數(shù)據(jù)表中的前N行數(shù)據(jù)，默認(rèn)head()顯示前10行數(shù)據(jù)，可以自己設(shè)置參數(shù)值來(lái)確定查看的行數(shù)。下面的代碼中設(shè)置查看前3行的數(shù)據(jù)。

#查看前3行數(shù)據(jù)

df.head(3)

查看后10行數(shù)據(jù)

Tail行數(shù)與head函數(shù)相反，用來(lái)查看數(shù)據(jù)表中后N行的數(shù)據(jù)，默認(rèn)tail()顯示后10行數(shù)據(jù)，可以自己設(shè)置參數(shù)值來(lái)確定查看的行數(shù)。下面的代碼中設(shè)置查看后3行的數(shù)據(jù)。

#查看最后3行

df.tail(3)

3，數(shù)據(jù)表清洗

第三部分是對(duì)數(shù)據(jù)表中的問(wèn)題進(jìn)行清洗。主要內(nèi)容包括對(duì)空值，大小寫問(wèn)題，數(shù)據(jù)格式和重復(fù)值的處理。這里不包含對(duì)數(shù)據(jù)間的邏輯驗(yàn)證。

處理空值(刪除或填充)

我們?cè)趧?chuàng)建數(shù)據(jù)表的時(shí)候在price字段中故意設(shè)置了幾個(gè)NA值。對(duì)于空值的處理方式有很多種，可以直接刪除包含空值的數(shù)據(jù)，也可以對(duì)空值進(jìn)行填充，比如用0填充或者用均值填充。還可以根據(jù)不同字段的邏輯對(duì)空值進(jìn)行推算。

Excel中可以通過(guò)“查找和替換”功能對(duì)空值進(jìn)行處理，將空值統(tǒng)一替換為0或均值。也可以通過(guò)“定位”空值來(lái)實(shí)現(xiàn)。

Python中處理空值的方法比較靈活，可以使用 Dropna函數(shù)用來(lái)刪除數(shù)據(jù)表中包含空值的數(shù)據(jù)，也可以使用fillna函數(shù)對(duì)空值進(jìn)行填充。下面的代碼和結(jié)果中可以看到使用dropna函數(shù)后，包含NA值的兩個(gè)字段已經(jīng)不見(jiàn)了。返回的是一個(gè)不包含空值的數(shù)據(jù)表。

#刪除數(shù)據(jù)表中含有空值的行

df.dropna(how='any')

除此之外也可以使用數(shù)字對(duì)空值進(jìn)行填充，下面的代碼使用fillna函數(shù)對(duì)空值字段填充數(shù)字0。

#使用數(shù)字0填充數(shù)據(jù)表中空值

df.fillna(value=0)

我們選擇填充的方式來(lái)處理空值，使用price列的均值來(lái)填充NA字段，同樣使用fillna函數(shù)，在要填充的數(shù)值中使用mean函數(shù)先計(jì)算price列當(dāng)前的均值，然后使用這個(gè)均值對(duì)NA進(jìn)行填

充。可以看到兩個(gè)空值字段顯示為3299.5

#使用price均值對(duì)NA進(jìn)行填充

df['price'].fillna(df['price'].mean())

01200.0

1 3299.5

2 2133.0

3 5433.0

4 3299.5

5 4432.0Name: price, dtype: float64

清理空格

除了空值，字符中的空格也是數(shù)據(jù)清洗中一個(gè)常見(jiàn)的問(wèn)題，下面是清除字符中空格的代碼。

#清除city字段中的字符空格

df['city']=df['city'].map(str.strip)

大小寫轉(zhuǎn)換

在英文字段中，字母的大小寫不統(tǒng)一也是一個(gè)常見(jiàn)的問(wèn)題。Excel中有UPPER，LOWER等函數(shù)，python中也有同名函數(shù)用來(lái)解決大小寫的問(wèn)題。在數(shù)據(jù)表的city列中就存在這樣的問(wèn)題。我們將city列的所有字母轉(zhuǎn)換為小寫。下面是具體的代碼和結(jié)果。

#city列大小寫轉(zhuǎn)換

df['city']=df['city'].str.lower()

更改數(shù)據(jù)格式

Excel中通過(guò)“設(shè)置單元格格式”功能可以修改數(shù)據(jù)格式。Python中通過(guò)astype函數(shù)用來(lái)修改數(shù)據(jù)格式。

Python中dtype是查看數(shù)據(jù)格式的函數(shù)，與之對(duì)應(yīng)的是astype函數(shù)，用來(lái)更改數(shù)據(jù)格式。下面的代碼中將price字段的值修改為int格式。

#更改數(shù)據(jù)格式

df['price'].astype('int')

01200

1 3299

2 2133

3 5433

4 3299

5 4432Name: price, dtype: int32

更改列名稱

Rename是更改列名稱的函數(shù)，我們將來(lái)數(shù)據(jù)表中的category列更改為category-size。下面是具體的代碼和更改后的結(jié)果。

#更改列名稱

df.rename(columns={'category': 'category-size'})

刪除重復(fù)值

很多數(shù)據(jù)表中還包含重復(fù)值的問(wèn)題，Excel的數(shù)據(jù)目錄下有“刪除重復(fù)項(xiàng)”的功能，可以用來(lái)刪除數(shù)據(jù)表中的重復(fù)值。默認(rèn)Excel會(huì)保留最先出現(xiàn)的數(shù)據(jù)，刪除后面重復(fù)出現(xiàn)的數(shù)據(jù)。

Python中使用drop_duplicates函數(shù)刪除重復(fù)值。我們以數(shù)據(jù)表中的city列為例，city字段中存在重復(fù)值。默認(rèn)情況下drop_duplicates()將刪除后出現(xiàn)的重復(fù)值(與excel邏輯一致)。增加keep=’last’參數(shù)后將刪除最先出現(xiàn)的重復(fù)值，保留最后的值。下面是具體的代碼和比較結(jié)果。

原始的city列中beijing存在重復(fù)，分別在第一位和最后一位。

df['city']

0 beijing1sh2guangzhou3shenzhen4shanghai5beijing

Name: city, dtype: object

使用默認(rèn)的drop_duplicates()函數(shù)刪除重復(fù)值，從結(jié)果中可以看到第一位的beijing被保留，最后出現(xiàn)的beijing被刪除。

#刪除后出現(xiàn)的重復(fù)值

df['city'].drop_duplicates()

0 beijing1sh2guangzhou3shenzhen4shanghai

Name: city, dtype: object

設(shè)置keep=’last‘’參數(shù)后，與之前刪除重復(fù)值的結(jié)果相反，第一位出現(xiàn)的beijing被刪除，保留了最后一位出現(xiàn)的beijing。

#刪除先出現(xiàn)的重復(fù)值

df['city'].drop_duplicates(keep='last')1sh2guangzhou3shenzhen4shanghai5beijing

Name: city, dtype: object

數(shù)值修改及替換

數(shù)據(jù)清洗中最后一個(gè)問(wèn)題是數(shù)值修改或替換，Excel中使用“查找和替換”功能就可以實(shí)現(xiàn)數(shù)值的替換。

Python中使用replace函數(shù)實(shí)現(xiàn)數(shù)據(jù)替換。數(shù)據(jù)表中city字段上海存在兩種寫法，分別為shanghai和SH。我們使用replace函數(shù)對(duì)SH進(jìn)行替換。

#數(shù)據(jù)替換

df['city'].replace('sh', 'shanghai')

0 beijing1shanghai2guangzhou3shenzhen4shanghai5beijing

Name: city, dtype: object

在第二篇文章中我們將繼續(xù)介紹4-6部分的內(nèi)容，分別為數(shù)據(jù)預(yù)處理，數(shù)據(jù)提取和數(shù)據(jù)篩選三部分的問(wèn)題。感興趣的朋友請(qǐng)繼續(xù)關(guān)注。

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的用python处理excel 数据分析_像Excel一样使用python进行数据分析（1）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。