（雖然是轉(zhuǎn)載，但是是我每塊都測試過得，容易出問題的地方我會(huì)添加一些自己的經(jīng)驗(yàn)，僅供參考）

像Excel一樣使用python進(jìn)行數(shù)據(jù)分析（2）

像Excel一樣使用python進(jìn)行數(shù)據(jù)分析（3）

摘要：本篇文章通過python與excel的功能對(duì)比介紹如何使用python通過函數(shù)式編程完成excel中的數(shù)據(jù)處理及分析工作。

Excel是數(shù)據(jù)分析中最常用的工具，本篇文章通過python與excel的功能對(duì)比介紹如何使用python通過函數(shù)式編程完成excel中的數(shù)據(jù)處理及分析工作。在Python中pandas庫用于數(shù)據(jù)處理 ，我們從1787頁的pandas官網(wǎng)文檔中總結(jié)出最常用的36個(gè)函數(shù)，通過這些函數(shù)介紹如何通過python完成數(shù)據(jù)生成和導(dǎo)入，數(shù)據(jù)清洗，預(yù)處理，以及最常見的數(shù)據(jù)分類，數(shù)據(jù)篩選，分類 匯總，透視等最常見的操作。

文章內(nèi)容共分為9個(gè)部分。這是第一篇，介紹前3部分內(nèi)容，數(shù)據(jù)表生成，數(shù)據(jù)表查看，和數(shù)據(jù)清洗。

1， 生成數(shù)據(jù)表

第一部分是生成數(shù)據(jù)表，常見的生成方法有兩種，第一種是導(dǎo)入外部數(shù)據(jù)，第二種是直接寫入數(shù)據(jù)。 Excel中的文件菜單中提供了獲取外部數(shù)據(jù)的功能，支持?jǐn)?shù)據(jù)庫和文本文件和頁面的多種數(shù)據(jù)源導(dǎo)入。
python支持從多種類型的數(shù)據(jù)導(dǎo)入。在開始使用python進(jìn)行數(shù)據(jù)導(dǎo)入前需要先導(dǎo)入pandas庫，為了方便起見，我們也同時(shí)導(dǎo)入numpy庫。

import numpy as np import pandas as pd

導(dǎo)入數(shù)據(jù)表

下面分別是從excel和csv格式文件導(dǎo)入數(shù)據(jù)并創(chuàng)建數(shù)據(jù)表的方法。代碼是最簡模式，里面有很多可選參數(shù)設(shè)置，例如列名稱，索引列，數(shù)據(jù)格式等等。感興趣的朋友可以參考pandas的
官方文檔。

#這里注意：read_csv的時(shí)候經(jīng)常會(huì)出現(xiàn)編碼錯(cuò)誤，此時(shí)1、需要修改文件路徑中的\ 為 / 2、用notepad將文件的格式修改為utf-8
df=pd.DataFrame(pd.read_csv('name.csv',header=1)) df=pd.DataFrame(pd.read_excel('name.xlsx'))

?

?

創(chuàng)建數(shù)據(jù)表

另一種方法是通過直接寫入數(shù)據(jù)來生成數(shù)據(jù)表，excel中直接在單元格中輸入數(shù)據(jù)就可以，python中通過下面的代碼來實(shí)現(xiàn)。生成數(shù)據(jù)表的函數(shù)是pandas庫中的DateFrame函數(shù)，數(shù)據(jù)表一共有6行數(shù)據(jù)，每行有6個(gè)字段。在數(shù)據(jù)中我們特意設(shè)置了一些NA值和有問題的字段，例如包含空格等。后面將在數(shù)據(jù)清洗步驟進(jìn)行處理。后面我們將統(tǒng)一以DataFrame的簡稱df來命名數(shù)據(jù)表。

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],"date":pd.date_range('20130102', periods=6),"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],"age":[23,44,54,32,34,32],"category":['100-A','100-B','110-A','110-C','210-A','130-F'],"price":[1200,np.nan,2133,5433,np.nan,4432]},columns =['id','date','city','category','age','price'])

這是剛剛創(chuàng)建的數(shù)據(jù)表，我們沒有設(shè)置索引列，price字段中包含有NA值，city字段中還包含了一些臟數(shù)據(jù)。

2，數(shù)據(jù)表檢查

第二部分是對(duì)數(shù)據(jù)表進(jìn)行檢查，python中處理的數(shù)據(jù)量通常會(huì)比較大，比如我們之前的文章中介紹的紐約出租車數(shù)據(jù)和Citibike的騎行數(shù)據(jù)，數(shù)據(jù)量都在千萬級(jí)，我們無法一目了然的 了解數(shù)據(jù)表的整體情況，必須要通過一些方法來獲得數(shù)據(jù)表的關(guān)鍵信息。數(shù)據(jù)表檢查的另一個(gè)目的是了解數(shù)據(jù)的概況，例如整個(gè)數(shù)據(jù)表的大小，所占空間，數(shù)據(jù)格式，是否有空值和重復(fù)項(xiàng)和具體的數(shù)據(jù)內(nèi)容。為后面的清洗和預(yù)處理做好準(zhǔn)備。

?

數(shù)據(jù)維度(行列)

Excel中可以通過CTRL+向下的光標(biāo)鍵，和CTRL+向右的光標(biāo)鍵來查看行號(hào)和列號(hào)。Python中使用shape函數(shù)來查看數(shù)據(jù)表的維度，也就是行數(shù)和列數(shù)，函數(shù)返回的結(jié)果(6,6)表示數(shù)據(jù)表有6行，6列。下面是具體的代碼。

#查看數(shù)據(jù)表的維度 df.shape (6, 6)

?

數(shù)據(jù)表信息

使用info函數(shù)查看數(shù)據(jù)表的整體信息，這里返回的信息比較多，包括數(shù)據(jù)維度，列名稱，數(shù)據(jù)格式和所占空間等信息。

#數(shù)據(jù)表信息 df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 6 entries, 0 to 5 Data columns (total 6 columns): id 6 non-null int64 date 6 non-null datetime64[ns] city 6 non-null object category 6 non-null object age 6 non-null int64 price 4 non-null float64 dtypes: datetime64[ns](1), float64(1), int64(2), object(2) memory usage: 368.0+ bytes

?

查看數(shù)據(jù)格式

Excel中通過選中單元格并查看開始菜單中的數(shù)值類型來判斷數(shù)據(jù)的格式。Python中使用dtypes函數(shù)來返回?cái)?shù)據(jù)格式。

Dtypes是一個(gè)查看數(shù)據(jù)格式的函數(shù)，可以一次性查看數(shù)據(jù)表中所有數(shù)據(jù)的格式，也可以指定一列來單獨(dú)查看。

#查看數(shù)據(jù)表各列格式 df.dtypes id int64 date datetime64[ns] city object category object age int64 price float64 dtype: object #查看單列格式 df['B'].dtype dtype('int64')

?

查看空值

Excel中查看空值的方法是使用“定位條件”功能對(duì)數(shù)據(jù)表中的空值進(jìn)行定位。“定位條件”在“開始”目錄下的“查找和選擇”目錄中。
Isnull是Python中檢驗(yàn)空值的函數(shù)，返回的結(jié)果是邏輯值，包含空值返回True，不包含則返回False。可以對(duì)整個(gè)數(shù)據(jù)表進(jìn)行檢查，也可以單獨(dú)對(duì)某一列進(jìn)行空值檢查。

#檢查數(shù)據(jù)空值 df.isnull()

?

#檢查特定列空值 df['price'].isnull() 0 False 1 True 2 False 3 False 4 True 5 False Name: price, dtype: bool

?

查看唯一值

Excel中查看唯一值的方法是使用“條件格式”對(duì)唯一值進(jìn)行顏色標(biāo)記。Python中使用unique函數(shù)查看唯一值。

Unique是查看唯一值的函數(shù)，只能對(duì)數(shù)據(jù)表中的特定列進(jìn)行檢查。下面是代碼，返回的結(jié)果是該列中的唯一值。類似與Excel中刪除重復(fù)項(xiàng)后的結(jié)果。

#查看city列中的唯一值 df['city'].unique() array(['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], dtype=object)

?

查看數(shù)據(jù)表數(shù)值

Python中的Values函數(shù)用來查看數(shù)據(jù)表中的數(shù)值。以數(shù)組的形式返回，不包含表頭信息。

#查看數(shù)據(jù)表的值 df.values array([[1001, Timestamp('2013-01-02 00:00:00'), 'Beijing ', '100-A', 23,1200.0],[1002, Timestamp('2013-01-03 00:00:00'), 'SH', '100-B', 44, nan],[1003, Timestamp('2013-01-04 00:00:00'), ' guangzhou ', '110-A', 54,2133.0],[1004, Timestamp('2013-01-05 00:00:00'), 'Shenzhen', '110-C', 32,5433.0],[1005, Timestamp('2013-01-06 00:00:00'), 'shanghai', '210-A', 34,nan],[1006, Timestamp('2013-01-07 00:00:00'), 'BEIJING ', '130-F', 32,4432.0]], dtype=object)

?

查看列名稱

Colums函數(shù)用來單獨(dú)查看數(shù)據(jù)表中的列名稱。

#查看列名稱 df.columns Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='object')

?

查看前10行數(shù)據(jù)

Head函數(shù)用來查看數(shù)據(jù)表中的前N行數(shù)據(jù)，默認(rèn)head()顯示前10行數(shù)據(jù)，可以自己設(shè)置參數(shù)值來確定查看的行數(shù)。下面的代碼中設(shè)置查看前3行的數(shù)據(jù)。

#查看前3行數(shù)據(jù) df.head(3)

?

?

查看后10行數(shù)據(jù)

Tail行數(shù)與head函數(shù)相反，用來查看數(shù)據(jù)表中后N行的數(shù)據(jù)，默認(rèn)tail()顯示后10行數(shù)據(jù)，可以自己設(shè)置參數(shù)值來確定查看的行數(shù)。下面的代碼中設(shè)置查看后3行的數(shù)據(jù)。

#查看最后3行 df.tail(3)

?

3，數(shù)據(jù)表清洗

第三部分是對(duì)數(shù)據(jù)表中的問題進(jìn)行清洗。主要內(nèi)容包括對(duì)空值，大小寫問題，數(shù)據(jù)格式和重復(fù)值的處理。這里不包含對(duì)數(shù)據(jù)間的邏輯驗(yàn)證。

?

處理空值(刪除或填充)

我們?cè)趧?chuàng)建數(shù)據(jù)表的時(shí)候在price字段中故意設(shè)置了幾個(gè)NA值。對(duì)于空值的處理方式有很多種，可以直接刪除包含空值的數(shù)據(jù)，也可以對(duì)空值進(jìn)行填充，比如用0填充或者用均值填充。還可以根據(jù)不同字段的邏輯對(duì)空值進(jìn)行推算。

Excel中可以通過“查找和替換”功能對(duì)空值進(jìn)行處理，將空值統(tǒng)一替換為0或均值。也可以通過“定位”空值來實(shí)現(xiàn)。

Python中處理空值的方法比較靈活，可以使用 Dropna函數(shù)用來刪除數(shù)據(jù)表中包含空值的數(shù)據(jù)，也可以使用fillna函數(shù)對(duì)空值進(jìn)行填充。下面的代碼和結(jié)果中可以看到使用dropna函數(shù)后，包含NA值的兩個(gè)字段已經(jīng)不見了。返回的是一個(gè)不包含空值的數(shù)據(jù)表。

#刪除數(shù)據(jù)表中含有空值的行 df.dropna(how='any')

?

除此之外也可以使用數(shù)字對(duì)空值進(jìn)行填充，下面的代碼使用fillna函數(shù)對(duì)空值字段填充數(shù)字0。

#使用數(shù)字0填充數(shù)據(jù)表中空值 df.fillna(value=0)

我們選擇填充的方式來處理空值，使用price列的均值來填充NA字段，同樣使用fillna函數(shù)，在要填充的數(shù)值中使用mean函數(shù)先計(jì)算price列當(dāng)前的均值，然后使用這個(gè)均值對(duì)NA進(jìn)行填
充。可以看到兩個(gè)空值字段顯示為3299.5

#使用price均值對(duì)NA進(jìn)行填充 df['price'].fillna(df['price'].mean()) 0 1200.0 1 3299.5 2 2133.0 3 5433.0 4 3299.5 5 4432.0 Name: price, dtype: float64

?

?

清理空格

除了空值，字符中的空格也是數(shù)據(jù)清洗中一個(gè)常見的問題，下面是清除字符中空格的代碼。

#清除city字段中的字符空格 df['city']=df['city'].map(str.strip)

大小寫轉(zhuǎn)換

在英文字段中，字母的大小寫不統(tǒng)一也是一個(gè)常見的問題。Excel中有UPPER，LOWER等函數(shù)，python中也有同名函數(shù)用來解決大小寫的問題。在數(shù)據(jù)表的city列中就存在這樣的問題。我們將city列的所有字母轉(zhuǎn)換為小寫。下面是具體的代碼和結(jié)果。

?

#city列大小寫轉(zhuǎn)換 df['city']=df['city'].str.lower()

?

更改數(shù)據(jù)格式

Excel中通過“設(shè)置單元格格式”功能可以修改數(shù)據(jù)格式。Python中通過astype函數(shù)用來修改數(shù)據(jù)格式。

Python中dtype是查看數(shù)據(jù)格式的函數(shù)，與之對(duì)應(yīng)的是astype函數(shù)，用來更改數(shù)據(jù)格式。下面的代碼中將price字段的值修改為int格式。

#更改數(shù)據(jù)格式 df['price'].astype('int') 0 1200 1 3299 2 2133 3 5433 4 3299 5 4432 Name: price, dtype: int32

更改列名稱

Rename是更改列名稱的函數(shù)，我們將來數(shù)據(jù)表中的category列更改為category-size。下面是具體的代碼和更改后的結(jié)果。

#更改列名稱 df.rename(columns={'category': 'category-size'})

?

?

刪除重復(fù)值

很多數(shù)據(jù)表中還包含重復(fù)值的問題，Excel的數(shù)據(jù)目錄下有“刪除重復(fù)項(xiàng)”的功能，可以用來刪除數(shù)據(jù)表中的重復(fù)值。默認(rèn)Excel會(huì)保留最先出現(xiàn)的數(shù)據(jù)，刪除后面重復(fù)出現(xiàn)的數(shù)據(jù)。

Python中使用drop_duplicates函數(shù)刪除重復(fù)值。我們以數(shù)據(jù)表中的city列為例，city字段中存在重復(fù)值。默認(rèn)情況下drop_duplicates()將刪除后出現(xiàn)的重復(fù)值(與excel邏輯一致)。增加keep=’last’參數(shù)后將刪除最先出現(xiàn)的重復(fù)值，保留最后的值。下面是具體的代碼和比較結(jié)果。

原始的city列中beijing存在重復(fù)，分別在第一位和最后一位。

?

df['city'] 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

使用默認(rèn)的drop_duplicates()函數(shù)刪除重復(fù)值，從結(jié)果中可以看到第一位的beijing被保留，最后出現(xiàn)的beijing被刪除。

#刪除后出現(xiàn)的重復(fù)值 df['city'].drop_duplicates() 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai Name: city, dtype: object

?

設(shè)置keep=’last‘’參數(shù)后，與之前刪除重復(fù)值的結(jié)果相反，第一位出現(xiàn)的beijing被刪除，保留了最后一位出現(xiàn)的beijing。

#刪除先出現(xiàn)的重復(fù)值 df['city'].drop_duplicates(keep='last') 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

數(shù)值修改及替換

數(shù)據(jù)清洗中最后一個(gè)問題是數(shù)值修改或替換，Excel中使用“查找和替換”功能就可以實(shí)現(xiàn)數(shù)值的替換。

Python中使用replace函數(shù)實(shí)現(xiàn)數(shù)據(jù)替換。數(shù)據(jù)表中city字段上海存在兩種寫法，分別為shanghai和SH。我們使用replace函數(shù)對(duì)SH進(jìn)行替換。

#數(shù)據(jù)替換 df['city'].replace('sh', 'shanghai') 0 beijing 1 shanghai 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

?

在第二篇文章中我們將繼續(xù)介紹4-6部分的內(nèi)容，分別為數(shù)據(jù)預(yù)處理，數(shù)據(jù)提取和數(shù)據(jù)篩選三部分的問題。感興趣的朋友請(qǐng)繼續(xù)關(guān)注。

轉(zhuǎn)載于:https://www.cnblogs.com/xitingxie/p/8336137.html

總結(jié)

以上是生活随笔為你收集整理的像Excel一样使用python进行数据分析（1）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。