在數(shù)據(jù)分析和建模的過(guò)程中，相當(dāng)多的時(shí)間要用在數(shù)據(jù)準(zhǔn)備上：加載、清理、轉(zhuǎn)換以及重塑。這些工作會(huì)占到分析師時(shí)間的80%或更多。有時(shí)，存儲(chǔ)在文件和數(shù)據(jù)庫(kù)中的數(shù)據(jù)的格式不適合某個(gè)特定的任務(wù)。許多研究者都選擇使用通用編程語(yǔ)言（如Python、Perl、R或Java）或UNIX文本處理工具（如sed或awk）對(duì)數(shù)據(jù)格式進(jìn)行專門(mén)處理。幸運(yùn)的是，pandas和內(nèi)置的Python標(biāo)準(zhǔn)庫(kù)提供了一組高級(jí)的、靈活的、快速的工具，可以讓你輕松地將數(shù)據(jù)規(guī)變?yōu)橄胍母袷健?/p>

如果你發(fā)現(xiàn)了一種本書(shū)或pandas庫(kù)中沒(méi)有的數(shù)據(jù)操作方式，請(qǐng)盡管在郵件列表或GitHub網(wǎng)站上提出。實(shí)際上，pandas的許多設(shè)計(jì)和實(shí)現(xiàn)都是由真實(shí)應(yīng)用的需求所驅(qū)動(dòng)的。

在本章中，我會(huì)討論處理缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、字符串操作和其它分析數(shù)據(jù)轉(zhuǎn)換的工具。下一章，我會(huì)關(guān)注于用多種方法合并、重塑數(shù)據(jù)集。

7.1 處理缺失數(shù)據(jù)

在許多數(shù)據(jù)分析工作中，缺失數(shù)據(jù)是經(jīng)常發(fā)生的。pandas的目標(biāo)之一就是盡量輕松地處理缺失數(shù)據(jù)。例如，pandas對(duì)象的所有描述性統(tǒng)計(jì)默認(rèn)都不包括缺失數(shù)據(jù)。

缺失數(shù)據(jù)在pandas中呈現(xiàn)的方式有些不完美，但對(duì)于大多數(shù)用戶可以保證功能正常。對(duì)于數(shù)值數(shù)據(jù)，pandas使用浮點(diǎn)值NaN（Not a Number）表示缺失數(shù)據(jù)。我們稱其為哨兵值，可以方便的檢測(cè)出來(lái)：In [10]: string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

In [11]: string_data

Out[11]:

0 aardvark

1 artichoke

2 NaN

3 avocado

dtype: object

In [12]: string_data.isnull()

Out[12]:

0 False

1 False

2 True

3 False

dtype: bool

在pandas中，我們采用了R語(yǔ)言中的慣用法，即將缺失值表示為NA，它表示不可用not available。在統(tǒng)計(jì)應(yīng)用中，NA數(shù)據(jù)可能是不存在的數(shù)據(jù)或者雖然存在，但是沒(méi)有觀察到（例如，數(shù)據(jù)采集中發(fā)生了問(wèn)題）。當(dāng)進(jìn)行數(shù)據(jù)清洗以進(jìn)行分析時(shí)，最好直接對(duì)缺失數(shù)據(jù)進(jìn)行分析，以判斷數(shù)據(jù)采集的問(wèn)題或缺失數(shù)據(jù)可能導(dǎo)致的偏差。

Python內(nèi)置的None值在對(duì)象數(shù)組中也可以作為NA：In [13]: string_data[0] = None

In [14]: string_data.isnull()

Out[14]:

0 True

1 False

2 True

3 False

dtype: bool

pandas項(xiàng)目中還在不斷優(yōu)化內(nèi)部細(xì)節(jié)以更好處理缺失數(shù)據(jù)，像用戶API功能，例如pandas.isnull，去除了許多惱人的細(xì)節(jié)。表7-1列出了一些關(guān)于缺失數(shù)據(jù)處理的函數(shù)。

表7-1 NA處理方法

濾除缺失數(shù)據(jù)

過(guò)濾掉缺失數(shù)據(jù)的辦法有很多種。你可以通過(guò)pandas.isnull或布爾索引的手工方法，但dropna可能會(huì)更實(shí)用一些。對(duì)于一個(gè)Series，dropna返回一個(gè)僅含非空數(shù)據(jù)和索引值的Series：In [15]: from numpy import nan as NA

In [16]: data = pd.Series([1, NA, 3.5, NA, 7])

In [17]: data.dropna()

Out[17]:

0 1.0

2 3.5

4 7.0

dtype: float64

這等價(jià)于：In [18]: data[data.notnull()]

Out[18]:

0 1.0

2 3.5

4 7.0

dtype: float64

而對(duì)于DataFrame對(duì)象，事情就有點(diǎn)復(fù)雜了。你可能希望丟棄全NA或含有NA的行或列。dropna默認(rèn)丟棄任何含有缺失值的行：In [19]: data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],

....: [NA, NA, NA], [NA, 6.5, 3.]])

In [20]: cleaned = data.dropna()

In [21]: data

Out[21]:

0 1 2

0 1.0 6.5 3.0

1 1.0 NaN NaN

2 NaN NaN NaN

3 NaN 6.5 3.0

In [22]: cleaned

Out[22]:

0 1 2

0 1.0 6.5 3.0

傳入how='all'將只丟棄全為NA的那些行：In [23]: data.dropna(how='all')

Out[23]:

0 1 2

0 1.0 6.5 3.0

1 1.0 NaN NaN

3 NaN 6.5 3.0

用這種方式丟棄列，只需傳入axis=1即可：In [24]: data[4] = NA

In [25]: data

Out[25]:

0 1 2 4

0 1.0 6.5 3.0 NaN

1 1.0 NaN NaN NaN

2 NaN NaN NaN NaN

3 NaN 6.5 3.0 NaN

In [26]: data.dropna(axis=1, how='all')

Out[26]:

0 1 2

0 1.0 6.5 3.0

1 1.0 NaN NaN

2 NaN NaN NaN

3 NaN 6.5 3.0

另一個(gè)濾除DataFrame行的問(wèn)題涉及時(shí)間序列數(shù)據(jù)。假設(shè)你只想留下一部分觀測(cè)數(shù)據(jù)，可以用thresh參數(shù)實(shí)現(xiàn)此目的：In [27]: df = pd.DataFrame(np.random.randn(7, 3))

In [28]: df.iloc[:4, 1] = NA

In [29]: df.iloc[:2, 2] = NA

In [30]: df

Out[30]:

0 1 2

0 -0.204708 NaN NaN

1 -0.555730 NaN NaN

2 0.092908 NaN 0.769023

3 1.246435 NaN -1.296221

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

In [31]: df.dropna()

Out[31]:

0 1 2

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

In [32]: df.dropna(thresh=2)

Out[32]:

0 1 2

2 0.092908 NaN 0.769023

3 1.246435 NaN -1.296221

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

填充缺失數(shù)據(jù)

你可能不想濾除缺失數(shù)據(jù)（有可能會(huì)丟棄跟它有關(guān)的其他數(shù)據(jù)），而是希望通過(guò)其他方式填補(bǔ)那些“空洞”。對(duì)于大多數(shù)情況而言，fillna方法是最主要的函數(shù)。通過(guò)一個(gè)常數(shù)調(diào)用fillna就會(huì)將缺失值替換為那個(gè)常數(shù)值：In [33]: df.fillna(0)

Out[33]:

0 1 2

0 -0.204708 0.000000 0.000000

1 -0.555730 0.000000 0.000000

2 0.092908 0.000000 0.769023

3 1.246435 0.000000 -1.296221

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

若是通過(guò)一個(gè)字典調(diào)用fillna，就可以實(shí)現(xiàn)對(duì)不同的列填充不同的值：In [34]: df.fillna({1: 0.5, 2: 0})

Out[34]:

0 1 2

0 -0.204708 0.500000 0.000000

1 -0.555730 0.500000 0.000000

2 0.092908 0.500000 0.769023

3 1.246435 0.500000 -1.296221

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

fillna默認(rèn)會(huì)返回新對(duì)象，但也可以對(duì)現(xiàn)有對(duì)象進(jìn)行就地修改：In [35]: _ = df.fillna(0, inplace=True)

In [36]: df

Out[36]:

0 1 2

0 -0.204708 0.000000 0.000000

1 -0.555730 0.000000 0.000000

2 0.092908 0.000000 0.769023

3 1.246435 0.000000 -1.296221

4 0.274992 0.228913 1.352917

5 0.886429 -2.001637 -0.371843

6 1.669025 -0.438570 -0.539741

對(duì)reindexing有效的那些插值方法也可用于fillna：In [37]: df = pd.DataFrame(np.random.randn(6, 3))

In [38]: df.iloc[2:, 1] = NA

In [39]: df.iloc[4:, 2] = NA

In [40]: df

Out[40]:

0 1 2

0 0.476985 3.248944 -1.021228

1 -0.577087 0.124121 0.302614

2 0.523772 NaN 1.343810

3 -0.713544 NaN -2.370232

4 -1.860761 NaN NaN

5 -1.265934 NaN NaN

In [41]: df.fillna(method='ffill')

Out[41]:

0 1 2

0 0.476985 3.248944 -1.021228

1 -0.577087 0.124121 0.302614

2 0.523772 0.124121 1.343810

3 -0.713544 0.124121 -2.370232

4 -1.860761 0.124121 -2.370232

5 -1.265934 0.124121 -2.370232

In [42]: df.fillna(method='ffill', limit=2)

Out[42]:

0 1 2

0 0.476985 3.248944 -1.021228

1 -0.577087 0.124121 0.302614

2 0.523772 0.124121 1.343810

3 -0.713544 0.124121 -2.370232

4 -1.860761 NaN -2.370232

5 -1.265934 NaN -2.370232

只要有些創(chuàng)新，你就可以利用fillna實(shí)現(xiàn)許多別的功能。比如說(shuō)，你可以傳入Series的平均值或中位數(shù)：In [43]: data = pd.Series([1., NA, 3.5, NA, 7])

In [44]: data.fillna(data.mean())

Out[44]:

0 1.000000

1 3.833333

2 3.500000

3 3.833333

4 7.000000

dtype: float64

表7-2列出了fillna的參考。

fillna函數(shù)參數(shù)

7.2 數(shù)據(jù)轉(zhuǎn)換

本章到目前為止介紹的都是數(shù)據(jù)的重排。另一類重要操作則是過(guò)濾、清理以及其他的轉(zhuǎn)換工作。

移除重復(fù)數(shù)據(jù)

DataFrame中出現(xiàn)重復(fù)行有多種原因。下面就是一個(gè)例子：In [45]: data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],

....: 'k2': [1, 1, 2, 3, 3, 4, 4]})

In [46]: data

Out[46]:

k1 k2

0 one 1

1 two 1

2 one 2

3 two 3

4 one 3

5 two 4

6 two 4

DataFrame的duplicated方法返回一個(gè)布爾型Series，表示各行是否是重復(fù)行（前面出現(xiàn)過(guò)的行）：In [47]: data.duplicated()

Out[47]:

0 False

1 False

2 False

3 False

4 False

5 False

6 True

dtype: bool

還有一個(gè)與此相關(guān)的drop_duplicates方法，它會(huì)返回一個(gè)DataFrame，重復(fù)的數(shù)組會(huì)標(biāo)為False：In [48]: data.drop_duplicates()

Out[48]:

k1 k2

0 one 1

1 two 1

2 one 2

3 two 3

4 one 3

5 two 4

這兩個(gè)方法默認(rèn)會(huì)判斷全部列，你也可以指定部分列進(jìn)行重復(fù)項(xiàng)判斷。假設(shè)我們還有一列值，且只希望根據(jù)k1列過(guò)濾重復(fù)項(xiàng)：In [49]: data['v1'] = range(7)

In [50]: data.drop_duplicates(['k1'])

Out[50]:

k1 k2 v1

0 one 1 0

1 two 1 1

duplicated和drop_duplicates默認(rèn)保留的是第一個(gè)出現(xiàn)的值組合。傳入keep='last'則保留最后一個(gè)：In [51]: data.drop_duplicates(['k1', 'k2'], keep='last')

Out[51]:

k1 k2 v1

0 one 1 0

1 two 1 1

2 one 2 2

3 two 3 3

4 one 3 4

6 two 4 6

利用函數(shù)或映射進(jìn)行數(shù)據(jù)轉(zhuǎn)換

對(duì)于許多數(shù)據(jù)集，你可能希望根據(jù)數(shù)組、Series或DataFrame列中的值來(lái)實(shí)現(xiàn)轉(zhuǎn)換工作。我們來(lái)看看下面這組有關(guān)肉類的數(shù)據(jù)：In [52]: data = pd.DataFrame({'food': ['bacon', 'pulled pork', 'bacon',

....: 'Pastrami', 'corned beef', 'Bacon',

....: 'pastrami', 'honey ham', 'nova lox'],

....: 'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})

In [53]: data

Out[53]:

food ounces

0 bacon 4.0

1 pulled pork 3.0

2 bacon 12.0

3 Pastrami 6.0

4 corned beef 7.5

5 Bacon 8.0

6 pastrami 3.0

7 honey ham 5.0

8 nova lox 6.0

假設(shè)你想要添加一列表示該肉類食物來(lái)源的動(dòng)物類型。我們先編寫(xiě)一個(gè)不同肉類到動(dòng)物的映射：meat_to_animal = {

'bacon': 'pig',

'pulled pork': 'pig',

'pastrami': 'cow',

'corned beef': 'cow',

'honey ham': 'pig',

'nova lox': 'salmon'

}

Series的map方法可以接受一個(gè)函數(shù)或含有映射關(guān)系的字典型對(duì)象，但是這里有一個(gè)小問(wèn)題，即有些肉類的首字母大寫(xiě)了，而另一些則沒(méi)有。因此，我們還需要使用Series的str.lower方法，將各個(gè)值轉(zhuǎn)換為小寫(xiě)：In [55]: lowercased = data['food'].str.lower()

In [56]: lowercased

Out[56]:

0 bacon

1 pulled pork

2 bacon

3 pastrami

4 corned beef

5 bacon

6 pastrami

7 honey ham

8 nova lox

Name: food, dtype: object

In [57]: data['animal'] = lowercased.map(meat_to_animal)

In [58]: data

Out[58]:

food ounces animal

0 bacon 4.0 pig

1 pulled pork 3.0 pig

2 bacon 12.0 pig

3 Pastrami 6.0 cow

4 corned beef 7.5 cow

5 Bacon 8.0 pig

6 pastrami 3.0 cow

7 honey ham 5.0 pig

8 nova lox 6.0 salmon

我們也可以傳入一個(gè)能夠完成全部這些工作的函數(shù)：In [59]: data['food'].map(lambda x: meat_to_animal[x.lower()])

Out[59]:

0 pig

1 pig

2 pig

3 cow

4 cow

5 pig

6 cow

7 pig

8 salmon

Name: food, dtype: object

使用map是一種實(shí)現(xiàn)元素級(jí)轉(zhuǎn)換以及其他數(shù)據(jù)清理工作的便捷方式。

替換值

利用fillna方法填充缺失數(shù)據(jù)可以看做值替換的一種特殊情況。前面已經(jīng)看到，map可用于修改對(duì)象的數(shù)據(jù)子集，而replace則提供了一種實(shí)現(xiàn)該功能的更簡(jiǎn)單、更靈活的方式。我們來(lái)看看下面這個(gè)Series：In [60]: data = pd.Series([1., -999., 2., -999., -1000., 3.])

In [61]: data

Out[61]:

0 1.0

1 -999.0

2 2.0

3 -999.0

4 -1000.0

5 3.0

-999這個(gè)值可能是一個(gè)表示缺失數(shù)據(jù)的標(biāo)記值。要將其替換為pandas能夠理解的NA值，我們可以利用replace來(lái)產(chǎn)生一個(gè)新的Series（除非傳入inplace=True）：In [62]: data.replace(-999, np.nan)

Out[62]:

0 1.0

1 NaN

2 2.0

3 NaN

4 -1000.0

5 3.0

dtype: float64

如果你希望一次性替換多個(gè)值，可以傳入一個(gè)由待替換值組成的列表以及一個(gè)替換值：：In [63]: data.replace([-999, -1000], np.nan)

Out[63]:

0 1.0

1 NaN

2 2.0

3 NaN

4 NaN

5 3.0

dtype: float64

要讓每個(gè)值有不同的替換值，可以傳遞一個(gè)替換列表：In [64]: data.replace([-999, -1000], [np.nan, 0])

Out[64]:

0 1.0

1 NaN

2 2.0

3 NaN

4 0.0

5 3.0

dtype: float64

傳入的參數(shù)也可以是字典：In [65]: data.replace({-999: np.nan, -1000: 0})

Out[65]:

0 1.0

1 NaN

2 2.0

3 NaN

4 0.0

5 3.0

dtype: float64筆記：data.replace方法與data.str.replace不同，后者做的是字符串的元素級(jí)替換。我們會(huì)在后面學(xué)習(xí)Series的字符串方法。

重命名軸索引

跟Series中的值一樣，軸標(biāo)簽也可以通過(guò)函數(shù)或映射進(jìn)行轉(zhuǎn)換，從而得到一個(gè)新的不同標(biāo)簽的對(duì)象。軸還可以被就地修改，而無(wú)需新建一個(gè)數(shù)據(jù)結(jié)構(gòu)。接下來(lái)看看下面這個(gè)簡(jiǎn)單的例子：In [66]: data = pd.DataFrame(np.arange(12).reshape((3, 4)),

....: index=['Ohio', 'Colorado', 'New York'],

....: columns=['one', 'two', 'three', 'four'])

跟Series一樣，軸索引也有一個(gè)map方法：In [67]: transform = lambda x: x[:4].upper()

In [68]: data.index.map(transform)

Out[68]: Index(['OHIO', 'COLO', 'NEW '], dtype='object')

你可以將其賦值給index，這樣就可以對(duì)DataFrame進(jìn)行就地修改：In [69]: data.index = data.index.map(transform)

In [70]: data

Out[70]:

one two three four

OHIO 0 1 2 3

COLO 4 5 6 7

NEW 8 9 10 11

如果想要?jiǎng)?chuàng)建數(shù)據(jù)集的轉(zhuǎn)換版（而不是修改原始數(shù)據(jù)），比較實(shí)用的方法是rename：In [71]: data.rename(index=str.title, columns=str.upper)

Out[71]:

ONE TWO THREE FOUR

Ohio 0 1 2 3

Colo 4 5 6 7

New 8 9 10 11

特別說(shuō)明一下，rename可以結(jié)合字典型對(duì)象實(shí)現(xiàn)對(duì)部分軸標(biāo)簽的更新：In [72]: data.rename(index={'OHIO': 'INDIANA'},

....: columns={'three': 'peekaboo'})

Out[72]:

one two peekaboo four

INDIANA 0 1 2 3

COLO 4 5 6 7

NEW 8 9 10 11

rename可以實(shí)現(xiàn)復(fù)制DataFrame并對(duì)其索引和列標(biāo)簽進(jìn)行賦值。如果希望就地修改某個(gè)數(shù)據(jù)集，傳入inplace=True即可：In [73]: data.rename(index={'OHIO': 'INDIANA'}, inplace=True)

In [74]: data

Out[74]:

one two three four

INDIANA 0 1 2 3

COLO 4 5 6 7

NEW 8 9 10 11

離散化和面元?jiǎng)澐?/p>

為了便于分析，連續(xù)數(shù)據(jù)常常被離散化或拆分為“面元”（bin）。假設(shè)有一組人員數(shù)據(jù)，而你希望將它們劃分為不同的年齡組：In [75]: ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]

接下來(lái)將這些數(shù)據(jù)劃分為“18到25”、“26到35”、“35到60”以及“60以上”幾個(gè)面元。要實(shí)現(xiàn)該功能，你需要使用pandas的cut函數(shù)：In [76]: bins = [18, 25, 35, 60, 100]

In [77]: cats = pd.cut(ages, bins)

In [78]: cats

Out[78]:

[(18, 25], (18, 25], (18, 25], (25, 35], (18, 25], ..., (25, 35], (60, 100], (35,60], (35, 60], (25, 35]]

Length: 12

Categories (4, interval[int64]): [(18, 25] < (25, 35] < (35, 60] < (60, 100]]

pandas返回的是一個(gè)特殊的Categorical對(duì)象。結(jié)果展示了pandas.cut劃分的面元。你可以將其看做一組表示面元名稱的字符串。它的底層含有一個(gè)表示不同分類名稱的類型數(shù)組，以及一個(gè)codes屬性中的年齡數(shù)據(jù)的標(biāo)簽：In [79]: cats.codes

Out[79]: array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1], dtype=int8)

In [80]: cats.categories

Out[80]:

IntervalIndex([(18, 25], (25, 35], (35, 60], (60, 100]]

closed='right',

dtype='interval[int64]')

In [81]: pd.value_counts(cats)

Out[81]:

(18, 25] 5

(35, 60] 3

(25, 35] 3

(60, 100] 1

dtype: int64

pd.value_counts(cats)是pandas.cut結(jié)果的面元計(jì)數(shù)。

跟“區(qū)間”的數(shù)學(xué)符號(hào)一樣，圓括號(hào)表示開(kāi)端，而方括號(hào)則表示閉端（包括）。哪邊是閉端可以通過(guò)right=False進(jìn)行修改：In [82]: pd.cut(ages, [18, 26, 36, 61, 100], right=False)

Out[82]:

[[18, 26), [18, 26), [18, 26), [26, 36), [18, 26), ..., [26, 36), [61, 100), [36,

61), [36, 61), [26, 36)]

Length: 12

Categories (4, interval[int64]): [[18, 26) < [26, 36) < [36, 61) < [61, 100)]

你可 以通過(guò)傳遞一個(gè)列表或數(shù)組到labels，設(shè)置自己的面元名稱：In [83]: group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior']

In [84]: pd.cut(ages, bins, labels=group_names)

Out[84]:

[Youth, Youth, Youth, YoungAdult, Youth, ..., YoungAdult, Senior, MiddleAged, Mid

dleAged, YoungAdult]

Length: 12

Categories (4, object): [Youth < YoungAdult < MiddleAged < Senior]

如果向cut傳入的是面元的數(shù)量而不是確切的面元邊界，則它會(huì)根據(jù)數(shù)據(jù)的最小值和最大值計(jì)算等長(zhǎng)面元。下面這個(gè)例子中，我們將一些均勻分布的數(shù)據(jù)分成四組：In [85]: data = np.random.rand(20)

In [86]: pd.cut(data, 4, precision=2)

Out[86]:

[(0.34, 0.55], (0.34, 0.55], (0.76, 0.97], (0.76, 0.97], (0.34, 0.55], ..., (0.34

, 0.55], (0.34, 0.55], (0.55, 0.76], (0.34, 0.55], (0.12, 0.34]]

Length: 20

Categories (4, interval[float64]): [(0.12, 0.34] < (0.34, 0.55] < (0.55, 0.76] <

(0.76, 0.97]]

選項(xiàng)precision=2，限定小數(shù)只有兩位。

qcut是一個(gè)非常類似于cut的函數(shù)，它可以根據(jù)樣本分位數(shù)對(duì)數(shù)據(jù)進(jìn)行面元?jiǎng)澐帧８鶕?jù)數(shù)據(jù)的分布情況，cut可能無(wú)法使各個(gè)面元中含有相同數(shù)量的數(shù)據(jù)點(diǎn)。而qcut由于使用的是樣本分位數(shù)，因此可以得到大小基本相等的面元：In [87]: data = np.random.randn(1000) # Normally distributed

In [88]: cats = pd.qcut(data, 4) # Cut into quartiles

In [89]: cats

Out[89]:

[(-0.0265, 0.62], (0.62, 3.928], (-0.68, -0.0265], (0.62, 3.928], (-0.0265, 0.62]

, ..., (-0.68, -0.0265], (-0.68, -0.0265], (-2.95, -0.68], (0.62, 3.928], (-0.68,

-0.0265]]

Length: 1000

Categories (4, interval[float64]): [(-2.95, -0.68] < (-0.68, -0.0265] < (-0.0265,

0.62] <

(0.62, 3.928]]

In [90]: pd.value_counts(cats)

Out[90]:

(0.62, 3.928] 250

(-0.0265, 0.62] 250

(-0.68, -0.0265] 250

(-2.95, -0.68] 250

dtype: int64

與cut類似，你也可以傳遞自定義的分位數(shù)（0到1之間的數(shù)值，包含端點(diǎn)）：In [91]: pd.qcut(data, [0, 0.1, 0.5, 0.9, 1.])

Out[91]:

[(-0.0265, 1.286], (-0.0265, 1.286], (-1.187, -0.0265], (-0.0265, 1.286], (-0.026

5, 1.286], ..., (-1.187, -0.0265], (-1.187, -0.0265], (-2.95, -1.187], (-0.0265,

1.286], (-1.187, -0.0265]]

Length: 1000

Categories (4, interval[float64]): [(-2.95, -1.187] < (-1.187, -0.0265] < (-0.026

5, 1.286] <

(1.286, 3.928]]

本章稍后在講解聚合和分組運(yùn)算時(shí)會(huì)再次用到cut和qcut，因?yàn)檫@兩個(gè)離散化函數(shù)對(duì)分位和分組分析非常重要。

檢測(cè)和過(guò)濾異常值

過(guò)濾或變換異常值（outlier）在很大程度上就是運(yùn)用數(shù)組運(yùn)算。來(lái)看一個(gè)含有正態(tài)分布數(shù)據(jù)的DataFrame：In [92]: data = pd.DataFrame(np.random.randn(1000, 4))

In [93]: data.describe()

Out[93]:

0 1 2 3

count 1000.000000 1000.000000 1000.000000 1000.000000

mean 0.049091 0.026112 -0.002544 -0.051827

std 0.996947 1.007458 0.995232 0.998311

min -3.645860 -3.184377 -3.745356 -3.428254

25% -0.599807 -0.612162 -0.687373 -0.747478

50% 0.047101 -0.013609 -0.022158 -0.088274

75% 0.756646 0.695298 0.699046 0.623331

max 2.653656 3.525865 2.735527 3.366626

假設(shè)你想要找出某列中絕對(duì)值大小超過(guò)3的值：In [94]: col = data[2]

In [95]: col[np.abs(col) > 3]

Out[95]:

41 -3.399312

136 -3.745356

Name: 2, dtype: float64

要選出全部含有“超過(guò)3或－3的值”的行，你可以在布爾型DataFrame中使用any方法：In [96]: data[(np.abs(data) > 3).any(1)]

Out[96]:

0 1 2 3

41 0.457246 -0.025907 -3.399312 -0.974657

60 1.951312 3.260383 0.963301 1.201206

136 0.508391 -0.196713 -3.745356 -1.520113

235 -0.242459 -3.056990 1.918403 -0.578828

258 0.682841 0.326045 0.425384 -3.428254

322 1.179227 -3.184377 1.369891 -1.074833

544 -3.548824 1.553205 -2.186301 1.277104

635 -0.578093 0.193299 1.397822 3.366626

782 -0.207434 3.525865 0.283070 0.544635

803 -3.645860 0.255475 -0.549574 -1.907459

根據(jù)這些條件，就可以對(duì)值進(jìn)行設(shè)置。下面的代碼可以將值限制在區(qū)間－3到3以內(nèi)：In [97]: data[np.abs(data) > 3] = np.sign(data) * 3

In [98]: data.describe()

Out[98]:

0 1 2 3

count 1000.000000 1000.000000 1000.000000 1000.000000

mean 0.050286 0.025567 -0.001399 -0.051765

std 0.992920 1.004214 0.991414 0.995761

min -3.000000 -3.000000 -3.000000 -3.000000

25% -0.599807 -0.612162 -0.687373 -0.747478

50% 0.047101 -0.013609 -0.022158 -0.088274

75% 0.756646 0.695298 0.699046 0.623331

max 2.653656 3.000000 2.735527 3.000000

根據(jù)數(shù)據(jù)的值是正還是負(fù)，np.sign(data)可以生成1和-1：In [99]: np.sign(data).head()

Out[99]:

0 1 2 3

0 -1.0 1.0 -1.0 1.0

1 1.0 -1.0 1.0 -1.0

2 1.0 1.0 1.0 -1.0

3 -1.0 -1.0 1.0 -1.0

4 -1.0 1.0 -1.0 -1.0

排列和隨機(jī)采樣

利用numpy.random.permutation函數(shù)可以輕松實(shí)現(xiàn)對(duì)Series或DataFrame的列的排列工作（permuting，隨機(jī)重排序）。通過(guò)需要排列的軸的長(zhǎng)度調(diào)用permutation，可產(chǎn)生一個(gè)表示新順序的整數(shù)數(shù)組：In [100]: df = pd.DataFrame(np.arange(5 * 4).reshape((5, 4)))

In [101]: sampler = np.random.permutation(5)

In [102]: sampler

Out[102]: array([3, 1, 4, 2, 0])

然后就可以在基于iloc的索引操作或take函數(shù)中使用該數(shù)組了：In [103]: df

Out[103]:

0 1 2 3

0 0 1 2 3

1 4 5 6 7

2 8 9 10 11

3 12 13 14 15

4 16 17 18 19

In [104]: df.take(sampler)

Out[104]:

0 1 2 3

3 12 13 14 15

1 4 5 6 7

4 16 17 18 19

2 8 9 10 11

0 0 1 2 3

如果不想用替換的方式選取隨機(jī)子集，可以在Series和DataFrame上使用sample方法：In [105]: df.sample(n=3)

Out[105]:

0 1 2 3

3 12 13 14 15

4 16 17 18 19

2 8 9 10 11

要通過(guò)替換的方式產(chǎn)生樣本（允許重復(fù)選擇），可以傳遞replace=True到sample：In [106]: choices = pd.Series([5, 7, -1, 6, 4])

In [107]: draws = choices.sample(n=10, replace=True)

In [108]: draws

Out[108]:

4 4

1 7

4 4

2 -1

0 5

3 6

1 7

4 4

0 5

4 4

dtype: int64

計(jì)算指標(biāo)/啞變量

另一種常用于統(tǒng)計(jì)建模或機(jī)器學(xué)習(xí)的轉(zhuǎn)換方式是：將分類變量（categorical variable）轉(zhuǎn)換為“啞變量”或“指標(biāo)矩陣”。

如果DataFrame的某一列中含有k個(gè)不同的值，則可以派生出一個(gè)k列矩陣或DataFrame（其值全為1和0）。pandas有一個(gè)get_dummies函數(shù)可以實(shí)現(xiàn)該功能（其實(shí)自己動(dòng)手做一個(gè)也不難）。使用之前的一個(gè)DataFrame例子：In [109]: df = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],

.....: 'data1': range(6)})

In [110]: pd.get_dummies(df['key'])

Out[110]:

a b c

0 0 1 0

1 0 1 0

2 1 0 0

3 0 0 1

4 1 0 0

5 0 1 0

有時(shí)候，你可能想給指標(biāo)DataFrame的列加上一個(gè)前綴，以便能夠跟其他數(shù)據(jù)進(jìn)行合并。get_dummies的prefix參數(shù)可以實(shí)現(xiàn)該功能：In [111]: dummies = pd.get_dummies(df['key'], prefix='key')

In [112]: df_with_dummy = df[['data1']].join(dummies)

In [113]: df_with_dummy

Out[113]:

data1 key_a key_b key_c

0 0 0 1 0

1 1 0 1 0

2 2 1 0 0

3 3 0 0 1

4 4 1 0 0

5 5 0 1 0

如果DataFrame中的某行同屬于多個(gè)分類，則事情就會(huì)有點(diǎn)復(fù)雜。看一下MovieLens 1M數(shù)據(jù)集，14章會(huì)更深入地研究它：In [114]: mnames = ['movie_id', 'title', 'genres']

In [115]: movies = pd.read_table('datasets/movielens/movies.dat', sep='::',

.....: header=None, names=mnames)

In [116]: movies[:10]

Out[116]:

movie_id title genres

0 1 Toy Story (1995) Animation|Children's|Comedy

1 2 Jumanji (1995) Adventure|Children's|Fantasy

2 3 Grumpier Old Men (1995) Comedy|Romance

3 4 Waiting to Exhale (1995) Comedy|Drama

4 5 Father of the Bride Part II (1995) Comedy

5 6 Heat (1995) Action|Crime|Thriller

6 7 Sabrina (1995) Comedy|Romance

7 8 Tom and Huck (1995) Adventure|Children's

8 9 Sudden Death (1995)

Action

9 10 GoldenEye (1995) Action|Adventure|Thriller

要為每個(gè)genre添加指標(biāo)變量就需要做一些數(shù)據(jù)規(guī)整操作。首先，我們從數(shù)據(jù)集中抽取出不同的genre值：In [117]: all_genres = []

In [118]: for x in movies.genres:

.....: all_genres.extend(x.split('|'))

In [119]: genres = pd.unique(all_genres)

現(xiàn)在有：In [120]: genres

Out[120]:

array(['Animation', "Children's", 'Comedy', 'Adventure', 'Fantasy',

'Romance', 'Drama', 'Action', 'Crime', 'Thriller','Horror',

'Sci-Fi', 'Documentary', 'War', 'Musical', 'Mystery', 'Film-Noir',

'Western'], dtype=object)

構(gòu)建指標(biāo)DataFrame的方法之一是從一個(gè)全零DataFrame開(kāi)始：In [121]: zero_matrix = np.zeros((len(movies), len(genres)))

In [122]: dummies = pd.DataFrame(zero_matrix, columns=genres)

現(xiàn)在，迭代每一部電影，并將dummies各行的條目設(shè)為1。要這么做，我們使用dummies.columns來(lái)計(jì)算每個(gè)類型的列索引：In [123]: gen = movies.genres[0]

In [124]: gen.split('|')

Out[124]: ['Animation', "Children's", 'Comedy']

In [125]: dummies.columns.get_indexer(gen.split('|'))

Out[125]: array([0, 1, 2])

然后，根據(jù)索引，使用.iloc設(shè)定值：In [126]: for i, gen in enumerate(movies.genres):

.....: indices = dummies.columns.get_indexer(gen.split('|'))

.....: dummies.iloc[i, indices] = 1

.....:

然后，和以前一樣，再將其與movies合并起來(lái)：In [127]: movies_windic = movies.join(dummies.add_prefix('Genre_'))

In [128]: movies_windic.iloc[0]

Out[128]:

movie_id 1

title Toy Story (1995)

genres Animation|Children's|Comedy

Genre_Animation 1

Genre_Children's 1

Genre_Comedy 1

Genre_Adventure 0

Genre_Fantasy 0

Genre_Romance 0

Genre_Drama 0

...

Genre_Crime 0

Genre_Thriller 0

Genre_Horror 0

Genre_Sci-Fi 0

Genre_Documentary 0

Genre_War 0

Genre_Musical 0

Genre_Mystery 0

Genre_Film-Noir 0

Genre_Western 0

Name: 0, Length: 21, dtype: object筆記：對(duì)于很大的數(shù)據(jù)，用這種方式構(gòu)建多成員指標(biāo)變量就會(huì)變得非常慢。最好使用更低級(jí)的函數(shù)，將其寫(xiě)入NumPy數(shù)組，然后結(jié)果包裝在DataFrame中。

一個(gè)對(duì)統(tǒng)計(jì)應(yīng)用有用的秘訣是：結(jié)合get_dummies和諸如cut之類的離散化函數(shù)：In [129]: np.random.seed(12345)

In [130]: values = np.random.rand(10)

In [131]: values

Out[131]:

array([ 0.9296, 0.3164, 0.1839, 0.2046, 0.5677, 0.5955, 0.9645,

0.6532, 0.7489, 0.6536])

In [132]: bins = [0, 0.2, 0.4, 0.6, 0.8, 1]

In [133]: pd.get_dummies(pd.cut(values, bins))

Out[133]:

(0.0, 0.2] (0.2, 0.4] (0.4, 0.6] (0.6, 0.8] (0.8, 1.0]

0 0 0 0 0 1

1 0 1 0 0 0

2 1 0 0 0 0

3 0 1 0 0 0

4 0 0 1 0 0

5 0 0 1 0 0

6 0 0 0 0 1

7 0 0 0 1 0

8 0 0 0 1 0

9 0 0 0 1 0

我們用numpy.random.seed，使這個(gè)例子具有確定性。本書(shū)后面會(huì)介紹pandas.get_dummies。

7.3 字符串操作

Python能夠成為流行的數(shù)據(jù)處理語(yǔ)言，部分原因是其簡(jiǎn)單易用的字符串和文本處理功能。大部分文本運(yùn)算都直接做成了字符串對(duì)象的內(nèi)置方法。對(duì)于更為復(fù)雜的模式匹配和文本操作，則可能需要用到正則表達(dá)式。pandas對(duì)此進(jìn)行了加強(qiáng)，它使你能夠?qū)φM數(shù)據(jù)應(yīng)用字符串表達(dá)式和正則表達(dá)式，而且能處理煩人的缺失數(shù)據(jù)。

字符串對(duì)象方法

對(duì)于許多字符串處理和腳本應(yīng)用，內(nèi)置的字符串方法已經(jīng)能夠滿足要求了。例如，以逗號(hào)分隔的字符串可以用split拆分成數(shù)段：In [134]: val = 'a,b, guido'

In [135]: val.split(',')

Out[135]: ['a', 'b', ' guido']

split常常與strip一起使用，以去除空白符（包括換行符）：In [136]: pieces = [x.strip() for x in val.split(',')]

In [137]: pieces

Out[137]: ['a', 'b', 'guido']

利用加法，可以將這些子字符串以雙冒號(hào)分隔符的形式連接起來(lái)：In [138]: first, second, third = pieces

In [139]: first + '::' + second + '::' + third

Out[139]: 'a::b::guido'

但這種方式并不是很實(shí)用。一種更快更符合Python風(fēng)格的方式是，向字符串"::"的join方法傳入一個(gè)列表或元組：In [140]: '::'.join(pieces)

Out[140]: 'a::b::guido'

其它方法關(guān)注的是子串定位。檢測(cè)子串的最佳方式是利用Python的in關(guān)鍵字，還可以使用index和find：In [141]: 'guido' in val

Out[141]: True

In [142]: val.index(',')

Out[142]: 1

In [143]: val.find(':')

Out[143]: -1

注意find和index的區(qū)別：如果找不到字符串，index將會(huì)引發(fā)一個(gè)異常（而不是返回－1）：In [144]: val.index(':')

---------------------------------------------------------------------------

ValueError Traceback (most recent call last)

in ()

----> 1 val.index(':')

ValueError: substring not found

與此相關(guān)，count可以返回指定子串的出現(xiàn)次數(shù)：In [145]: val.count(',')

Out[145]: 2

replace用于將指定模式替換為另一個(gè)模式。通過(guò)傳入空字符串，它也常常用于刪除模式：In [146]: val.replace(',', '::')

Out[146]: 'a::b:: guido'

In [147]: val.replace(',', '')

Out[147]: 'ab guido'

表7-3列出了Python內(nèi)置的字符串方法。

這些運(yùn)算大部分都能使用正則表達(dá)式實(shí)現(xiàn)（馬上就會(huì)看到）。

casefold 將字符轉(zhuǎn)換為小寫(xiě)，并將任何特定區(qū)域的變量字符組合轉(zhuǎn)換成一個(gè)通用的可比較形式。

正則表達(dá)式

正則表達(dá)式提供了一種靈活的在文本中搜索或匹配（通常比前者復(fù)雜）字符串模式的方式。正則表達(dá)式，常稱作regex，是根據(jù)正則表達(dá)式語(yǔ)言編寫(xiě)的字符串。Python內(nèi)置的re模塊負(fù)責(zé)對(duì)字符串應(yīng)用正則表達(dá)式。我將通過(guò)一些例子說(shuō)明其使用方法。筆記：正則表達(dá)式的編寫(xiě)技巧可以自成一章，超出了本書(shū)的范圍。從網(wǎng)上和其它書(shū)可以找到許多非常不錯(cuò)的教程和參考資料。

re模塊的函數(shù)可以分為三個(gè)大類：模式匹配、替換以及拆分。當(dāng)然，它們之間是相輔相成的。一個(gè)regex描述了需要在文本中定位的一個(gè)模式，它可以用于許多目的。我們先來(lái)看一個(gè)簡(jiǎn)單的例子：假設(shè)我想要拆分一個(gè)字符串，分隔符為數(shù)量不定的一組空白符（制表符、空格、換行符等）。描述一個(gè)或多個(gè)空白符的regex是\s+：In [148]: import re

In [149]: text = "foo bar\t baz \tqux"

In [150]: re.split('\s+', text)

Out[150]: ['foo', 'bar', 'baz', 'qux']

調(diào)用re.split('\s+',text)時(shí)，正則表達(dá)式會(huì)先被編譯，然后再在text上調(diào)用其split方法。你可以用re.compile自己編譯regex以得到一個(gè)可重用的regex對(duì)象：In [151]: regex = re.compile('\s+')

In [152]: regex.split(text)

Out[152]: ['foo', 'bar', 'baz', 'qux']

如果只希望得到匹配regex的所有模式，則可以使用findall方法：In [153]: regex.findall(text)

Out[153]: [' ', '\t ', ' \t']筆記：如果想避免正則表達(dá)式中不需要的轉(zhuǎn)義（\），則可以使用原始字符串字面量如r'C:\x'（也可以編寫(xiě)其等價(jià)式'C:\x'）。

如果打算對(duì)許多字符串應(yīng)用同一條正則表達(dá)式，強(qiáng)烈建議通過(guò)re.compile創(chuàng)建regex對(duì)象。這樣將可以節(jié)省大量的CPU時(shí)間。

match和search跟findall功能類似。findall返回的是字符串中所有的匹配項(xiàng)，而search則只返回第一個(gè)匹配項(xiàng)。match更加嚴(yán)格，它只匹配字符串的首部。來(lái)看一個(gè)小例子，假設(shè)我們有一段文本以及一條能夠識(shí)別大部分電子郵件地址的正則表達(dá)式：text = """Dave dave@google.com

Steve steve@gmail.com

Rob rob@gmail.com

Ryan ryan@yahoo.com

"""

pattern = r'[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}'

# re.IGNORECASE makes the regex case-insensitive

regex = re.compile(pattern, flags=re.IGNORECASE)

對(duì)text使用findall將得到一組電子郵件地址：In [155]: regex.findall(text)

Out[155]:

['dave@google.com',

'steve@gmail.com',

'rob@gmail.com',

'ryan@yahoo.com']

search返回的是文本中第一個(gè)電子郵件地址（以特殊的匹配項(xiàng)對(duì)象形式返回）。對(duì)于上面那個(gè)regex，匹配項(xiàng)對(duì)象只能告訴我們模式在原字符串中的起始和結(jié)束位置：In [156]: m = regex.search(text)

In [157]: m

Out[157]: <_sre.SRE_Match object; span=(5, 20), match='dave@google.com'>

In [158]: text[m.start():m.end()]

Out[158]: 'dave@google.com'

regex.match則將返回None，因?yàn)樗黄ヅ涑霈F(xiàn)在字符串開(kāi)頭的模式：In [159]: print(regex.match(text))

None

相關(guān)的，sub方法可以將匹配到的模式替換為指定字符串，并返回所得到的新字符串：In [160]: print(regex.sub('REDACTED', text))

Dave REDACTED

Steve REDACTED

Rob REDACTED

Ryan REDACTED

假設(shè)你不僅想要找出電子郵件地址，還想將各個(gè)地址分成3個(gè)部分：用戶名、域名以及域后綴。要實(shí)現(xiàn)此功能，只需將待分段的模式的各部分用圓括號(hào)包起來(lái)即可：In [161]: pattern = r'([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\.([A-Z]{2,4})'

In [162]: regex = re.compile(pattern, flags=re.IGNORECASE)

由這種修改過(guò)的正則表達(dá)式所產(chǎn)生的匹配項(xiàng)對(duì)象，可以通過(guò)其groups方法返回一個(gè)由模式各段組成的元組：In [163]: m = regex.match('wesm@bright.net')

In [164]: m.groups()

Out[164]: ('wesm', 'bright', 'net')

對(duì)于帶有分組功能的模式，findall會(huì)返回一個(gè)元組列表：In [165]: regex.findall(text)

Out[165]:

[('dave', 'google', 'com'),

('steve', 'gmail', 'com'),

('rob', 'gmail', 'com'),

('ryan', 'yahoo', 'com')]

sub還能通過(guò)諸如\1、\2之類的特殊符號(hào)訪問(wèn)各匹配項(xiàng)中的分組。符號(hào)\1對(duì)應(yīng)第一個(gè)匹配的組，\2對(duì)應(yīng)第二個(gè)匹配的組，以此類推：In [166]: print(regex.sub(r'Username: \1, Domain: \2, Suffix: \3', text))

Dave Username: dave, Domain: google, Suffix: com

Steve Username: steve, Domain: gmail, Suffix: com

Rob Username: rob, Domain: gmail, Suffix: com

Ryan Username: ryan, Domain: yahoo, Suffix: com

Python中還有許多的正則表達(dá)式，但大部分都超出了本書(shū)的范圍。表7-4是一個(gè)簡(jiǎn)要概括。

pandas的矢量化字符串函數(shù)

清理待分析的散亂數(shù)據(jù)時(shí)，常常需要做一些字符串規(guī)整化工作。更為復(fù)雜的情況是，含有字符串的列有時(shí)還含有缺失數(shù)據(jù)：In [167]: data = {'Dave': 'dave@google.com', 'Steve': 'steve@gmail.com',

.....: 'Rob': 'rob@gmail.com', 'Wes': np.nan}

In [168]: data = pd.Series(data)

In [169]: data

Out[169]:

Dave dave@google.com

Rob rob@gmail.com

Steve steve@gmail.com

Wes NaN

dtype: object

In [170]: data.isnull()

Out[170]:

Dave False

Rob False

Steve False

Wes True

dtype: bool

通過(guò)data.map，所有字符串和正則表達(dá)式方法都能被應(yīng)用于（傳入lambda表達(dá)式或其他函數(shù)）各個(gè)值，但是如果存在NA（null）就會(huì)報(bào)錯(cuò)。為了解決這個(gè)問(wèn)題，Series有一些能夠跳過(guò)NA值的面向數(shù)組方法，進(jìn)行字符串操作。通過(guò)Series的str屬性即可訪問(wèn)這些方法。例如，我們可以通過(guò)str.contains檢查各個(gè)電子郵件地址是否含有"gmail"：In [171]: data.str.contains('gmail')

Out[171]:

Dave False

Rob True

Steve True

Wes NaN

dtype: object

也可以使用正則表達(dá)式，還可以加上任意re選項(xiàng)（如IGNORECASE）：In [172]: pattern

Out[172]: '([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\\.([A-Z]{2,4})'

In [173]: data.str.findall(pattern, flags=re.IGNORECASE)

Out[173]:

Dave [(dave, google, com)]

Rob [(rob, gmail, com)]

Steve [(steve, gmail, com)]

Wes NaN

dtype: object

有兩個(gè)辦法可以實(shí)現(xiàn)矢量化的元素獲取操作：要么使用str.get，要么在str屬性上使用索引：In [174]: matches = data.str.match(pattern, flags=re.IGNORECASE)

In [175]: matches

Out[175]:

Dave True

Rob True

Steve True

Wes NaN

dtype: object

要訪問(wèn)嵌入列表中的元素，我們可以傳遞索引到這兩個(gè)函數(shù)中：In [176]: matches.str.get(1)

Out[176]:

Dave NaN

Rob NaN

Steve NaN

Wes NaN

dtype: float64

In [177]: matches.str[0]

Out[177]:

Dave NaN

Rob NaN

Steve NaN

Wes NaN

dtype: float64

你可以利用這種方法對(duì)字符串進(jìn)行截取：In [178]: data.str[:5]

Out[178]:

Dave dave@

Rob rob@g

Steve steve

Wes NaN

dtype: object

表7-5介紹了更多的pandas字符串方法。

表7-5 部分矢量化字符串方法

7.4 總結(jié)

高效的數(shù)據(jù)準(zhǔn)備可以讓你將更多的時(shí)間用于數(shù)據(jù)分析，花較少的時(shí)間用于準(zhǔn)備工作，這樣就可以極大地提高生產(chǎn)力。我們?cè)诒菊轮袑W(xué)習(xí)了許多工具，但覆蓋并不全面。下一章，我們會(huì)學(xué)習(xí)pandas的聚合與分組

總結(jié)

以上是生活随笔為你收集整理的python数据分析第七章实训3_《利用Python进行数据分析·第2版》第7章 数据清洗和准备7.1 处理缺失数据7.2 数据转换7.3 字符串操作7.4 总结...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。