python - 用pandas中的NaN替換空白值（空格）

我想在Pandas數(shù)據(jù)幀中找到包含空格（任意數(shù)量）的所有值，并用NaN替換這些值。

有什么想法可以改進嗎？

基本上我想轉(zhuǎn)此：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz

2000-01-05 -0.222552 4

2000-01-06 -1.176781 qux

進入這個：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

我已經(jīng)設(shè)法用下面的代碼來做，但是男人是丑陋的。 它不是Pythonic，我敢肯定它也不是最有效的熊貓用途。 我循環(huán)遍歷每一列并對通過應(yīng)用對每個值進行正則表達式搜索的函數(shù)生成的列掩碼進行布爾替換，并在空格上進行匹配。

for i in df.columns:

df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需迭代可能包含空字符串的字段，就可以對其進行優(yōu)化：

if df[i].dtype == np.dtype('object')

但這并沒有太大的改善

最后，這段代碼將目標字符串設(shè)置為None，它與Pandas的函數(shù)一樣工作，如fillna()，但如果我能直接插入NaN而不是None，那么它的完整性會很好。

10個解決方案

121 votes

我認為df.replace(r'^\s+$', np.nan, regex=True)可以勝任：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

print df.replace(r'\s+', np.nan, regex=True)

生產(chǎn)：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

正如Temak指出的那樣，如果您的有效數(shù)據(jù)包含空格，請使用df.replace(r'^\s+$', np.nan, regex=True)。

patricksurry answered 2019-07-21T20:21:54Z

30 votes

怎么樣：

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap函數(shù)將函數(shù)應(yīng)用于數(shù)據(jù)幀的每個單元格。

BrenBarn answered 2019-07-21T20:22:20Z

29 votes

如果你想用空格替換一個空字符串和記錄，那么正確的答案就是！：

df = df.replace(r'^\s*$', np.nan, regex=True)

接受的答案

df.replace(r'\s+', np.nan, regex=True)

不替換空字符串！，您可以嘗試使用稍微更新的給定示例：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'fo o', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ''],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

注意，'fo o'也沒有被Nan替換，盡管它包含一個空格。進一步說明，這很簡單：

df.replace(r'', np.NaN)

也不起作用 - 嘗試一下。

Philipp Schwarz answered 2019-07-21T20:23:11Z

12 votes

我會這樣做的：

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

要么

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

您可以刪除所有字符串，然后用np.nan替換空字符串。

Xiaorong Liao answered 2019-07-21T20:23:44Z

4 votes

最簡單的解決方案：

df = df.replace(r'^\s+$', np.nan, regex=True)

Gil Baggio answered 2019-07-21T20:24:04Z

2 votes

如果要從CSV文件導(dǎo)出數(shù)據(jù)，可以這樣簡單：

df = pd.read_csv(file_csv, na_values=' ')

這將創(chuàng)建數(shù)據(jù)框以及將空值替換為Na

ibrahim rupawala answered 2019-07-21T20:24:35Z

0 votes

對于一個非常快速和簡單的解決方案，您可以檢查單個值的相等性，您可以使用mask方法。

df.mask(df == ' ')

Ted Petrou answered 2019-07-21T20:25:00Z

0 votes

你也可以使用過濾器來做到這一點。

df = PD.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '])

df[df=='']='nan'

df=df.astype(float)

ERIC answered 2019-07-21T20:25:25Z

0 votes

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Jayantha answered 2019-07-21T20:25:43Z

0 votes

這不是一個優(yōu)雅的解決方案，但似乎有效的是保存到XLSX然后再導(dǎo)回它。 此頁面上的其他解決方案對我不起作用，不確定原因。

data.to_excel(filepath, index=False)

data = pd.read_excel(filepath)

David Kong answered 2019-07-21T20:26:09Z

總結(jié)

以上是生活随笔為你收集整理的python字符串替换空格_python - 用pandas中的NaN替换空白值（空格）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。