python - 用pandas中的NaN替換空白值（空格）

我想在Pandas數據幀中找到包含空格（任意數量）的所有值，并用NaN替換這些值。

有什么想法可以改進嗎？

基本上我想轉此：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz

2000-01-05 -0.222552 4

2000-01-06 -1.176781 qux

進入這個：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

我已經設法用下面的代碼來做，但是男人是丑陋的。 它不是Pythonic，我敢肯定它也不是最有效的熊貓用途。 我循環遍歷每一列并對通過應用對每個值進行正則表達式搜索的函數生成的列掩碼進行布爾替換，并在空格上進行匹配。

for i in df.columns:

df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需迭代可能包含空字符串的字段，就可以對其進行優化：

if df[i].dtype == np.dtype('object')

但這并沒有太大的改善

最后，這段代碼將目標字符串設置為None，它與Pandas的函數一樣工作，如fillna()，但如果我能直接插入NaN而不是None，那么它的完整性會很好。

10個解決方案

121 votes

我認為df.replace(r'^\s+$', np.nan, regex=True)可以勝任：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

print df.replace(r'\s+', np.nan, regex=True)

生產：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

正如Temak指出的那樣，如果您的有效數據包含空格，請使用df.replace(r'^\s+$', np.nan, regex=True)。

patricksurry answered 2019-07-21T20:21:54Z

30 votes

怎么樣：

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap函數將函數應用于數據幀的每個單元格。

BrenBarn answered 2019-07-21T20:22:20Z

29 votes

如果你想用空格替換一個空字符串和記錄，那么正確的答案就是！：

df = df.replace(r'^\s*$', np.nan, regex=True)

接受的答案

df.replace(r'\s+', np.nan, regex=True)

不替換空字符串！，您可以嘗試使用稍微更新的給定示例：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'fo o', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ''],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

注意，'fo o'也沒有被Nan替換，盡管它包含一個空格。進一步說明，這很簡單：

df.replace(r'', np.NaN)

也不起作用 - 嘗試一下。

Philipp Schwarz answered 2019-07-21T20:23:11Z

12 votes

我會這樣做的：

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

要么

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

您可以刪除所有字符串，然后用np.nan替換空字符串。

Xiaorong Liao answered 2019-07-21T20:23:44Z

4 votes

最簡單的解決方案：

df = df.replace(r'^\s+$', np.nan, regex=True)

Gil Baggio answered 2019-07-21T20:24:04Z

2 votes

如果要從CSV文件導出數據，可以這樣簡單：

df = pd.read_csv(file_csv, na_values=' ')

這將創建數據框以及將空值替換為Na

ibrahim rupawala answered 2019-07-21T20:24:35Z

0 votes

對于一個非常快速和簡單的解決方案，您可以檢查單個值的相等性，您可以使用mask方法。

df.mask(df == ' ')

Ted Petrou answered 2019-07-21T20:25:00Z

0 votes

你也可以使用過濾器來做到這一點。

df = PD.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '])

df[df=='']='nan'

df=df.astype(float)

ERIC answered 2019-07-21T20:25:25Z

0 votes

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Jayantha answered 2019-07-21T20:25:43Z

0 votes

這不是一個優雅的解決方案，但似乎有效的是保存到XLSX然后再導回它。 此頁面上的其他解決方案對我不起作用，不確定原因。

data.to_excel(filepath, index=False)

data = pd.read_excel(filepath)

David Kong answered 2019-07-21T20:26:09Z

總結

以上是生活随笔為你收集整理的python字符串替换空格_python - 用pandas中的NaN替换空白值（空格）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。