數(shù)據(jù)清洗是一項復雜且繁瑣(kubi)的工作，同時也是整個數(shù)據(jù)分析過程中最為重要的環(huán)節(jié)。有人說一個分析項目80%的時間都是在清洗數(shù)據(jù)，這聽起來有些匪夷所思，但在實際的工作中確實如此。數(shù)據(jù)清洗的目的有兩個，第一是通過清洗讓數(shù)據(jù)可用。第二是讓數(shù)據(jù)變的更適合進行后續(xù)的分析工作。換句話說就是有”臟”數(shù)據(jù)要洗，干凈的數(shù)據(jù)也要洗。

在數(shù)據(jù)分析中，特別是文本分析中，字符處理需要耗費極大的精力，因而了解字符處理對于數(shù)據(jù)分析而言，也是一項很重要的能力。

字符串處理方法

首先我們先了解下都有哪些基礎(chǔ)方法

首先我們了解下字符串的拆分split方法聽聽

聽

str='i like apple,i like bananer'

print(str.split(','))

對字符str用逗號進行拆分的結(jié)果：

['i like apple', 'i like

bananer']聽聽

聽

print(str.split(' '))

根據(jù)空格拆分的結(jié)果：

['i', 'like', 'apple,i', 'like',

'bananer']聽聽

聽

print(str.index(','))

print(str.find(','))

兩個查找結(jié)果都為：

12

找不到的情況下index返回錯誤，find返回-1聽聽

聽

print(str.count('i'))

結(jié)果為：

connt用于統(tǒng)計目標字符串的頻率聽聽

聽

print(str.replace(',', ' ').split(' '))

結(jié)果為：

['i', 'like', 'apple', 'i', 'like', 'bananer']

這里replace把逗號替換為空格后，在用空格對字符串進行分割，剛好能把每個單詞取出來。

除了常規(guī)的方法以外，更強大的字符處理工具費正則表達式莫屬了。

正則表達式

在使用正則表達式前我們還要先了解下，正則表達式中的諸多方法。

下面我來看下個方法的使用，首先了解下match和search方法的區(qū)別聽聽

聽

str = "Cats are smarter than dogs"

pattern=re.compile(r'(.*) are (.*?) .*')

result=re.match(pattern,str)

聽

for i in range(len(result.groups()) 1):

聽print(result.group(i))

結(jié)果為：

Cats are smarter than dogs

Cats

smarter

這種形式的pettern匹配規(guī)則下，match和search方法的的返回結(jié)果是一樣的

此時如果把pattern改為聽聽

聽

pattern=re.compile(r'are (.*?) .*')

match則返回none，search返回結(jié)果為：

are smarter than dogs

smarter

接下來我們了解下其他方法的使用聽聽

聽

str = "138-9592-5592 # number"

pattern=re.compile(r'#.*$')

number=re.sub(pattern,'',str)

print(number)

結(jié)果為：

138-9592-5592

以上是通過把#號后面的內(nèi)容替換為空實現(xiàn)提取號碼的目的。

我們還可以進一步對號碼的橫桿進行替換聽聽

聽

print(re.sub(r'-*','',number))

結(jié)果為：

13895925592

我們還可以用find的方法把找到的字符串打印出來聽聽

聽

str = "138-9592-5592 # number"

pattern=re.compile(r'5')

print(pattern.findall(str))

結(jié)果為：

['5', '5', '5']

正則表達式的整體內(nèi)容比較多，需要我們對匹配的字符串的規(guī)則有足夠的了解，下面是具體的匹配規(guī)則。

矢量化字符串函數(shù)

清理待分析的散亂數(shù)據(jù)時，常常需要做一些字符串規(guī)整化工作。聽聽

聽

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',

聽'chen':

'8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})

print(data)

結(jié)果為：

可以通過規(guī)整合的一些方法對數(shù)據(jù)做初步的判斷，比如用contains

判斷每個數(shù)據(jù)中是否含有關(guān)鍵詞聽聽

聽

print(data.str.contains('@'))

結(jié)果為：

也可以對字符串進行分拆，把需要的字符串提取出來聽聽

聽

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',

聽聽聽聽

'chen':

'8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})

pattern=re.compile(r'(\d*)@([a-z] )\.([a-z]{2,4})')

result=data.str.match(pattern)

#這里用fillall的方法也可以result=data.str.findall(pattern)

print(result)

結(jié)果為：

chen [(8622, xinlang, com)]

li [(120, qq, com)]

sun [(5243, gmail, com)]

wang [(5632, qq, com)]

zhao NaN

dtype: object

此時加入我們需要提取郵箱前面的名稱聽聽

聽

print(result.str.get(0))

結(jié)果為：

或者需要郵箱所屬的域名聽聽

聽

print(result.str.get(1))

結(jié)果為：

當然也可以用切片的方式進行提取，不過提取的數(shù)據(jù)準確性不高聽聽

聽

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',

聽聽聽 'chen':

'8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})

print(data.str[:6])

結(jié)果為：

最后我們了解下矢量化的字符串方法

總結(jié)

以上就是python數(shù)據(jù)清洗之字符串處理的全部內(nèi)容了

總結(jié)

以上是生活随笔為你收集整理的python数据字符_python数据清洗系列之字符串处理详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。