day09數(shù)據(jù)分析

query篩選

abb_pop_area.query('year == 2010 & ages == "total"')

map

apply

transform

刪除重復(fù)數(shù)據(jù)

drop_per

刪除空置數(shù)據(jù)

drop

add_per_

刪除異常數(shù)據(jù)

twict = stu()

df.notnull().all(axis=1) #相反的, 組合使用 notnull all

df.loc[df.notnull().all(axis=1)]

過濾df中的空值(只保留沒有空值的行)

df.dropna(axis=0) #

效果一樣:

df.loc[df.notnull().all(axis=1)]
df.dropna(axis=0)

練習(xí)7：

簡(jiǎn)述None與NaN的區(qū)別

假設(shè)張三李四參加模擬考試，但張三因?yàn)橥蝗幌朊靼兹松艞壛擞⒄Z考試，因此記為None，請(qǐng)據(jù)此創(chuàng)建一個(gè)DataFrame,命名為ddd3

老師決定根據(jù)用數(shù)學(xué)的分?jǐn)?shù)填充張三的英語成績(jī)，如何實(shí)現(xiàn)？ 用李四的英語成績(jī)填充張三的英語成績(jī)？

# import random # 不用引入
ddd = DataFrame(data =np.random.randint(90,130,size=(2,2)),index=['英語','數(shù)學(xué)'],columns=['張三','李四'])
ddd
ddd.loc['數(shù)學(xué)','張三'] = np.nan
ddd
ddd.fillna(method='ffill',axis=0)
ddd.fillna(method='bfill',axis=1)

張三李四

英語	93.0	103.0
數(shù)學(xué)	91.0	91.0

處理丟失數(shù)據(jù)

有兩種丟失數(shù)據(jù)： None np.nan(NaN)

type(None)---->NoneType

type(np.nan)------>float

np.nan+1------->nan

將某些數(shù)組元素賦值為nan

df.iloc[2,4] = None
df.iloc[5,5] = np.nan
df.iloc[2,2] = None
df.iloc[7,3] = None
df.iloc[6,8] = None # 自動(dòng)轉(zhuǎn)化成nan
df

# pandas 處理空值操作

df.isnull().any(axis=1)# axis =1 是行, drop axis=0 是行

df.notnull().all(axis=1) #相反的, 組合使用 notnull all

df.loc[df.notnull().all(axis=1)]

過濾df中的空值(只保留沒有空值的行)

df.dropna(axis=0) #

df.fillna(method='ffill',axis=0)# 列 前 +

2 的拼接操作

1.使用pd.concat()級(jí)聯(lián)

1)匹配級(jí)聯(lián)

pd.concat((df1,df1),axis=1,join='inner')

pd.concat((df1,df1),axis=0,join='inner')

1)非匹配級(jí)聯(lián)

pd.concat((df1,df2),axis=0,join='inner')

2.使用pd.merge()合并

merge與concat的區(qū)別在于，merge需要依據(jù)某一共同的列來進(jìn)行合并使用pd.merge()合并時(shí)，會(huì)自動(dòng)根據(jù)兩者相同column名稱的那一列，作為key來進(jìn)行合并。注意每一列元素的順序不要求一致參數(shù)：how：out取并集 inner取交集on：當(dāng)有多列相同的時(shí)候，可以使用on來指定使用那一列進(jìn)行合并，on的值為一個(gè)列表

1) 一對(duì)一合并

df1 = DataFrame({
'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering'],
})

df2 = DataFrame({
'employee':['Bob','Jake','Lisa'],
'hire_date':[2004,2008,2012],
})

pd.merge(df1,df2)

2) 多對(duì)一合并

pd.merge(df3,df4)

3) 多對(duì)多合并

pd.merge(df5,df6,how='outer')

4) key的規(guī)范化

當(dāng)列沖突時(shí)，即有多個(gè)列名稱相同時(shí)，需要使用on=來指定哪一個(gè)列作為key，配合suffixes指定沖突列名

pd.merge(df1,df2,on='employee')

5) 內(nèi)合并與外合并:

out取并集 inner取交集?

內(nèi)合并：只保留兩者都有的key（默認(rèn)模式）

外合并 how='outer'：補(bǔ)NaN

作業(yè)

案例分析：美國(guó)各州人口數(shù)據(jù)分析?

1.刪除重復(fù)元素

使用duplicated()函數(shù)檢測(cè)重復(fù)的行，返回元素為布爾類型的Series對(duì)象，每個(gè)元素對(duì)應(yīng)一行，如果該行不是第一次出現(xiàn)，則元素為True

• keep參數(shù)：指定保留哪一重復(fù)的行數(shù)據(jù)
  創(chuàng)建具有重復(fù)元素行的DataFrame

創(chuàng)建一個(gè)df

df = DataFrame(data=np.random.randint(0,100,size=(9,5))) df.iloc[1] = [6,6,6,6,6] df.iloc[3] = [6,6,6,6,6] df.iloc[5] = [6,6,6,6,6] df

• 使用drop_duplicates()函數(shù)刪除重復(fù)的行
  • drop_duplicates(keep='first/last'/False)

df.drop_duplicates(keep='first')

df.drop_duplicates(keep='last')

2.映射

1) replace()函數(shù)：替換元素

DataFrame替換操作

• 單值替換
  • 普通替換： 替換所有符合要求的元素:to_replace=15,value='e'
  • 按列指定單值替換： to_replace={列標(biāo)簽：替換值} value='value'
• 多值替換
  • 列表替換: to_replace=[] value=[]
  • 字典替換（推薦） to_replace={to_replace:value,to_replace:value}

替換一行

df.replace(to_replace=6,value='six')

替換單個(gè)值

df.replace(to_replace={4:'four'})

df.replace(to_replace={4:6},value='six') #指定 第四行為6的元素?fù)Q成six

2)map()函數(shù)：

新建一列 ， map函數(shù)并不是df的方法，而是series的方法?-map()函數(shù)：新建一列-，---map函數(shù)并不是df的方法，而是series的方法)

• map()可以映射新一列數(shù)據(jù)
• map()中可以使用lambd表達(dá)式
• map()中可以使用方法，可以是自定義的方法

eg:map({to_replace:value})

• 注意 map()中不能使用sum之類的函數(shù)，for循環(huán)
• 新增一列：給df中，添加一列，該列的值為中文名對(duì)應(yīng)的英文名

映射

dic = {
'jay':'周杰倫',
'tom':'張三'
}
df['c_name'] = df['name'].map(dic)
df

map當(dāng)做一種運(yùn)算工具，至于執(zhí)行何種運(yùn)算，是由map函數(shù)的參數(shù)決定的（參數(shù)：lambda，函數(shù)）

• 使用自定義函數(shù)

def after_sal(s):
return s- (s-5000)*0.5

超過5000部分的錢繳納50%的稅

df['after_sal'] = df['salary'].map(after_sal)

apply()函數(shù)

也可以運(yùn)算

df['salary'].apply(after_sal)#返回的是索引

注意：并不是任何形式的函數(shù)都可以作為map的參數(shù)。只有當(dāng)一個(gè)函數(shù)具有一個(gè)參數(shù)且有返回值，那么該函數(shù)才可以作為map的參數(shù)。

3.使用聚合操作對(duì)數(shù)據(jù)異常值檢測(cè)和過濾

使用df.std()函數(shù)可以求得DataFrame對(duì)象每一列的標(biāo)準(zhǔn)差

• 創(chuàng)建一個(gè)1000行3列的df 范圍（0-1），求其每一列的標(biāo)準(zhǔn)差

df = DataFrame(data=np.random.random(size=(1000,3)),columns=['A','B','C'])
df.head()
df

對(duì)df應(yīng)用篩選條件,去除標(biāo)準(zhǔn)差太大的數(shù)據(jù):假設(shè)過濾條件為 C列數(shù)據(jù)大于兩倍的C列標(biāo)準(zhǔn)差

std_twice = df['C'].std() * 2
std_twice

df['C']>std_twice

異常值對(duì)應(yīng)的行數(shù)據(jù)

df.loc[df['C']>std_twice]
indexs = df.loc[df['C']>std_twice].index
df.drop(labels=indexs, axis=0, inplace=True)
df

• 數(shù)據(jù)清洗
  • 清洗空值
    • dropna fillna isnull notnull any all
  • 清洗重復(fù)值
    • drop_duplicates（keep）
  • 清洗異常值
    • 異常值監(jiān)測(cè)的結(jié)果（布爾值），作為清洗的過濾的條件

4. 排序

使用.take()函數(shù)排序

- take()函數(shù)接受一個(gè)索引列表，用數(shù)字表示,使得df根據(jù)列表中索引的順序進(jìn)行排序 - eg:df.take([1,3,4,2,5])

可以借助np.random.permutation()函數(shù)隨機(jī)排序

df.take([2,1,0],axis=1)# 隱性索引的 為了方便自動(dòng)生成?

df.take([2,1,0],axis=1).take(np.random.permutation(500),axis=0)#隨機(jī)排序

隨機(jī)取20行

df.take([2,1,0],axis=1).take(np.random.permutation(500),axis=0)[0:20]

• np.random.permutation(x)可以生成x個(gè)從0-(x-1)的隨機(jī)數(shù)列

隨機(jī)抽樣

當(dāng)DataFrame規(guī)模足夠大時(shí)，直接使用np.random.permutation(x)函數(shù)，就配合take()函數(shù)實(shí)現(xiàn)隨機(jī)抽樣

5. 數(shù)據(jù)分類處理【重點(diǎn)】

數(shù)據(jù)聚合是數(shù)據(jù)處理的最后一步，通常是要使每一個(gè)數(shù)組生成一個(gè)單一的數(shù)值。

數(shù)據(jù)分類處理：

• 分組：先把數(shù)據(jù)分為幾組
• 用函數(shù)處理：為不同組的數(shù)據(jù)應(yīng)用不同的函數(shù)以轉(zhuǎn)換數(shù)據(jù)
• 合并：把不同組得到的結(jié)果合并起來

數(shù)據(jù)分類處理的核心：

• groupby()函數(shù)
  groups屬性查看分組情況
  • eg: df.groupby(by='item').groups

分組

• 使用groupby實(shí)現(xiàn)分組

df.groupby(by='item')

<pandas.core.groupby.DataFrameGroupBy object at 0x000000000E3D5BA8>

• 使用groups查看分組情況

• 該函數(shù)可以進(jìn)行數(shù)據(jù)的分組, 但是不顯示分組情況

  df.groupby(by='item').groups

{'Apple': Int64Index([0, 5], dtype='int64'),'Banana': Int64Index([1, 3], dtype='int64'),'Orange': Int64Index([2, 4], dtype='int64')}

給df創(chuàng)建一個(gè)新列, 內(nèi)容為各個(gè)水果的平均價(jià)格

df.groupby(by='item').mean()['price'] # 增加記算量,不提倡

mean_price = df.groupby(by='item')['price'].mean()

dic = mean_price.to_dict()
dic

{'Apple': 3.0, 'Banana': 2.75, 'Orange': 3.5}

df['mean_price'] = df['item'].map(dic) # 加到表中
df

計(jì)算出蘋果的平均價(jià)格
按顏色查看各種顏色的水果的平均價(jià)格
匯總:將各種顏色水果的平均價(jià)格和df進(jìn)行匯總

df[df['item']=='Apple']['price'].mean()

df.groupby(by='color')['price'].mean().to_dict()

df['color_price'] = df['color'].map(df.groupby(by='color')['price'].mean().to_dict())
df

6.0 高級(jí)數(shù)據(jù)聚合

使用groupby分組后，也可以使用transform和apply提供自定義函數(shù)實(shí)現(xiàn)更多的運(yùn)算

• df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
• transform和apply都會(huì)進(jìn)行運(yùn)算，在transform或者apply中傳入函數(shù)即可
• transform和apply也可以傳入一個(gè)lambda表達(dá)式

def my_mean(s):
print(s) # Name: Apple, dtype: float64
sum = 0
for i in s:
sum+=i
return sum/s.size

df.groupby(by='item')['price'].transform(my_mean)# 返回的是索引 自定義平均價(jià)格

返回的是一個(gè)個(gè)的[蘋果s],[香蕉s],[西瓜s]

df.groupby(by='item')['price'].apply(my_mean)

轉(zhuǎn)載于:https://www.cnblogs.com/Doner/p/11349156.html

總結(jié)

以上是生活随笔為你收集整理的day09数据分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。