◆?◆?◆ ?◆?◆

前言

分布分析法，一般是根據(jù)分析目的，將數(shù)據(jù)進(jìn)行分組，研究各組別分布規(guī)律的一種分析方法。數(shù)據(jù)分組方式有兩種：等距或不等距分組。

分布分析在實(shí)際的數(shù)據(jù)分析實(shí)踐中應(yīng)用非常廣泛，常見的有用戶性別分布，用戶年齡分布，用戶消費(fèi)分布等等。

本文將進(jìn)行如下知識(shí)點(diǎn)講解：

1.數(shù)據(jù)類型的修改

2.新字段生成方法

3.數(shù)據(jù)有效性校驗(yàn)

4.性別與年齡分布

分布分析

1.導(dǎo)入相關(guān)庫包

import pandas as pd import matplotlib.pyplot as plt import math

2.數(shù)據(jù)處理

>>> df = pd.read_csv('UserInfo.csv') >>> df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 1000000 entries, 0 to 999999 Data columns (total 4 columns): UserId 1000000 non-null int64 CardId 1000000 non-null int64 LoginTime 1000000 non-null object DeviceType 1000000 non-null object dtypes: int64(2), object(2) memory?usage:?30.5+?MB

由于接下來我們需要做年齡分布分析，但是從源數(shù)據(jù)info()方法可知，并無年齡字段，需要自己生成。

#?提取出生日期需要先把身份證號(hào)碼轉(zhuǎn)換成字符串 >>>?df['CardId']?=?df['CardId'].astype('str')#?提取出生日期，并生成新字段 >>> df['DateofBirth'] = df.CardId.apply(lambda x : x[6:10]+"-"+x[10:12]+"-"+x[12:14])#?提取性別，待觀察性別分布 >>> df['Gender'] = df['CardId'].map(lambda x : 'Male' if int(x[-2]) % 2 else 'Female')>>> df.head()

3.計(jì)算年齡

由于數(shù)據(jù)來源于線下，并未進(jìn)行數(shù)據(jù)有效性驗(yàn)證，在進(jìn)行年齡計(jì)算前，先針對(duì)數(shù)據(jù)進(jìn)行識(shí)別，驗(yàn)證。

#?提取出生日期：月和日 >>> df[['month','day']] = df['DateofBirth'].str.split('-',expand=True).loc[:,1:2]# 提取小月，查看是否有31號(hào) >>> df_small_month = df[df['month'].isin(['02','04','06','09','11'])]#?無效數(shù)據(jù)，如圖所示 >>> df_small_month[df_small_month['day']=='31']# 統(tǒng)統(tǒng)刪除，均為無效數(shù)據(jù) >>> df.drop(df_small_month[df_small_month['day']=='31'].index,inplace=True)#?同理，校驗(yàn)2月 >>> df_2 = df[df['month']=='02']#?2月份的校驗(yàn)大家可以做的仔細(xì)點(diǎn)兒，先判斷是否潤年再進(jìn)行刪減 >>> df_2[df_2['day'].isin(['29','30','31'])]# 統(tǒng)統(tǒng)刪除 >>> df.drop(df_2[df_2['day'].isin(['29','30','31'])].index,inplace=True)

# 計(jì)算年齡 # 方法一 >>> df['Age'] = df['DateofBirth'].apply(lambda x : math.floor((pd.datetime.now() - pd.to_datetime(x)).days/365))# 方法二 >>> df['DateofBirth'].apply(lambda x : pd.datetime.now().year - pd.to_datetime(x).year)

4.年齡分布

# 查看年齡區(qū)間，進(jìn)行分區(qū) >>> df['Age'].max(),df['Age'].min() # (45, 18)>>> bins = [0,18,25,30,35,40,100] >>> labels = ['18歲及以下','19歲到25歲','26歲到30歲','31歲到35歲','36歲到40歲','41歲及以上']>>> df['年齡分層'] = pd.cut(df['Age'],bins, labels = labels)

由于該數(shù)據(jù)記錄的是用戶登錄信息，所以必定有重復(fù)數(shù)據(jù)。而Python如此強(qiáng)大，一個(gè)nunique()方法就可以進(jìn)行去重統(tǒng)計(jì)了。

#?查看是否有重復(fù)值 >>> df.duplicated('UserId').sum()????#47681#?數(shù)據(jù)總條目 >>> df.count() #980954

分組后用count()方法雖然也能夠計(jì)算分布情況，但是僅限于無重復(fù)數(shù)據(jù)的情況。而Python這么無敵，提供了nunique()方法可用于計(jì)算含重復(fù)值的情況

>>> df.groupby('年齡分層')['UserId'].count() 年齡分層 18歲及以下 25262 19歲到25歲 254502 26歲到30歲 181751 31歲到35歲 181417 36歲到40歲 181589 41歲及以上 156433 Name:?UserId,?dtype:?int64#?通過求和，可知重復(fù)數(shù)據(jù)也被計(jì)算進(jìn)去 >>> df.groupby('年齡分層')['UserId'].count().sum() # 980954>>> df.groupby('年齡分層')['UserId'].nunique() 年齡分層 18歲及以下 24014 19歲到25歲 242199 26歲到30歲 172832 31歲到35歲 172608 36歲到40歲 172804 41歲及以上 148816 Name:?UserId,?dtype:?int64>>> df.groupby('年齡分層')['UserId'].nunique().sum() #?933273??=?980954（總）-47681（重復(fù)）#?計(jì)算年齡分布 >>> result = df.groupby('年齡分層')['UserId'].nunique()/df.groupby('年齡分層')['UserId'].nunique().sum() >>> result# 結(jié)果 年齡分層 18歲及以下 0.025731 19歲到25歲 0.259516 26歲到30歲 0.185189 31歲到35歲 0.184949 36歲到40歲 0.185159 41歲及以上 0.159456 Name:?UserId,?dtype:?float64#?格式化一下 >>> result = round(result,4)*100 >>> result.map("{:.2f}%".format)年齡分層 18歲及以下 2.57% 19歲到25歲 25.95% 26歲到30歲 18.52% 31歲到35歲 18.49% 36歲到40歲 18.52% 41歲及以上 15.95% Name:?UserId,?dtype:?object

通過以上結(jié)果及分布圖可以知道，19到25歲年齡段的用戶占比最高，為26%。

好了，就講解到這了~END！

覺得不錯(cuò)的，記得點(diǎn)在看，如果可以轉(zhuǎn)發(fā)一下朋友圈就更好了！

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/662nyZF本站qq群1003271085。加入微信群請(qǐng)掃碼進(jìn)群（如果是博士或者準(zhǔn)備讀博士請(qǐng)說明）：

總結(jié)

以上是生活随笔為你收集整理的【Python基础】Python数据分析实战之分布分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。