panda python_12个很棒的Pandas和NumPy函数,让分析事半功倍
本文轉(zhuǎn)載自公眾號(hào)“讀芯術(shù)”(ID:AI_Discovery)
大家都知道Pandas和NumPy函數(shù)很棒,它們?cè)谌粘7治鲋衅鹬匾淖饔谩](méi)有這兩個(gè)函數(shù),人們將在這個(gè)龐大的數(shù)據(jù)分析和科學(xué)世界中迷失方向。
今天,小芯將分享12個(gè)很棒的Pandas和NumPy函數(shù),這些函數(shù)將會(huì)讓生活更便捷,讓分析事半功倍。
在本文結(jié)尾,讀者可以找到文中提到的代碼的JupyterNotebook。
從NumPy開(kāi)始:
NumPy是使用Python進(jìn)行科學(xué)計(jì)算的基本軟件包。它包含以下內(nèi)容:
強(qiáng)大的N維數(shù)組對(duì)象
復(fù)雜的(廣播broadcasting)功能
集成C / C++和Fortran代碼工具
有用的線(xiàn)性代數(shù),傅立葉變換和隨機(jī)數(shù)功能
除明顯的科學(xué)用途外,NumPy是高效的通用數(shù)據(jù)多維容器,可以定義任意數(shù)據(jù)類(lèi)型。這使NumPy能夠無(wú)縫且高速地與各種數(shù)據(jù)庫(kù)進(jìn)行集成。
1. allclose()
Allclose() 用于匹配兩個(gè)數(shù)組并且以布爾值形式輸出。如果兩個(gè)數(shù)組的項(xiàng)在公差范圍內(nèi)不相等,則返回False。這是檢查兩個(gè)數(shù)組是否相似的好方法,因?yàn)檫@一點(diǎn)實(shí)際很難手動(dòng)實(shí)現(xiàn)。
array1=np.array([0.12,0.17,0.24,0.29])
array2=np.array([0.13,0.19,0.26,0.31])#?with?a?tolerance?of?0.1,?it?shouldreturn?False:
np.allclose(array1,array2,0.1)
False#?with?a?tolerance?of?0.2,?it?should?return?True:
np.allclose(array1,array2,0.2)
True
2. argpartition()
NumPy的這個(gè)函數(shù)非常優(yōu)秀,可以找到N最大值索引。輸出N最大值索引,然后根據(jù)需要,對(duì)值進(jìn)行排序。
x=np.array([12,?10,?12,?0,?6,?8,?9,?1,?16,?4,?6,0])index_val=np.argpartition(x,?-4)[-4:]
index_val
array([1,?8,?2,?0],?dtype=int64)np.sort(x[index_val])
array([10,?12,?12,?16])
3. clip()
Clip() 用于將值保留在間隔的數(shù)組中。有時(shí),需要將值保持在上限和下限之間。因此,可以使用NumPy的clip()函數(shù)。給定一個(gè)間隔,該間隔以外的值都將被裁剪到間隔邊緣。
x=np.array([3,?17,?14,?23,?2,?2,?6,?8,?1,?2,?16,0])np.clip(x,2,5)
array([3,?5,?5,?5,?2,?2,?5,?5,?2,?2,?5,?2])
4. extract()
顧名思義,extract() 函數(shù)用于根據(jù)特定條件從數(shù)組中提取特定元素。有了該函數(shù),還可以使用and和or等的語(yǔ)句。
#?Random?integers
array=np.random.randint(20,size=12)
array
array([?0,??1,??8,?19,?16,?18,?10,?11,??2,?13,?14,?3])#??Divide?by?2?and?check?ifremainder?is?1
cond=np.mod(array,?2)==1
cond
array([False,??True,?False,??True,?False,?False,?False,??True,?False,?True,?False,??True])#?Use?extract?to?get?the?values
np.extract(cond,?array)
array([?1,?19,?11,?13,??3])#?Applycondition?on?extract?directly
np.extract(((array?<3)?|?(array>15)),?array)
array([?0,??1,?19,?16,?18,??2])
5. percentile()
Percentile()用于計(jì)算沿指定軸的數(shù)組元素的第n個(gè)百分位數(shù)。
a=np.array([1,5,6,8,1,7,3,6,9])print("50thPercentile?of?a,axis=0:?",
np.percentile(a,?50,?axis=0))
50th?Percentile?of?a,?axis=0:6.0b=np.array([[10,?7,?4],?[3,?2,?1]])print("30th?Percentile?of?b,axis=0:",
np.percentile(b,?30,?axis=0))
30th?Percentile?of?b,?axis=0:??[5.13.5?1.9]
6. where()
Where() 用于從滿(mǎn)足特定條件的數(shù)組中返回元素。它返回在特定條件下值的索引位置。這差不多類(lèi)似于在SQL中使用的where語(yǔ)句。請(qǐng)看以下示例中的演示。
y=np.array([1,5,6,8,1,7,3,6,9])#?Where?y?is?greaterthan?5,?returns?index?position
np.where(y>5)
array([2,?3,?5,?7,?8],?dtype=int64),)#?First?will?replace?the?values?that?matchthe?condition,
#?second?will?replace?the?values?that?does?not
np.where(y>5,?"Hit",?"Miss")
array(['Miss',?'Miss',?'Hit',?'Hit',?'Miss',?'Hit',?'Miss',?'Hit','Hit'],dtype='
接著來(lái)講一講神奇的Pandas函數(shù)。
Pandas
Pandas是一個(gè)Python軟件包,提供快速、靈活和富有表現(xiàn)力的數(shù)據(jù)結(jié)構(gòu),旨在使處理結(jié)構(gòu)化(表格,多維,潛在異構(gòu))的數(shù)據(jù)和時(shí)間序列數(shù)據(jù)既簡(jiǎn)單又直觀。
Pandas非常適合許多不同類(lèi)型的數(shù)據(jù):
具有異構(gòu)類(lèi)型列的表格數(shù)據(jù),例如在SQL表或Excel電子表格中
有序和無(wú)序(不一定是固定頻率)的時(shí)間序列數(shù)據(jù)。
具有行和列標(biāo)簽的任意矩陣數(shù)據(jù)(同類(lèi)型或異類(lèi))
觀察/統(tǒng)計(jì)數(shù)據(jù)集的任何其他形式。實(shí)際上,數(shù)據(jù)根本不需要標(biāo)記,即可放入Pandas數(shù)據(jù)結(jié)構(gòu)。
以下是Pandas的優(yōu)勢(shì):
輕松處理浮點(diǎn)數(shù)據(jù)和非浮點(diǎn)數(shù)據(jù)中的缺失數(shù)據(jù)(表示為NaN)
大小可變性:可以從DataFrame和更高維的對(duì)象中插入和刪除列
自動(dòng)和顯式的數(shù)據(jù)對(duì)齊:在計(jì)算中,可以將對(duì)象顯式對(duì)齊到一組標(biāo)簽,或者用戶(hù)可以直接忽略標(biāo)簽,并讓Series,DataFrame等自動(dòng)對(duì)齊數(shù)據(jù)
強(qiáng)大靈活的分組功能,可對(duì)數(shù)據(jù)集執(zhí)行拆分-應(yīng)用-合并操作,以匯總和轉(zhuǎn)換數(shù)據(jù)
輕松將其他Python和NumPy數(shù)據(jù)結(jié)構(gòu)中的不規(guī)則的、索引不同的數(shù)據(jù)轉(zhuǎn)換為DataFrame對(duì)象
大數(shù)據(jù)集的智能標(biāo)簽的切片,高級(jí)索引和子集化
直觀的合并和聯(lián)接數(shù)據(jù)集
數(shù)據(jù)集的靈活重塑和旋
坐標(biāo)軸的分層標(biāo)簽(每個(gè)刻度可能有多個(gè)標(biāo)簽)
強(qiáng)大的IO工具,用于從平面文件(CSV和定界文件)、 Excel文件,數(shù)據(jù)庫(kù)加載數(shù)據(jù),以及以超高速HDF5格式保存/加載數(shù)據(jù)
特定于時(shí)間序列的功能:日期范圍生成和頻率轉(zhuǎn)換、移動(dòng)窗口統(tǒng)計(jì)、日期移位和滯后。
1. apply()
Apply() 函數(shù)允許用戶(hù)傳遞函數(shù)并將其應(yīng)用于Pandas序列中每個(gè)單一值。
#?max?minus?mix?lambda?fn
fn=lambdax:?x.max()?-?x.min()#?Apply?this?on?dframe?that?we've?just?createdabove
dframe.apply(fn)
2. copy()
Copy()函數(shù)用于創(chuàng)建Pandas對(duì)象的副本。將數(shù)據(jù)幀分配給另一個(gè)數(shù)據(jù)幀時(shí),在另一個(gè)數(shù)據(jù)幀中進(jìn)行更改,其值也會(huì)進(jìn)行同步更改。為了避免出現(xiàn)上述問(wèn)題,可以使用copy()函數(shù)。
#?creating?sample?series
data=pd.Series(['India',?'Pakistan',?'China',?'Mongolia'])#?Assigning?issuethat?we?face
datadata1=?data
#?Change?a?value
data1[0]='USA'
#?Also?changes?value?in?old?dataframe
data#?To?prevent?that,?we?use
#?creating?copy?of?series
new=data.copy()#?assigning?new?values
new[1]='Changed?value'#?printing?data
print(new)
print(data)
3. read_csv(nrows=n)
總結(jié)
以上是生活随笔為你收集整理的panda python_12个很棒的Pandas和NumPy函数,让分析事半功倍的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 产品结构bom设计 mongodb_超全
- 下一篇: python全部语法_python基本语