今日份知識你攝入了么？

在我的數(shù)據(jù)分析生涯中,我?guī)缀跬耆窃赟QL中鍛煉我的技能。雖然SQL可以做一些非常酷的事情，但它有它的局限性 - 這些限制在很大程度上讓我決定了要不要去感受數(shù)據(jù)科學(xué)別的巨大魅力。在我之前的數(shù)據(jù)崗位中，我需要分析來自外部源的數(shù)據(jù)文件和工具，但這些工具限制了它可以處理的數(shù)據(jù)量或花費過多的時間，使任務(wù)變得幾乎不可能徹底完成。

在我所有職位中有一個數(shù)據(jù)pipeline有點像這樣：

當(dāng)我們收到了來自外部來源的數(shù)據(jù)，需要進行質(zhì)量分析而且我們需要理解ETL的要求。當(dāng)我們使用excel來做這件事的時候，任何嘗試使用excel進行大型文件分析的人都知道這是一場噩夢。所以我們編寫excel宏，但由于每個數(shù)據(jù)文件都是如此不同，所以它們并不有用。其他數(shù)據(jù)分析的工具通常不是天上掉下來的，得花錢的，但是幫你付錢的爸爸如果不能切身感受到你的pain，那他們就會拒絕做你的爸爸。

但是世界在我搜索了 Python Pandas Library 變得清涼了。

臥槽，這么刺激免費有用高級的東西！我居然現(xiàn)在才發(fā)現(xiàn)！

Pandas

Pandas與SQL不同，Pandas有內(nèi)置方程。當(dāng)數(shù)據(jù)已經(jīng)是文件格式（.csv，.txt，.tsv等）時，Pandas允許我們在不影響數(shù)據(jù)庫資源的情況下處理數(shù)據(jù)集。

我將解釋并展示一些我真正喜歡的功能的例子：

pandas.read_csv（）

首先，我們需要將數(shù)據(jù)存為data frame。一旦我們將其設(shè)置為變量名稱（下面的“df”），我們就可以使用其他函數(shù)來分析和操作數(shù)據(jù)。在將數(shù)據(jù)加載到data frame時，我使用了'index_col'參數(shù),這個參數(shù)將第一列（index = 0）設(shè)置為數(shù)據(jù)幀的row label。有時我們需要調(diào)整多個參數(shù)來讓我們的data變成正確的format。如果這個dataframe被設(shè)為為一個variable, 那么這個方程不會返回output, 但你可以用下面的方程來觀察數(shù)據(jù)。

# Command to import the pandas library to your notebook

import pandas as pd

# Read data from Titanic dataset.

df = pd.read_csv('...titanic.csv', index_col=0)

# Location of file, can be url or local folder structure

pandas.head（）

head方程非常有用，只需在我們之前的的dataframe的variable名稱后加.head(), 默認設(shè)置是顯示前5行，但咱們也可以通過調(diào)整數(shù)值來改變 例如.head(10)。

df.head（）

前5行的數(shù)據(jù)

我們可以看到數(shù)據(jù)里有一些String，Int，Float，有些列有NaN值。

http://pandas.info（）

info方程將給出數(shù)據(jù)幀列的細分以及每個列的非空條目數(shù), 而且還會告訴我們每列的數(shù)據(jù)類型以及數(shù)據(jù)框中的總條目數(shù)。

http://df.info（）

pandas.describe（）

describe函數(shù)對于查看數(shù)據(jù)的分布非常有用，特別是像int和float這樣的int類型。如下所示，它將返回一個數(shù)據(jù)框其中包含每列的均值，最小值，最大值，標(biāo)準(zhǔn)差等。

df.describe（）

如果我們要查看不僅僅numeric而是所有類型的variable,就必須使用include參數(shù)。但值得注意的是“unique”，“top”和“freq”會被加入進dataframe中。這些僅針對非Numeric數(shù)據(jù)類型和NaN顯示。對于這些新的Row，其他對應(yīng)數(shù)字的細分都是NaN。

df.describe（include= 'all'）

pandas.isna（）

單獨的is.na 方程自己不是非常的有用，它將返回整個數(shù)據(jù)幀為False，如果有NaN或NULL值，返回True。如果你在is.na()中包含.sum()，那么你將獲得類似下面的輸出，顯示每列的NaN或NULL的個數(shù)。

df.isna().sum()

pandas.plot（）

Pandas繪圖功能對于快速可視化數(shù)據(jù)非常有用，這個此函數(shù)使用matplotlib進行可視化.

df.plot（x ='age'，y ='fare'，kind ='scatter'）

這些只是我用于初始數(shù)據(jù)分析的一些有用的Pandas函數(shù)。我們可以在此處找到更多關(guān)于pandas的用法。

什么時候使用SQL? 什么時候使用 Pandas?

使用哪種工具取決于數(shù)據(jù)存儲的位置，想要使用的數(shù)據(jù)和自己的優(yōu)勢。如果你的數(shù)據(jù)屬于文件格式，則無需使用SQL進行任何操作。如果你的數(shù)據(jù)來自數(shù)據(jù)庫，那么咱們應(yīng)該通過以下問題來了解應(yīng)該使用SQL。

如果你只有寫一個 query 的權(quán)限，真正運行是別人來做的話，你大概就不能真正透徹地了解你的這組數(shù)據(jù)。這個時候，你要做的就是把你覺得你可能需要的所有數(shù)據(jù)都 pull 下來，然后導(dǎo)出成一個 csv，然后用 Pandas 去處理。

或者

如果你知道你要 run 的這個 query 會占用這個數(shù)據(jù)庫很大的資源，然后數(shù)據(jù)庫的 admin 大概率會不爽的話，那你就在數(shù)據(jù)庫之外用 Pandas 處理。盡量避免在你的 query 里使用 SELECT*，特別是你無法琢磨你的 table 里會生存多少數(shù)據(jù)的時候。

如果你已經(jīng)知道你將如何處置你的數(shù)據(jù)了，比如你打算加哪些具體的 filter，或者把數(shù)據(jù) join 進某個具體的 table，或者把兩組數(shù)據(jù)通過某種計算或者集合 combine 一下，等等；那這個時候選擇使用 SQL 會簡單一些。你可以通過 SQL 把你的數(shù)據(jù)都 pull 下來然后導(dǎo)成一個 CSV 再來進行接下來的數(shù)據(jù)分析或者建模等等。

這其實是最重要的一個問題，你知道自己最強的地方在哪么？如果你知道自己和誰相處更舒適一些，那就不要猶豫！貼緊它！榨干它！做整條街最靚的仔！

總結(jié)一下：

這兩個工具都非常有用,我建議大家同時學(xué)習(xí)。該組合將使我們能夠更有效地進行廣泛的數(shù)據(jù)分析和操作。很快，你將不再需要處理令人崩潰的Excel了。來加入我們！

總結(jié)

以上是生活随笔為你收集整理的pandas describe函数_SQL和Pandas同时掉到河里，你先救谁？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。