Pandas 簡介

運行環境

jupyter notebook
python 3.6
pandas '0.20.3'
matplotlib '2.1.0'

學習目標：
* 大致了解 pandas 庫的 DataFrame 和 Series 數據結構
* 存取和處理 DataFrame 和 Series 中的數據
* 將 CSV 數據導入 pandas 庫的 DataFrame
* 對 DataFrame 重建索引來隨機打亂數據

pandas 是一種列存數據分析 API。它是用于處理和分析輸入數據的強大工具，很多機器學習框架都支持將 pandas 數據結構作為輸入。
雖然全方位介紹 pandas API 會占據很長篇幅，但它的核心概念非常簡單，我們會在下文中進行說明。有關更完整的參考，請訪問 pandas 文檔網站，其中包含豐富的文檔和教程資源。

基本概念

以下行導入了 pandas API 并輸出了相應的 API 版本：

import pandas as pd
pd.__version__

如果要在jupyter notebook中使用畫圖，還需使用：

%matplotlib inline

pandas 中的主要數據結構被實現為以下兩類：

• DataFrame，您可以將它想象成一個關系型數據表格，其中包含多個行和已命名的列。
• Series，它是單一列。DataFrame 中包含一個或多個 Series，每個 Series 均有一個名稱。

數據框架是用于數據操控的一種常用抽象實現形式。Spark 和 R 中也有類似的實現。
創建 Series 的一種方法是構建 Series 對象。例如：

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

0    San Francisco
1         San Jose
2       Sacramento
dtype: object

您可以將映射 string 列名稱的 dict 傳遞到它們各自的 Series，從而創建DataFrame對象。如果 Series 在長度上不一致，系統會用特殊的 NA/NaN 值填充缺失的值。例如：

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])pd.DataFrame({ 'City name': city_names, 'Population': population })

但是在大多數情況下，您需要將整個文件加載到 DataFrame 中。下面的示例加載了一個包含加利福尼亞州住房數據的文件。請運行以下單元格以加載數據，并創建特征定義：

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/ml_universities/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

上面的示例使用 DataFrame.describe 來顯示關于 DataFrame 的有趣統計信息。另一個實用函數是 DataFrame.head，它顯示 DataFrame 的前幾個記錄：

california_housing_dataframe.head()

pandas 的另一個強大功能是繪制圖表。例如，借助 DataFrame.hist，您可以快速了解一個列中值的分布：

california_housing_dataframe.hist('housing_median_age')

訪問數據

您可以使用熟悉的 Python dict/list 指令訪問 DataFrame 數據：

cities = pd.DataFrame({'City name': city_names, 'Population':population})
print(type(cities['City name']))
cities['City name']

<class 'pandas.core.series.Series'>
Out[13]:
0    San Francisco
1         San Jose
2       Sacramento
Name: City name, dtype: object

print type(cities['City name'][1])
cities['City name'][1]

<type 'str'>
Out[7]:
'San Jose'

print type(cities[0:2])
cities[0:2]

此外，pandas 針對高級索引和選擇提供了極其豐富的 API（數量過多，此處無法逐一列出）。

操控數據

您可以向 Series 應用 Python 的基本運算指令。例如：

population / 1000.

0     852.469
1    1015.785
2     485.199
dtype: float64

NumPy 是一種用于進行科學計算的常用工具包。pandas Series 可用作大多數 NumPy 函數的參數：

import numpy as npnp.log(population)

0    13.655892
1    13.831172
2    13.092314
dtype: float64

對于更復雜的單列轉換，您可以使用 Series.apply。像 Python 映射函數一樣，Series.apply 將以參數形式接受 lambda 函數，而該函數會應用于每個值。

下面的示例創建了一個指明 population 是否超過 100 萬的新 Series：

population.apply(lambda val: val > 1000000)

0    False
1     True
2    False
dtype: bool

DataFrames 的修改方式也非常簡單。例如，以下代碼向現有 DataFrame 添加了兩個 Series：

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities

練習 1

通過添加一個新的布爾值列（當且僅當以下兩項均為 True 時為 True）修改 cities 表格：

• 城市以圣人命名。
• 城市面積大于 50 平方英里。

注意：布爾值 Series 是使用“按位”而非傳統布爾值“運算符”組合的。例如，執行邏輯與時，應使用 &，而不是 and。

提示：“San” 在西班牙語中意為 “saint”。

解決方案

cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities

索引

Series 和 DataFrame 對象也定義了 index 屬性，該屬性會向每個 Series 項或 DataFrame 行賦一個標識符值。

默認情況下，在構造時，pandas 會賦可反映源數據順序的索引值。索引值在創建后是穩定的；也就是說，它們不會因為數據重新排序而發生改變。

city_names.index

RangeIndex(start=0, stop=3, step=1)

cities.index

RangeIndex(start=0, stop=3, step=1)

調用 DataFrame.reindex 以手動重新排列各行的順序。例如，以下方式與按城市名稱排序具有相同的效果：

cities.reindex([2, 0, 1])

重建索引是一種隨機排列 DataFrame 的絕佳方式。在下面的示例中，我們會取用類似數組的索引，然后將其傳遞至 NumPy 的 random.permutation 函數，該函數會隨機排列其值的位置。如果使用此重新隨機排列的數組調用 reindex，會導致 DataFrame 行以同樣的方式隨機排列。
嘗試多次運行以下單元格！

cities.reindex(np.random.permutation(cities.index))

有關詳情，請參閱索引文檔。

練習 2

reindex 方法允許使用未包含在原始 DataFrame 索引值中的索引值。請試一下，看看如果使用此類值會發生什么！您認為允許此類值的原因是什么？

cities.reindex([3, 0, 5, 1])

如果您的 reindex 輸入數組包含原始 DataFrame 索引值中沒有的值，reindex 會為此類“丟失的”索引添加新行，并在所有對應列中填充 NaN 值.
這種行為是可取的，因為索引通常是從實際數據中提取的字符串（請參閱 pandas reindex 文檔，查看索引值是瀏覽器名稱的示例）。

在這種情況下，如果允許出現“丟失的”索引，您將可以輕松使用外部列表重建索引，因為您不必擔心會將輸入清理掉。

后述

本文是google官方提供的教程：
源地址：需要翻墻
我的GitHub文件地址:
https://github.com/sty945/My_Machine_Learning_Notes/blob/master/intro_to_pandas.ipynb

總結

以上是生活随笔為你收集整理的Pandas 使用入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。