數據分析是一個要從一堆數字中看到真相的過程。

這門課程得主要目的是通過真實的數據，以實戰的方式了解數據分析的流程和熟悉數據分析python的基本操作。知道了課程的目的之后，我們接下來我們要正式的開始數據分析的實戰教學，完成kaggle上泰坦尼克的任務，實戰數據分析全流程。

第一部分：我們獲得一個要分析的數據，我要學會如何加載數據，查看數據，然后學習Pandas的一些基礎操作，最后開始嘗試探索性的數據分析。

第一章：數據載入及初步觀察

1.1 載入數據（數據加載）
數據集下載 數據集下載

1.1.1 任務一：導入numpy和pandas

import numpy as np import pandas as pd

【提示】如果加載失敗，學會如何在你的python環境下安裝numpy和pandas這兩個庫
1.1.2 任務二：載入數據
(1) 使用相對路徑載入數據

df = pd.read_csv('train.csv')#相對路徑 df.head(3)#輸出前三行

(2) 使用絕對路徑載入數據

df = pd.read_csv('/Users/74893/數據分析/train.csv')#絕對路徑 df

【提示】相對路徑載入報錯時，嘗試使用os.getcwd()查看當前工作目錄。
【思考】知道數據加載的方法后，試試pd.read_csv()和pd.read_table()的不同，如果想讓他們效果一樣，需要怎么做？

df1=pd.read_table('/Users/74893/數據分析/train.csv') df1

【答】read_table是以制表符 \t 作為數據的標志，也就是以行為單位進行存儲，而read_csv是以分隔符號逗號作為數據的標志。想讓他們效果一樣就令sep=‘，’即可

df1=pd.read_table('/Users/74893/數據分析/train.csv',sep=',') df1

【思考】了解一下’.tsv’和’.csv’的不同，如何加載這兩個數據集？
(1）從名稱上即可知道，TSV是用制表符（Tab,’\t’）作為字段值的分隔符；CSV是用半角逗號（’,’）作為字段值的分隔符；
(2）IANA規定的標準TSV格式，字段值之中是不允許出現制表符的。
【總結】加載的數據是所有工作的第一步，我們的工作會接觸到不同的數據格式（eg:.csv;.tsv;.xlsx）,但是加載的方法和思路都是一樣的，在以后工作和做項目的過程中，遇到之前沒有碰到的問題，要多多查資料嗎，使用googel，了解業務邏輯，明白輸入和輸出是什么。

1.1.3 任務三：每1000行為一個數據模塊，逐塊讀取

chunker = pd.read_csv('train.csv', chunksize=1000)#每1000行為1模塊

【思考】什么是逐塊讀取？為什么要逐塊讀取呢？
【答】read_csv中有個參數chunksize，通過指定一個chunksize分塊大小來讀取文件，返回的是一個可迭代的對象TextFileReader。盡量避免直接對過大的dataframe直接操作，方便讀取其中的一部分數據或對文件進行逐塊處理。
1.1.4 任務四：將表頭改成中文，索引改為乘客ID [對于某些英文資料，我們可以通過翻譯來更直觀的熟悉我們的數據]
PassengerId => 乘客ID、Survived => 是否幸存、Pclass => 乘客等級(1/2/3等艙位)、Name => 乘客姓名、Sex => 性別、Age => 年齡、SibSp => 堂兄弟/妹個數、Parch => 父母與小孩個數、Ticket => 船票信息、Fare => 票價、Cabin => 客艙
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','倉位等級','姓名','性別','年齡','兄弟姐妹個數','父母子女個數','船票信息','票價','客艙','登船港口'],index_col='乘客ID',header=0) df.head()#輸出

【思考】所謂將表頭改為中文其中一個思路是：將英文額度表頭替換成中文。還有其他的方法嗎？
還可以用rename

df.rename(columns=('PassengerId': '乘客ID', 'Survived': '是否幸存', 'Pclass': '乘客等級(1/2/3等艙位)', 'Name': '乘客姓名', 'Sex': '性別','Age':'年齡','SibSp':'堂兄弟/妹個數','Parch':'父母與小孩個數','Ticket':'船票信息','Fare':'票價','Cabin':'客艙','Embarked':'登船港口' }, inplace=True)

1.2 初步觀察
導入數據后，你可能要對數據的整體結構和樣例進行概覽，比如說，數據大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 任務一：查看數據的基本信息

df.info()#查看數據類型

1.2.2 任務二：觀察表格前10行的數據和后15行的數據

df.head(10)#查看前十行數據 df.tail(15)#查看后15行數據

1.2.4 任務三：判斷數據是否為空，為空的地方返回True，其余地方返回False

df.isnull().head()#判斷數據是否為空，為空的地方返回True，其余地方返回False

【總結】上面的操作都是數據分析中對于數據本身的觀察

1.3 保存數據
1.3.1 任務一：將你加載并做出改變的數據，在工作目錄下保存為一個新文件train_chinese.csv

df.to_csv('train_chinese.csv')#將加載并做出改變的數據，在工作目錄下保存為一個新文件train_chinese.csv

【總結】數據的加載以及入門，接下來就要接觸數據本身的運算，我們將主要掌握numpy和pandas在工作和項目場景的運用。

1.4 知道你的數據叫什么（pandas基礎）
我們學習pandas的基礎操作，那么上面通過pandas加載之后的數據，其數據類型是什么呢？

1.4.1 任務一：pandas中有兩個數據類型DateFrame和Series，通過查找簡單了解他們。然后自己寫一個關于這兩個數據類型的小例子🌰[開放題]

sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}#索引＋數據 example_1 = pd.Series(sdata) example_1

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}#索引＋多列數據 example_2 = pd.DataFrame(data) example_2

1.4.2 任務二：根據上面加載的方法載入"train.csv"文件

df = pd.read_csv('/Users/74893/數據分析/train.csv') df

1.4.3 任務三：查看DataFrame數據的每列的項

df.columns#查看DataFrame每一列的項

1.4.4任務四：查看"cabin"這列的所有項 [有多種方法]

df.Cabin

1.4.5 任務五：加載文件"test_1.csv"，然后對比"train.csv"，看看有哪些多出的列，然后將多出的列刪除
經過我們的觀察發現一個測試集test_1.csv有一列是多余的，我們需要將這個多余的列刪去

test_1 = pd.read_csv('test_1.csv') test_1 del test_1['a']#刪除多余的列 test_1

【思考】還有其他的刪除多余的列的方式嗎？
【答】用.drop(‘columns’)函數能夠刪除Series和DataFrame指定行或列

1.4.6 任務六： 將[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]這幾個列元素隱藏，只觀察其他幾個列元素

df.drop(['PassengerId','Name','Age','Ticket'],axis=1)

【思考】對比任務五和任務六，是不是使用了不一樣的方法(函數)，如果使用一樣的函數如何完成上面的不同的要求呢？
【答】如果想要完全的刪除你的數據結構，使用inplace=True，因為使用inplace就將原數據覆蓋了，所以這里沒有用這種方法

1.5 篩選的邏輯
表格數據中，最重要的一個功能就是要具有可篩選的能力，選出我所需要的信息，丟棄無用的信息。

下面我們還是用實戰來學習pandas這個功能。

1.5.1 任務一： 我們以"Age"為篩選條件，顯示年齡在10歲以下的乘客信息。

df[df["Age"]<10]

1.5.2 任務二： 以"Age"為條件，將年齡在10歲以上和50歲以下的乘客信息顯示出來，并將這個數據命名為midage

midage = df[(df["Age"]>10)& (df["Age"]<50)] midage

1.5.3 任務三：將midage的數據中第100行的"Pclass"和"Sex"的數據顯示出來

midage = midage.reset_index(drop=True) midage

【思考】這個reset_index()函數的作用是什么？如果不用這個函數，下面的任務會出現什么情況？
【答】數據清洗時，會將帶空值的行刪除，此時DataFrame或Series類型的數據不再是連續的索引，可以使用reset_index()重置索引。reset_index()重置索引,在獲得新的index，原來的index變成數據列，保留下來。drop = True就是把原來的索引索引列去掉，重置索引。drop = False就是保留原來的索引，添加重置的索引。另外的區別就是有沒有把原來的索引去掉。

midage.loc[[100],['Pclass','Sex']]#將midage的數據中第100行的"Pclass"和"Sex"的數據顯示出來

1.5.4 任務四：使用loc方法將midage的數據中第100，105，108行的"Pclass"，"Name"和"Sex"的數據顯示出來

midage.loc[[100,105,108],['Pclass','Name','Sex']] #因為你主動的延長了行的距離，所以會產生表格形式

【提示】使用pandas提出的簡單方式，可以看看loc方法

1.5.5 任務五：使用iloc方法將midage的數據中第100，105，108行的"Pclass"，"Name"和"Sex"的數據顯示出來

midage.iloc[[100,105,108],[2,3,4]]#

復習：在前面我們已經學習了Pandas基礎，知道利用Pandas讀取csv數據的增刪查改，接下來要學習的就是探索性數據分析，主要介紹如何利用Pandas進行排序、算術計算以及計算描述函數describe()的使用。

#載入之前保存的train_chinese.csv數據，關于泰坦尼克號的任務，我們就使用這個數據 text = pd.read_csv('train_chinese.csv') text.head()

1.6 了解你的數據嗎？
教材《Python for Data Analysis》第五章
1.6.1 任務一：利用Pandas對示例數據進行排序，要求升序

#自己構建一個都為數字的DataFrame數據 frame = pd.DataFrame(np.arange(8).reshape((2, 4)), index=['2', '1'], columns=['d', 'a', 'b', 'c']) frame

# 大多數時候我們都是想根據列的值來排序,所以，將你構建的DataFrame中的數據根據某一列，升序排列 frame.sort_values(by='c', ascending=False)

可以看到sort_values這個函數中by參數指向要排列的列，ascending參數指向排序的方式（升序還是降序）
【總結】下面將不同的排序方式做一個小總結

# 讓行索引升序排序 frame.sort_index()

# 讓列索引升序排序 frame.sort_index(axis=1)

# 讓列索引降序排序 frame.sort_index(axis=1, ascending=False)

# 讓任選兩列數據同時降序排序 frame.sort_values(by=['b', 'c'])

1.6.2 任務二：對泰坦尼克號數據（trian.csv）按票價和年齡兩列進行綜合排序（降序排列），從數據中你能發現什么？

text.sort_values(by=['票價', '年齡'], ascending=False)#對泰坦尼克號數據（trian.csv）按票價和年齡兩列進行綜合排序（降序排列）

【思考】排序后，如果我們僅僅關注年齡和票價兩列。根據常識我知道發現票價越高的應該客艙越好，所以我們會明顯看出，票價前20的乘客中存活的有14人，這是相當高的一個比例，那么我們后面是不是可以進一步分析一下票價和存活之間的關系，年齡和存活之間的關系呢？當你開始發現數據之間的關系了，數據分析就開始了。

1.6.3 任務三：利用Pandas進行算術計算，計算兩個DataFrame數據相加結果

#建立一個例子 frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),columns=['a', 'b', 'c'],index=['one', 'two', 'three']) frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),columns=['a', 'e', 'c'],index=['first', 'one', 'two', 'second']) frame1_a frame1_b

#將frame_a和frame_b進行相加 frame1_a + frame1_b

兩個DataFrame相加后，會返回一個新的DataFrame，對應的行和列的值會相加，沒有對應的會變成空值NaN。
DataFrame還有很多算術運算，如減法，除法等，有興趣可以看《利用Python進行數據分析》第五章 算術運算與數據對齊 部分，多在網絡上查找相關學習資料。

1.6.4 任務四：通過泰坦尼克號數據如何計算出在船上最大的家族有多少人？

max(text['兄弟姐妹個數'] + text['父母子女個數'])

如上，很簡單，我們只需找出兄弟姐妹個數和父母子女個數之和最大的數就行，先讓這兩列相加返回一個DataFrame，然后用max函數求出最大值。

1.6.5 任務五：學會使用Pandas describe()函數查看數據基本統計信息

#建立一個例子 frame2 = pd.DataFrame([[1.4, np.nan], [7.1, -4.5],[np.nan, np.nan], [0.75, -1.3]], index=['a', 'b', 'c', 'd'], columns=['one', 'two']) frame2

frame2.describe()#調用 describe 函數，觀察frame2的數據基本信息 ''' count : 樣本數據大小 mean : 樣本數據的平均值 std : 樣本數據的標準差 min : 樣本數據的最小值 25% : 樣本數據25%的時候的值 50% : 樣本數據50%的時候的值 75% : 樣本數據75%的時候的值 max : 樣本數據的最大值 '''

1.6.6 任務六：分別看看泰坦尼克號數據集中 票價、父母子女 這列數據的基本統計數據，你能發現什么？

text['票價'].describe()

【思考】從上面數據我們可以看出， 一共有891個票價數據， 平均值約為：32.20， 標準差約為49.69，說明票價波動特別大， 25%的人的票價是低于7.91的，50%的人的票價低于14.45，75%的人的票價低于31.00， 票價最大值約為512.33，最小值為0。

text['父母子女個數'].describe()

【總結】在第一部分我們通過Pandas的一些內置函數對數據進行了初步統計查看，在這個過程中初步接觸了如何對數據進行簡單的分析，復習了pandas的一些基本操作，動手完成了對數據進行篩選，排序，運算，查看和統計等等的一些基本操作，希望接下來的學習中能夠有更多的收獲哈

總結

以上是生活随笔為你收集整理的动手学习数据分析——第一部分的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。