作者：Sayon Bhattacharjee

我小時(shí)候經(jīng)常搬家。出于這個(gè)原因，我的父母一直在考慮居住在適合的社區(qū)。有幾個(gè)因素影響了這個(gè)決定，但對(duì)于為我上學(xué)而擔(dān)心的父母來說有一個(gè)主導(dǎo)因素：那是就找到一所好學(xué)校。

弗雷澤研究所是一家加拿大研究和教育機(jī)構(gòu)，每年發(fā)布加拿大學(xué)校的評(píng)級(jí)。這些評(píng)級(jí)基于安大略省標(biāo)準(zhǔn)化評(píng)估(EQAO)的平均表現(xiàn)。

https://www.fraserinstitute.org

在這個(gè)數(shù)據(jù)科學(xué)項(xiàng)目中，我們將根據(jù)收入、地點(diǎn)、學(xué)校董事會(huì)，以及學(xué)校是小學(xué)還是中學(xué)來分析多倫多的學(xué)校表現(xiàn)數(shù)據(jù)。在此之后，我們將看看是否可以通過這些函數(shù)預(yù)測2017年給予學(xué)校的評(píng)級(jí)。

獲取學(xué)校評(píng)級(jí)數(shù)據(jù)

為了獲得安大略學(xué)校的評(píng)級(jí)，我們可以下載弗雷澤研究所發(fā)布的PDF，然后將相關(guān)頁面復(fù)制并粘貼到文本文件中，這樣我們就可以使用python逐行掃描。小學(xué)和中學(xué)以單獨(dú)的PDF格式提供，因此我們最終得到兩個(gè)文本文件，其中共有3810所學(xué)校：

http://ontario.compareschoolrankings.org/elementary/SchoolsByRankLocationName.aspx

第一行顯示學(xué)校名稱，學(xué)校所在的城市以及測試的學(xué)生人數(shù)。與我們最相關(guān)的最后一行顯示了10分的學(xué)校評(píng)分。

我們可以將此信息與多倫多數(shù)據(jù)目錄中的學(xué)校位置數(shù)據(jù)庫相關(guān)聯(lián)。數(shù)據(jù)庫為我們提供了以下信息：

學(xué)校名稱

學(xué)校董事會(huì)(天主教、公立或私立)

位置(地址、緯度、經(jīng)度和市政)

政府特定標(biāo)識(shí)符

使用Python，我們可以編寫一個(gè)腳本來解析這個(gè)文本文件，提取評(píng)級(jí)并將這些評(píng)級(jí)作為列添加到多倫多學(xué)校數(shù)據(jù)庫中。這樣做只是將正則表達(dá)式應(yīng)用于正確的行。

我們首先查看文件，找到有方括號(hào)的行(唯一帶方括號(hào)的行是帶有學(xué)校名稱和城市信息的行)。接下來，我們檢查城市是否在多倫多，如果是，就存儲(chǔ)學(xué)校的名稱。在代碼的第二部分，我們檢查單詞"Overall"(僅出現(xiàn)在最后一行)并提取評(píng)分。使用我們從文本文件中記錄的學(xué)校名稱，我們使用"NAME"列將其與多倫多學(xué)校數(shù)據(jù)庫進(jìn)行匹配。由于小學(xué)和中學(xué)存儲(chǔ)在兩個(gè)文本文件中，我們也可以將其添加為一個(gè)函數(shù)。最后，我們添加5列代表每年的評(píng)級(jí)。

獲取收入數(shù)據(jù)

可以從CensusMapper的API輕松下載分類的人口普查數(shù)據(jù)，告訴我們一個(gè)地區(qū)的家庭收入中位數(shù)。但是，人口普查位置數(shù)據(jù)按傳播區(qū)域(DA)排序。要將傳播區(qū)域(DA)轉(zhuǎn)換為地理位置，我們可以下載StatsCan提供的文件，該文件告訴我們加拿大每個(gè)傳播區(qū)域的中心緯度和經(jīng)度。

在將兩個(gè)文件與pandas合并并在多倫多收集傳播區(qū)域(DA)之后，我們現(xiàn)在有一個(gè)3676個(gè)傳播區(qū)域的表格，它們按緯度和經(jīng)度的位置以及它們的家庭收入中位數(shù)。

為了將收入信息與評(píng)級(jí)信息聯(lián)系起來，我們可以找到與每所學(xué)校距離最小的傳播區(qū)域(DA)，并假設(shè)這是該社區(qū)的中位數(shù)收入。

為此，我們可以使用庫GeoPy(pip install geopy)來查找vincenty距離(球體表面上兩點(diǎn)之間的距離)。

將這些收入添加到學(xué)校位置數(shù)據(jù)框后，我們現(xiàn)在擁有完整的數(shù)據(jù)。

數(shù)據(jù)可視化

首先，我們可以使用庫gmplot(pip install gmplot)制作一個(gè)包含每所學(xué)校位置的散點(diǎn)圖。

該圖表顯示，多倫多中部和東北部的學(xué)校評(píng)級(jí)較高(較淺的點(diǎn)數(shù)較高)。通過查閱CensusMapper提供的收入熱圖，我們可以看到它可能存在相關(guān)性。 https://censusmapper.ca/maps/838?index=3#11/43.7193/-79.3797

讓我們來看看多倫多給出的評(píng)級(jí)分布。

數(shù)據(jù)大致呈正態(tài)分布，平均值為6.35，標(biāo)準(zhǔn)差為1.73。 由于我們有小學(xué)和中學(xué)數(shù)據(jù)，讓我們看看兩種類型之間的區(qū)別。

在這里，我們看到小學(xué)通常被評(píng)為高于中學(xué)。

同樣，也可以繪制每個(gè)學(xué)校董事會(huì)的評(píng)級(jí)方框圖。

每個(gè)城市的評(píng)級(jí)似乎都相似，我們可以測試這種差異后來是否具有統(tǒng)計(jì)學(xué)意義。

為了正確地將學(xué)校評(píng)級(jí)設(shè)想為社區(qū)年薪中位數(shù)的函數(shù)，我們應(yīng)該將收入每2萬美元放入間隔中。

制作數(shù)據(jù)的方框圖：

該圖顯示，社區(qū)的收入中位數(shù)與離該社區(qū)最近的學(xué)校的評(píng)級(jí)之間存在某種相關(guān)性

統(tǒng)計(jì)學(xué)意義

即使我們?cè)谝曈X上看到上面的方框圖中的差異，但這還不足以證明這種差異不僅僅是偶然的。我們必須證明這種差異具有統(tǒng)計(jì)意義。為了找到統(tǒng)計(jì)學(xué)顯著性，我們可以進(jìn)行單向ANOVA。通過ANOVA，我們陳述了零假設(shè)，即來自類別的樣本來自具有相同均值的群體。例如，對(duì)于學(xué)校董事會(huì)專欄，我們假設(shè)μ_catholic=μ_public=μ_private。另一種假設(shè)是樣本來自具有不同手段的群體，因此受其所屬群體的影響。

每列的ANOVA給出的p值遠(yuǎn)低于0.05，因此我們可以說這些差異具有統(tǒng)計(jì)學(xué)意義。我們拒絕每個(gè)列的零假設(shè)，即群體的群體具有相同的均值。

特征工程

我們可以使用回歸技術(shù)來查看是否可以使用我們創(chuàng)建的功能預(yù)測學(xué)校的評(píng)級(jí)。但是，在我們將特征放入模型之前，必須填充缺失值，并且所有特征必須是熱編碼的。為了處理缺失值，我們將所有缺失值替換為已收集的評(píng)級(jí)的平均值。我們應(yīng)該確保不包括2017年的評(píng)級(jí)，因?yàn)檫@是我們?cè)噲D預(yù)測的價(jià)值。我們可以在循環(huán)前面的文本文件時(shí)填充缺失的值。

此函數(shù)采用5個(gè)等級(jí)的列表，并將所有'n / a'的等級(jí)轉(zhuǎn)換為np.nan，以便我們可以應(yīng)用np.nanmean()來查找均值。然后我們檢查前4個(gè)評(píng)級(jí)是否缺失，如果它們是，那么我們返回缺少值的列表(我們將稍后刪除這些行，因?yàn)樗鼈兒苌?。最后，我們找到2013-2016年之間的平均評(píng)級(jí)，并返回一個(gè)沒有缺失值的新評(píng)級(jí)列表。

對(duì)每個(gè)分類值進(jìn)行熱編碼，我們可以使用pd.get_dummies()將每個(gè)分類值轉(zhuǎn)換為多個(gè)列。每列的值可能為0或1，具體取決于數(shù)據(jù)點(diǎn)是否屬于該類別的一部分。

具有重命名列的新數(shù)據(jù)框如下所示。

既然已經(jīng)填充了所有缺失值并且分類列是一個(gè)熱編碼的，現(xiàn)在讓我們繪制Pearson相關(guān)矩陣以找到我們應(yīng)該使用的特征。

對(duì)相關(guān)矩陣進(jìn)行排序，并且顏色對(duì)稱地繪制為0，因此我們可以看到0.19的相關(guān)性與-0.19一樣重要。正如所假設(shè)的那樣，每年的學(xué)校評(píng)級(jí)與其他年份的評(píng)級(jí)密切相關(guān)，而收入和私立學(xué)校的評(píng)級(jí)與評(píng)級(jí)有些相關(guān)。

預(yù)測

首先，我們必須建立指標(biāo)來評(píng)估我們的模型是否有效。當(dāng)我們測量回歸性能時(shí)，我們將使用平均絕對(duì)誤差和均方根誤差。為了衡量我們的機(jī)器學(xué)習(xí)模型是否值得付出努力，我們將創(chuàng)建一個(gè)基線。例如，如果我們每次都預(yù)測平均值，并且實(shí)現(xiàn)比任何機(jī)器學(xué)習(xí)模型更低的均方誤差/平均絕對(duì)誤差，那么我們的模型實(shí)際上將是無用的。如果我們每次只預(yù)測平均評(píng)分(6.35)，這里有指標(biāo)。

現(xiàn)在我們可以設(shè)置我們用來預(yù)測2017年給出的評(píng)級(jí)的模型！要查看2017年評(píng)級(jí)是否可以預(yù)測，如果沒有前幾年的信息，我們將使用學(xué)校類型、學(xué)校董事會(huì)、市政和收入功能。下面是隨機(jī)森林、梯度增強(qiáng)、線性回歸和支持向量機(jī)的設(shè)置代碼，其中省略了一個(gè)交叉驗(yàn)證。

我們可以看到線性回歸良好，平均絕對(duì)誤差為1.22，均方根誤差為1.5255。這并不是糟糕的表現(xiàn)，因?yàn)檫@意味著我們的預(yù)測平均在真實(shí)值的1.22點(diǎn)內(nèi)，比我們每次預(yù)測平均值時(shí)的0.16點(diǎn)或12％更好。

為了獲得更多信息，讓我們看看前幾年的信息有哪些錯(cuò)誤。

這次SVM和線性回歸效果最好，平均絕對(duì)誤差為0.72，比我們每次預(yù)測平均值時(shí)的0.76點(diǎn)或48％要好！

結(jié)論

在本文中，我們匯總了多倫多的數(shù)據(jù)目錄，StatsCan和Fraser Institute的數(shù)據(jù)。在將數(shù)據(jù)轉(zhuǎn)換為可用形式之后，它被用于可視化學(xué)校評(píng)級(jí)中的10分與各種特征(如學(xué)校董事會(huì))和中位數(shù)社區(qū)收入之間的相關(guān)性。結(jié)果發(fā)現(xiàn)存在相關(guān)性，并且可以使用此信息預(yù)測學(xué)校的平均評(píng)分為±1.22分。

這些數(shù)據(jù)可以定性眾所周知的事實(shí)：貧困可以預(yù)測許多特征，而教育是非常重要的。

后續(xù)步驟可能涉及：

將其他城市納入數(shù)據(jù)

使用學(xué)校雇用的教師的信息

獲取收入以外的家庭人口統(tǒng)計(jì)數(shù)據(jù)，了解它如何影響學(xué)校的表現(xiàn)

總結(jié)

以上是生活随笔為你收集整理的python人口普查数据数据分析_利用人口普查的收入数据来选一个好学校！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。