机器学习考试简答题
目錄
1、什么是機器學(xué)習(xí)？簡述機器學(xué)習(xí)的一般過程。
2、簡述K折交叉驗證與留一法的基本思想及其特點。
3、簡述什么是欠擬合和過擬合、產(chǎn)生的原因以及如何解決。
4、簡述線性回歸與邏輯回歸的區(qū)別。
5、簡述剪枝的目的以及常用的兩種剪枝方式的基本過程。
6、簡述K均值聚類算法的流程。
7、簡述什么是降維以及PCA算法的流程。
8、簡述貝葉斯網(wǎng)的組成，貝葉斯網(wǎng)中結(jié)點的三種連接方式，并分析它們的獨立性。
9、簡述卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的區(qū)別。
10、簡述基于核函數(shù)的非線性支持向量機的基本思想。
1、什么是機器學(xué)習(xí)？簡述機器學(xué)習(xí)的一般過程。
答：機器學(xué)習(xí)是通過算法使得機器從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新樣本做分類或預(yù)測。一般分為訓(xùn)練階段、測試階段和工作階段。訓(xùn)練階段的主要工作是根據(jù)訓(xùn)練數(shù)據(jù)建立模型，測試階段的主要工作是利用驗證集對模型評估與選擇，工作階段的主要工作是利用建立好的模型對新的數(shù)據(jù)進行預(yù)測與分類。
2、簡述K折交叉驗證與留一法的基本思想及其特點。
答：K折交叉驗證：將數(shù)據(jù)劃分為K個大小相等的互斥子集；然后用其中的K-1個子集作為訓(xùn)練集，余下的那個子集作為測試集；這樣就可以進行K次訓(xùn)練和測試，最終返回的是這K個測試結(jié)果的平均值。其穩(wěn)定性和保真性在很大程度上取決與K的取值。
? ? ? ?留一法：每次取一個樣本作為測試集，其余樣本組成的集合作為訓(xùn)練集，訓(xùn)練和測試的次數(shù)等于樣本的個數(shù)。留一法的評估結(jié)果往往被認為是比較準確的，其最大的缺陷是當數(shù)據(jù)集較大時，模型的開銷非常大。
3、簡述什么是欠擬合和過擬合、產(chǎn)生的原因以及如何解決。
答：欠擬合：模型在訓(xùn)練集上的誤差較高。原因：模型過于簡單，沒有很好的捕捉到數(shù)據(jù)特征，不能很好的擬合數(shù)據(jù)。解決方法：模型復(fù)雜化、增加更多的特征，使輸入數(shù)據(jù)具有更強的表達能力等。
? ? ? ?過擬合：在訓(xùn)練集上誤差低，測試集上誤差高。原因：模型把數(shù)據(jù)學(xué)習(xí)的太徹底，以至于把噪聲數(shù)據(jù)的特征也學(xué)習(xí)到了，這樣就會導(dǎo)致在后期測試的時候不能夠很好地識別數(shù)據(jù)，模型泛化能力太差。解決方法：降維、增加訓(xùn)練數(shù)據(jù)、正則約束等。
4、簡述線性回歸與邏輯回歸的區(qū)別。
答：（1）任務(wù)不同：回歸模型是對連續(xù)的量進行預(yù)測；分類模型是對離散值/類別進行；（2）輸出不同:回歸模型的輸出是一個連續(xù)的量，范圍在[-∞,+∞]，分類模型的輸出是數(shù)據(jù)屬于某種類別的概率，范圍在[0,1]之間；（3）參數(shù)估計方法不同：線性回歸中使用的是最小化平方誤差損失函數(shù)，對偏離真實值越遠的數(shù)據(jù)懲罰越嚴重；邏輯回歸使用對數(shù)似然函數(shù)進行參數(shù)估計，使用交叉熵作為損失函數(shù)，對預(yù)測錯誤的懲罰是隨著輸出的增大，逐漸逼近一個常數(shù)。
5、簡述剪枝的目的以及常用的兩種剪枝方式的基本過程。
答：目的：剪枝是決策樹學(xué)習(xí)算法對付“過擬合”的主要手段，通過主動去掉一些分支來降低過擬合的風(fēng)險。基本策略有“預(yù)剪枝”和“后剪枝”。
? ? ? ?“預(yù)剪枝”對每個結(jié)點劃分前先進行估計，若當前結(jié)點的劃分不能帶來決策樹泛化性能的提升，則停止劃分，并標記為葉結(jié)點。
? ? ? ?“后剪枝”先從訓(xùn)練集生成一棵完整的決策樹，然后自底向上對非葉子結(jié)點進行考察，若該結(jié)點對應(yīng)的子樹用葉結(jié)點能帶來決策樹泛化性能的提升，則將該子樹替換為葉結(jié)點。
6、簡述K均值聚類算法的流程。
答：假設(shè)有m條數(shù)據(jù)，n個特性，則K均值聚類算法的流程如下：
（1）隨機選取k個點作為起始中心(k行n列的矩陣，每個特征都有自己的中心)；（2）遍歷數(shù)據(jù)集中的每一條數(shù)據(jù)，計算它與每個中心的距離；（3）將數(shù)據(jù)分配到距離最近的中心所在的簇；（4）使用每個簇中的數(shù)據(jù)的均值作為新的簇中心；（5）如果簇的組成點發(fā)生變化，則跳轉(zhuǎn)執(zhí)行第2步；否則，結(jié)束聚類。
7、簡述什么是降維以及PCA算法的流程。
答：降維是通過某種數(shù)學(xué)變換將原始高維屬性空間轉(zhuǎn)變?yōu)橐粋€低維子空間，保留重要性比較高的特征維度，去除冗余的特征。
? ? ? ?主元成分分析PCA使用最廣泛的數(shù)據(jù)降維算法，其一般流程如下：（1）樣本零均值化；（2）計算數(shù)據(jù)的協(xié)方差矩陣；（3）計算協(xié)方差矩陣的特征值與特征向量；（4）按照特征值，將特征向量從大到小進行排序；（5）選取前 k 個特征向量作為轉(zhuǎn)換矩陣；（6）零均值化后的數(shù)據(jù)與轉(zhuǎn)換矩陣做矩陣乘法獲得降維后的數(shù)據(jù)。
8、簡述貝葉斯網(wǎng)的組成，貝葉斯網(wǎng)中結(jié)點的三種連接方式，并分析它們的獨立性。
答：一個貝葉斯網(wǎng)B由結(jié)構(gòu)G和參數(shù)?組成。G是一個有向無環(huán)圖，其中每個結(jié)點對應(yīng)于一個屬性，若兩個屬性由直接依賴關(guān)系，則它們由一條邊連接起來；參數(shù)?包含了每個屬性的條件概率表，定量描述這種依賴關(guān)系。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?
? ? ? ? ? ? ? ? ? （1）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）
（1）同父結(jié)構(gòu)，c已知的情況下，a,b獨立；
（2）V型結(jié)構(gòu)，c未知情況下，a,b獨立；
（3）順序結(jié)構(gòu)，c已知情況下，a,b獨立。
9、簡述卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的區(qū)別。
答：傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是一種層級結(jié)構(gòu)，由輸入層，隱藏層，輸出層構(gòu)成，每層神經(jīng)元與下層神經(jīng)元完全互連，神經(jīng)元之間不存在同層連接，也不存在跨層連接。
? ? ? ?卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的特殊性在于權(quán)值共享和局部連接兩個方面。局部連接：每個神經(jīng)元只與上一層的部分神經(jīng)元相連，只感知局部，而不是整幅圖像；權(quán)值共享：每一個神經(jīng)元都可以看作一個濾波器，同一個神經(jīng)元使用一個固定的卷積核去卷積整個圖像,可以認為一個神經(jīng)元只關(guān)注一個特征，而不同的神經(jīng)元關(guān)注多個不同的特征。
10、簡述基于核函數(shù)的非線性支持向量機的基本思想。
答：核函數(shù)不顯示定義映射函數(shù)，在原始樣本空間中通過計算核函數(shù)的值來代替特征空間中的內(nèi)積。基于核函數(shù)的非線性支持向量機的基本思想就是通過非線性變換將輸入空間對應(yīng)到一個特征空間上，使得輸入空間中的超曲面模型對應(yīng)于特征空間上的一個超平面模型也就是支持向量機，問題轉(zhuǎn)化為在特征空間中求解支持向量機。
總結(jié)
- 上一篇： 求最小生成树-Kruskal（克鲁斯卡尔
- 下一篇： 单源最短路径-Dijkstra（迪杰斯特