1.13 总结-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
| 1.12 改善你的模型的表現(xiàn) | 回到目錄 | 2.1 誤差分析 |
總結(jié)
習(xí)題
第一周 - 和平之城中的鳥類識別（案例研究）
這個(gè)例子來源于實(shí)際項(xiàng)目，但是為了保護(hù)機(jī)密性，我們會(huì)對細(xì)節(jié)進(jìn)行保護(hù)。
現(xiàn)在你是和平之城的著名研究員，和平之城的人有一個(gè)共同的特點(diǎn)：他們害怕鳥類。為了保護(hù)他們，你必須設(shè)計(jì)一個(gè)算法，以檢測飛越和平之城的任何鳥類，同時(shí)警告人們有鳥類飛過。市議會(huì)為你提供了10,000,000張圖片的數(shù)據(jù)集，這些都是從城市的安全攝像頭拍攝到的。它們被命名為:
- y = 0: 圖片中沒有鳥類
- y = 1: 圖片中有鳥類
你的目標(biāo)是設(shè)計(jì)一個(gè)算法，能夠?qū)推街前踩珨z像頭拍攝的新圖像進(jìn)行分類。
有很多決定要做：
- 評估指標(biāo)是什么？
- 你如何將你的數(shù)據(jù)分割為訓(xùn)練/開發(fā)/測試集?
成功的指標(biāo) 市議會(huì)告訴你，他們想要一個(gè)算法：
第 71 題
有三個(gè)評估指標(biāo)使您很難在兩種不同的算法之間進(jìn)行快速選擇，并且會(huì)降低您的團(tuán)隊(duì)迭代的速度
A.對 B.不對
第 72 題
經(jīng)過進(jìn)一步討論，市議會(huì)縮小了它的標(biāo)準(zhǔn)：
“我們需要一種算法，可以讓我們盡可能精確的知道一只鳥正飛過和平之城。” “我們希望經(jīng)過訓(xùn)練的模型對新圖像進(jìn)行分類不會(huì)超過10秒。” “我們的模型要適應(yīng)10MB的內(nèi)存的設(shè)備。”
如果你有以下三個(gè)模型，你會(huì)選擇哪一個(gè)？
A.測試準(zhǔn)確度：97%；運(yùn)行時(shí)間：1 sec；內(nèi)存大小：3MB
B.測試準(zhǔn)確度：99%；運(yùn)行時(shí)間：13 sec；內(nèi)存大小：9MB
C.測試準(zhǔn)確度：97%；運(yùn)行時(shí)間：3 sec；內(nèi)存大小：2MB
D.測試準(zhǔn)確度：98%；運(yùn)行時(shí)間：9 sec；內(nèi)存大小：9MB
第 73 題
根據(jù)城市的要求，您認(rèn)為以下哪一項(xiàng)是正確的？
A.準(zhǔn)確度是一個(gè)優(yōu)化指標(biāo); 運(yùn)行時(shí)間和內(nèi)存大小是滿意指標(biāo)。
B.準(zhǔn)確度是一個(gè)滿意指標(biāo); 運(yùn)行時(shí)間和內(nèi)存大小是一個(gè)優(yōu)化指標(biāo)。
C.準(zhǔn)確性、運(yùn)行時(shí)間和內(nèi)存大小都是優(yōu)化指標(biāo)，因?yàn)槟Ｍ谒羞@三方面都做得很好。
D.準(zhǔn)確性、運(yùn)行時(shí)間和內(nèi)存大小都是滿意指標(biāo)，因?yàn)槟仨氃谌?xiàng)方面做得足夠好才能使系統(tǒng)可以被接受。
第 74 題
在實(shí)現(xiàn)你的算法之前，你需要將你的數(shù)據(jù)分割成訓(xùn)練/開發(fā)/測試集，你認(rèn)為哪一個(gè)是最好的選擇？
A.訓(xùn)練集:3,333,334；開發(fā)集：3,333,333；測試集：3,333,333
B.訓(xùn)練集:9,500,000；開發(fā)集：250,000；測試集：250,000
C.訓(xùn)練集:6,000,000；開發(fā)集：3,000,000；測試集：1,000,000
D.訓(xùn)練集:6,000,000；開發(fā)集：1,000,000；測試集：3,000,000
第 75 題
在設(shè)置了訓(xùn)練/開發(fā)/測試集之后，市議會(huì)再次給你了1,000,000張圖片，稱為“公民數(shù)據(jù)”。 顯然，和平之城的公民非常害怕鳥類，他們自愿為天空拍照并貼上標(biāo)簽，從而為這些額外的1,000,000張圖像貢獻(xiàn)力量。 這些圖像與市議會(huì)最初給您的圖像分布不同，但您認(rèn)為它可以幫助您的算法。
你不應(yīng)該將公民數(shù)據(jù)添加到訓(xùn)練集中，因?yàn)檫@會(huì)導(dǎo)致訓(xùn)練/開發(fā)/測試集分布變得不同，從而損害開發(fā)集和測試集性能
A.對 B.不對
第 76 題
市議會(huì)的一名成員對機(jī)器學(xué)習(xí)知之甚少，他認(rèn)為應(yīng)該將1,000,000個(gè)公民的數(shù)據(jù)圖像添加到測試集中，你反對的原因是：
A.這會(huì)導(dǎo)致開發(fā)集和測試集分布變得不同。這是一個(gè)很糟糕的主意，因?yàn)檫@會(huì)達(dá)不到你想要的效果
B.公民的數(shù)據(jù)圖像與其他數(shù)據(jù)沒有一致的x->y映射(類似于紐約/底特律的住房價(jià)格例子)
C.一個(gè)更大的測試集將減慢迭代速度，因?yàn)闇y試集上評估模型會(huì)有計(jì)算開銷
D.測試集不再反映您最關(guān)心的數(shù)據(jù)(安全攝像頭)的分布
第 77 題
你訓(xùn)練了一個(gè)系統(tǒng)，其誤差度如下（誤差度 = 100％ - 準(zhǔn)確度）： 訓(xùn)練集誤差：4.0% 開發(fā)集誤差：4.5%
這表明，提高性能的一個(gè)很好的途徑是訓(xùn)練一個(gè)更大的網(wǎng)絡(luò)，以降低4%的訓(xùn)練誤差。你同意嗎？
A.是的，因?yàn)橛?%的訓(xùn)練誤差表明你有很高的偏差。
B.是的，因?yàn)檫@表明你的模型的偏差高于方差。
C.不同意，因?yàn)榉讲罡哂谄睢?/p>
D.不同意，因?yàn)闆]有足夠的信息，這什么也說明不了。
第 78 題
你讓一些人對數(shù)據(jù)集進(jìn)行標(biāo)記，以便找出人們對它的識別度。你發(fā)現(xiàn)了準(zhǔn)確度如下： 鳥類專家1 錯(cuò)誤率：0.3% 鳥類專家2 錯(cuò)誤率：0.5% 普通人1 (不是專家) 錯(cuò)誤率：1.0% 普通人2 (不是專家) 錯(cuò)誤率：1.2%
如果您的目標(biāo)是將“人類表現(xiàn)”作為貝葉斯錯(cuò)誤的基準(zhǔn)線（或估計(jì)），那么您如何定義“人類表現(xiàn)”？
A.0.0% (因?yàn)椴豢赡茏龅帽冗@更好)
B.0.3% (專家1的錯(cuò)誤率)
C.0.4% (0.3 到 0.5 之間)
D.0.75% (以上所有四個(gè)數(shù)字的平均值)
第 79 題
您同意以下哪項(xiàng)陳述？
A.學(xué)習(xí)算法的性能可以優(yōu)于人類表現(xiàn)，但它永遠(yuǎn)不會(huì)優(yōu)于貝葉斯錯(cuò)誤的基準(zhǔn)線。
B.學(xué)習(xí)算法的性能不可能優(yōu)于人類表現(xiàn)，但它可以優(yōu)于貝葉斯錯(cuò)誤的基準(zhǔn)線。
C.學(xué)習(xí)算法的性能不可能優(yōu)于人類表現(xiàn)，也不可能優(yōu)于貝葉斯錯(cuò)誤的基準(zhǔn)線。
D.學(xué)習(xí)算法的性能可以優(yōu)于人類表現(xiàn)，也可以優(yōu)于貝葉斯錯(cuò)誤的基準(zhǔn)線。
第 80 題
你發(fā)現(xiàn)一組鳥類學(xué)家辯論和討論圖像，可以得到一個(gè)更好的0.1%的性能，所以你將其定義為“人類表現(xiàn)”。在對算法進(jìn)行深入研究之后，最終得出以下結(jié)論： 人類表現(xiàn) 0.1% 訓(xùn)練集誤差 2.0% 開發(fā)集誤差 2.1%
根據(jù)你的資料，以下四個(gè)選項(xiàng)中哪兩個(gè)嘗試起來是最有希望的？（兩個(gè)選項(xiàng)）
A.嘗試增加正則化。
B.獲得更大的訓(xùn)練集以減少差異。
C.嘗試減少正則化。
D.訓(xùn)練一個(gè)更大的模型，試圖在訓(xùn)練集上做得更好。
第 81 題
你在測試集上評估你的模型，并找到以下內(nèi)容： 人類表現(xiàn) 0.1% 訓(xùn)練集誤差 2.0% 開發(fā)集誤差 2.1% 測試集誤差 7.0%
這意味著什么？（兩個(gè)最佳選項(xiàng)）
A.你沒有擬合開發(fā)集
B.你應(yīng)該嘗試獲得更大的開發(fā)集
C.你應(yīng)該得到一個(gè)更大的測試集
D.你對開發(fā)集過擬合了
第 82 題
在一年后，你完成了這個(gè)項(xiàng)目，你終于實(shí)現(xiàn)了： 人類表現(xiàn) 0.10% 訓(xùn)練集誤差 0.05% 開發(fā)集誤差 0.05%
你能得出什么結(jié)論？ （檢查所有選項(xiàng)。）
A.現(xiàn)在很難衡量可避免偏差，因此今后的進(jìn)展將會(huì)放緩。
B.統(tǒng)計(jì)異常(統(tǒng)計(jì)噪聲的結(jié)果)，因?yàn)樗豢赡艹^人類表現(xiàn)。
C.有0.09％的進(jìn)步空間，你應(yīng)該很快就能夠?qū)⑹Ｓ嗟牟罹嗫s小到0％
D.如果測試集足夠大，使得這0.05%的誤差估計(jì)是準(zhǔn)確的，這意味著貝葉斯誤差是小于等于0.05的。
第 83 題
事實(shí)證明，和平之城也雇傭了你的競爭對手來設(shè)計(jì)一個(gè)系統(tǒng)。您的系統(tǒng)和競爭對手都被提供了相同的運(yùn)行時(shí)間和內(nèi)存大小的系統(tǒng)，您的系統(tǒng)有更高的準(zhǔn)確性。然而，當(dāng)你和你的競爭對手的系統(tǒng)進(jìn)行測試時(shí)，和平之城實(shí)際上更喜歡競爭對手的系統(tǒng)，因?yàn)榧词鼓愕恼w準(zhǔn)確率更高，你也會(huì)有更多的假陰性結(jié)果(當(dāng)鳥在空中時(shí)沒有發(fā)出警報(bào))。你該怎么辦？
A.查看開發(fā)過程中開發(fā)的所有模型，找出錯(cuò)誤率最低的模型。
B.要求你的團(tuán)隊(duì)在開發(fā)過程中同時(shí)考慮準(zhǔn)確性和假陰性率。
C.重新思考此任務(wù)的指標(biāo)，并要求您的團(tuán)隊(duì)調(diào)整到新指標(biāo)。
D.選擇假陰性率作為新指標(biāo)，并使用這個(gè)新指標(biāo)來進(jìn)一步發(fā)展。
第 84 題
你輕易擊敗了你的競爭對手，你的系統(tǒng)現(xiàn)在被部署在和平之城中，并且保護(hù)公民免受鳥類攻擊！ 但在過去幾個(gè)月中，一種新的鳥類已經(jīng)慢慢遷移到該地區(qū)，因此你的系統(tǒng)的性能會(huì)逐漸下降，因?yàn)槟南到y(tǒng)正在測試一種新類型的數(shù)據(jù)。
你只有1000張新鳥類的圖像，在未來的3個(gè)月里，城市希望你能更新為更好的系統(tǒng)。你應(yīng)該先做哪一個(gè)？
A.使用所擁有的數(shù)據(jù)來定義新的評估指標(biāo)（使用新的開發(fā)/測試集），同時(shí)考慮到新物種，并以此來推動(dòng)團(tuán)隊(duì)的進(jìn)一步發(fā)展。
B.把1000張圖片放進(jìn)訓(xùn)練集，以便讓系統(tǒng)更好地對這些鳥類進(jìn)行訓(xùn)練。
C.嘗試數(shù)據(jù)增強(qiáng)/數(shù)據(jù)合成，以獲得更多的新鳥的圖像。
D.將1,000幅圖像添加到您的數(shù)據(jù)集中，并重新組合成一個(gè)新的訓(xùn)練/開發(fā)/測試集
第 85 題
市議會(huì)認(rèn)為在城市里養(yǎng)更多的貓會(huì)有助于嚇跑鳥類，他們對你在鳥類探測器上的工作感到非常滿意，他們也雇傭你來設(shè)計(jì)一個(gè)貓?zhí)綔y器。由于有多年的貓?zhí)綔y器的工作經(jīng)驗(yàn)，你有一個(gè)巨大的數(shù)據(jù)集，你有100,000,000貓的圖像，訓(xùn)練這個(gè)數(shù)據(jù)需要大約兩個(gè)星期。你同意哪些說法？（選出所有正確項(xiàng)）
A.需要兩周的時(shí)間來訓(xùn)練將會(huì)限制你迭代的速度。
B.購買速度更快的計(jì)算機(jī)可以加速團(tuán)隊(duì)的迭代速度，從而提高團(tuán)隊(duì)的生產(chǎn)力。
C.如果10,000,000個(gè)樣本就足以建立一個(gè)足夠好的貓?zhí)綔y器，你最好用10,000,00個(gè)樣本訓(xùn)練，從而使您可以快速運(yùn)行實(shí)驗(yàn)的速度提高約10倍，即使每個(gè)模型表現(xiàn)差一點(diǎn)因?yàn)樗挠?xùn)練數(shù)據(jù)較少。
D.建立了一個(gè)效果比較好的鳥類檢測器后，您應(yīng)該能夠采用相同的模型和超參數(shù)，并將其應(yīng)用于貓數(shù)據(jù)集，因此無需迭代。
71-85題答案
71.A 72.D 73.A 74.B 75.B 76.AD 77.D 78.B 79.A 80.CD 81.BC 82.AD 83.C 84.A 85.ABC
| 1.12 改善你的模型的表現(xiàn) | 回到目錄 | 2.1 誤差分析 |
總結(jié)
以上是生活随笔為你收集整理的1.13 总结-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 1.12 改善你的模型表现-深度学习第三
- 下一篇： 2.1 进行误差分析-深度学习第三课《结