Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”
Coursera公開課筆記: 斯坦福大學(xué)機(jī)器學(xué)習(xí)第一課“引言(Introduction)”
注：這是我在“我愛公開課”上做的學(xué)習(xí)筆記，會(huì)在52opencourse和這里同步更新。隨著Coursera和Udacity這樣的注重交互式的網(wǎng)絡(luò)課堂的興起，相信傳統(tǒng)教育模式即將遭到顛覆。歡迎大家在52opencourse這個(gè)問答平臺(tái)上進(jìn)行交流，希望能為大家提供一個(gè)開放、免費(fèi)、高質(zhì)量以及世界級(jí)的公開課中文交流平臺(tái)和橋梁。
以下轉(zhuǎn)自原文: Coursera公開課筆記: 斯坦福大學(xué)機(jī)器學(xué)習(xí)第一課“引言(Introduction)”
Coursera上于4月23號(hào)啟動(dòng)了6門公開課，其中包括斯坦福大學(xué)于“機(jī)器學(xué)習(xí)”課程，由機(jī)器學(xué)習(xí)領(lǐng)域的大牛Andrew Ng教授授課：
https://www.coursera.org/course/ml
課程剛剛開始，對(duì)機(jī)器學(xué)習(xí)感興趣的同學(xué)盡量注冊(cè)，這樣即使沒有時(shí)間學(xué)習(xí)，獲取相關(guān)資料特別是視頻比較方便。
由于工作繁忙的緣故，這批科目里我主要想系統(tǒng)的學(xué)習(xí)一下“機(jī)器學(xué)習(xí)”課程，所以計(jì)劃在52opencourse和52nlp上同步我的機(jī)器學(xué)習(xí)課程筆記，一方面做個(gè)記錄和總結(jié)，另一方面方便后來者參考。
Coursera上機(jī)器學(xué)習(xí)的課程學(xué)習(xí)過程是這樣的：看Andrew Ng教授的授課視頻或者看看課程相關(guān)的ppt；答系統(tǒng)隨機(jī)出的題，一般5道題，單選、多選甚至填空，滿分5分；編程作業(yè)，需用Octave(和 Matlab相似的開源編程語言)完成，提交給系統(tǒng)得分，在規(guī)定時(shí)間內(nèi)完成，均取最高分，超過規(guī)定時(shí)間會(huì)對(duì)得分打折。
第一周（4月23日-4月29日）的課程包括三課：
- Introduction(引言)
- Linear Regression with One Variable(單變量線性回歸)
- (Optional) Linear Algebra Review(線性代數(shù)回顧)(對(duì)于線性代數(shù)熟悉的同學(xué)可以選修)
一、機(jī)器學(xué)習(xí)概覽
1）機(jī)器學(xué)習(xí)定義:機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，目標(biāo)是賦予機(jī)器一種新的能力。機(jī)器學(xué)習(xí)的應(yīng)用很廣泛，例如大規(guī)模的數(shù)據(jù)挖掘（網(wǎng)頁點(diǎn)擊數(shù)據(jù)，醫(yī)療記錄等），無人駕駛飛機(jī)、汽車，手寫手別，大多數(shù)的自然語言處理任務(wù)，計(jì)算機(jī)視覺，推薦系統(tǒng)等。 機(jī)器學(xué)習(xí)有很多定義，廣為人知的有如下兩條：
Arthur Samuel (1959): Machine Learning: Field of study that gives computers the ability to learn without being explicitly programmed.
注：Arthur Lee Samuel (1901–1990) 教授是美國人工智能領(lǐng)域的先驅(qū)，他設(shè)計(jì)了一些下棋程序，可以通過不斷的下棋來學(xué)習(xí)，從而達(dá)到很高的下棋水平。
Tom Mitchell (1998) : Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
例子：對(duì)于一個(gè)垃圾郵件識(shí)別的問題，將郵件分類為垃圾郵件或非垃圾郵件是任務(wù)T，查看哪些郵件被標(biāo)記為垃圾郵件哪些被標(biāo)記為非垃圾郵件是經(jīng)驗(yàn)E，正確識(shí)別的垃圾郵件或非垃圾郵件的數(shù)量或比率是評(píng)測(cè)指標(biāo)P。
2）機(jī)器學(xué)習(xí)算法的類型
1、有監(jiān)督學(xué)習(xí)(Supervised learning):通過生成一個(gè)函數(shù)將輸入映射為一個(gè)合適的輸出（通常也稱為標(biāo)記，多數(shù)情況下訓(xùn)練集都是有人工專家標(biāo)注生成的）。例如分類問題，分類器 更加輸入向量和輸出的分類標(biāo)記模擬了一個(gè)函數(shù)，對(duì)于新的輸入向量，得到它的分類結(jié)果。
2、無監(jiān)督學(xué)習(xí)(Unsupervised learning):與有監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒有人為標(biāo)注的結(jié)果。常見的無監(jiān)督學(xué)習(xí)算法有聚類。
3、半監(jiān)督學(xué)習(xí): 介于監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間。
4、強(qiáng)化學(xué)習(xí)(Reinforcement learning): 通過觀察來學(xué)習(xí)如何做出動(dòng)作，每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，而環(huán)境的反饋又可以引導(dǎo)該學(xué)習(xí)算法。
其他的類型包括推薦系統(tǒng)，Transduction，Learning to learn等。
3）有監(jiān)督學(xué)習(xí)詳解
有監(jiān)督學(xué)習(xí)主要會(huì)提供一些標(biāo)注樣本，分為兩大問題：回歸和分類
房屋價(jià)格預(yù)測(cè)-回歸(Regression):?預(yù)測(cè)連續(xù)的輸出值（價(jià)格)
?
?
乳腺癌（良性，惡性）預(yù)測(cè)問題-分類(Classification):?預(yù)測(cè)離散的輸出值(0,?1)
?
4)?無監(jiān)督學(xué)習(xí)詳解:有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的對(duì)比，看圖更形象：?????????????????????????????例子:?Google?News，?基因序列分析，社會(huì)網(wǎng)絡(luò)分析，市場(chǎng)切分等…
?
特別的例子：雞尾酒會(huì)問題（Cocktail?party?problem）
“?雞尾酒會(huì)問題”（cocktail?party?problem）是在計(jì)算機(jī)語音識(shí)別領(lǐng)域的一個(gè)問題，當(dāng)前語音識(shí)別技術(shù)已經(jīng)可以以較高精度識(shí)別一個(gè)人所講的話，但是當(dāng)說話的人數(shù)為兩人或者多人時(shí)，語音識(shí)別率就會(huì)極大的降低，這一難題被稱為雞尾酒會(huì)問題。
雞尾酒會(huì)問題算法（一行代碼）：
[W,s,v]?=?svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);
?
一些參考資料：
解決方法ICA?demo:?http://research.ics.tkk.fi/ica/cocktail/cocktail_en.cgi
http://www.vislab.uq.edu.au/education/sc3/2001/johan/johan.pdf
http://www.physorg.com/news75477497.html
http://en.wikipedia.org/wiki/Cocktail_party_effect
http://www.scientificamerican.com/article.cfm?id=solving-the-cocktail-party-problem
?
以下關(guān)于”cocktail party problem”的文字引用自該鏈接：http://xiaozu.renren.com/xiaozu/121443/thread/335879281
stanford機(jī)器學(xué)習(xí)公開課(ml-class.org)第一章unsupervised?learning那段視頻里解決雞尾酒會(huì)問題(cocktail?party?problem)就寫了一行代碼：
[W,s,v]?=?svd?((repmat(sum(x.*x,1),size(x,1),1).*x)*x’);
lz土人感覺是用了PCA的方法。。可是W運(yùn)行出來絲毫沒有unmixing的效果。。。用的是采樣頻率16kHz的Speech-Speech和Speech-Music兩個(gè)樣例。。
google這條代碼有post說這是ICA，我就迷茫了。。。看不出來怎么是ICA了。。折騰一夜了，毫無頭緒。。。
順便求此問題的demo。。各種語言均無妨。。
本文鏈接地址：http://www.52nlp.cn/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%B8%80%E8%AF%BE%E5%BC%95%E8%A8%80introduct
?
總結(jié)
以上是生活随笔為你收集整理的Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 程序员如何明智地提出好的问题
- 下一篇： Coursera公开课笔记: 斯坦福大学