特征提取 notes
特征獲取
??? 從N個特征集合中選擇M個特征的子集， 并滿足M<=N
??? 1, 特征提取：是一種變換，將處于高位空間的樣本通過映射或變換的方式轉換到低維空間，達到降維目的
??? 2, 特征選擇：從一組特征中去除冗余或不相關的特征來降維
??? 二者通常結合使用， 如先映射到低維空間、再去除冗余和不相關特征
???
特征獲取的兩個問題
??? 1, 確定選擇算法： 在允許時間內， 找出最小的、最能描述類別的特征組合
??? 2, 確定評價標準： 衡量特征組合是否最優，得到特征獲取操作的停止條件
??? 因此， 通常步驟是先產生特征子集，再評價； 如果滿足停止條件則完畢， 否則再次產生特征子集重復。
???
特征提取
??? 窮舉法， 復雜度為指數級， 肯定能得到最優子集； 實用性不強
??????? 完備集
??????????? 遍歷所有特征集
??????????? 廣度優先
??????? 非完備集
??????????? 分支定界
??????????? 最好優先
??? 啟發方法， 近似算法， 復雜度N^2
??????? 向前選擇
??????? 向后選擇
??????? 組合選擇
??????? 基于實例
??? 隨機方法， 復雜度指數級，但能設置迭代次數。 常用有LasVegasFilter, 遺傳算法， 模擬退火
??????? 完全隨機
??????? 概率隨機
特征提取， 算法的另一種分類
??? 最優搜索
??????? 窮舉
??????? 分支定界 branch and bound
??? 次優搜索
??????? 單獨最優特征組合
??????? 順序前進。 選擇最優特征， 選擇剩下特征中的最優特征， 持續至結束
??????? 順序后退。 刪掉最差特征， 刪掉剩下特征中的最差特征， 持續至結束
??????? 增l減r。 先增加l個最優特征， 然后再從特征子集中刪掉r個最差特征； 持續至結束
??????? 其他
??????????? 模擬退火
??????????? Tabu搜索
??????????? 遺傳算法
???????
評價標準
??? 1, 通過分類結果來比較特征選擇結果：選擇使分類器的錯誤概率最小的特征或者特征組合。 計算量打、實用性差
??? 2, 基于評價函數來進行特征選擇
??????? 距離度量：樣本之間距離越小越相似， 越大越可分。 不能處理各類交疊的情況
??????????? 歐式距離
??????????? S階Minkowski測度
??????????? Chebychev距離
??????? 概率距離測度
??????? 信息測度： 利用具有最小不確定性的哪些特征來分類最有利
??????????? Shannon熵
??????????? Renyi熵
??????????? 條件熵
??????? 相關性測度
??????? 一致性測度???????
評價函數根據其實現原理分為2類， filter和wrapper
??????? filter：分析特征子集內部的信息來衡量該特征子集的好壞， 比如特征見的相互依賴程度。 實質上是一種無監督方法
??????? wrapper： 采用特征子集對樣本分類， 根據分類結果好壞來衡量特征子集好壞。 有監督學習方法
???????
類別可分離性盤踞滿足的要求
??? 1 與錯誤概率有單調關系
??? 2 特征獨立時有可加性
??? 3 具有距離的某些特性
??? 4 對特征數目單調不減； 即加入新特征后， 判別值不減
???????
???????
=================================================
評價函數???? 泛化能力???? 時間復雜性???? 分類精度
=================================================
距離測度?????? 好???????????? 低
信息測度?????? 好???????????? 低
相關性測度???? 好???????????? 低
一致性測度???? 好???????????? 中等
=================================================
分類錯誤率???? 差???????????? 高
=================================================
選擇原則
??? 因素：
??????? 數據類型：離散型 連續型 布爾變量
??????? 問題規模：兩類 多類
??????? 樣本數量：海量 小樣本
??? 原則：
??????? 1 處理數據類型的能力。是否支持離散、連續或者布爾？
??????? 2 處理問題規模的能力。某些特征選擇算法不支持多累問題
??????? 3 處理樣本量的能力、特征集大小的能力
??????? 4 對噪聲的容忍能力
??????? 5 無噪聲情況下， 產生穩定、最優特征子集的能力
???????
特征選擇有很多種方法，比如：互信息、卡方檢驗（χ2 test）、基于頻率的特征選擇。
互信息的方法是計算term t和類別c的期望互信息，期望互信息是term的存在與否能
給類別c的正確判斷帶來的信息量。
卡方檢驗是用來檢驗兩個事件的獨立性，在特征選擇中，它檢驗term的出現和類別的出現是否相互獨立。
基于頻率的特征選擇就是選擇在類別中出現頻率比較高的term。頻率可以定義為文檔頻率（
在類別c中包含t的文檔數）和文檔集頻率（c類別中所有文檔中t出現的總次數）。
文檔頻率適合貝努力模型，而文檔集頻率適合于多項式模型。
?
http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html
http://www.cnblogs.com/heaad/archive/2010/12/20/1911614.html
http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html
距離函數
??? http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html
???
應用安裝
??? http://www.cnblogs.com/heaad/archive/2010/11/20/1882864.html
???
???
???
均是基于向量空間模型， 每個文檔doc， 均可表示成一組term構成的向量
文本分類領域常用特征選擇算法
??? 文檔頻率 DF
??? 信息增益 infomation gain
??? 互信息?? mutual infomation
??? 叉方統計 chi-square
??? 交叉熵
??? 優勢率
信息增益
??? IG(t) = -sigmaP(ci)*lg(P(ci)) + P(t)*sigmaP(ci|t)*logP(ci|t) + P(t')*sigmaP(ci|t')*logP(ci|t')， 1<=i<=m
??? IG(T) = H(C) - H(C|T)
??? 其中
??????? -sigmaP(ci)*lg(P(ci)) 是整個分類系統的信息熵；
??????? 信息增益， 針對各個的特征而言， 看該特征t， 整個系統中某些文本由t和整個系統中都沒t的時候信息量各是多少， 兩者的差值就是該特征t給系統帶來的信息量， 即信息增益
??????? 就是說下面兩個命題是等價的。(1) 所有的文本中都沒有出現特征t；(2) 系統雖然包含特征t，但是t的值已經固定了。 使用第2中情況表示整個系統不包含t
??????? P(ci) 是第i類文檔在樣本集中出現的概率
??????? P(t) 是包含特征詞t的文檔數量占全部文檔數量的比重
??????? P(t') 是不包含特征詞t的文檔數量占全部文檔數量的比重
??????? P(ci|t) 是包含了特征詞t的Ci類中的文檔數量占整個系統中包含了特征詞t的文檔數量的比重
??????? P(ci|t') 是Ci類中不包含特征詞t的文檔數量占整個系統中不包含特征詞t的文檔數量的比重
??????? http://hxraid.javaeye.com/blog/767364
??????? http://wenku.baidu.com/view/3e629c2ced630b1c59eeb58e.html
???????
??????? 信息增益越大， 說明該特征越重要
???????
???????
文檔頻率 ：DF TF TF*IDF
??? DF，類內包含該特征詞t的文檔數與類中全部文檔數的比例， DF(t) = P(ci|t)/P(ci)
??????? 比例太低，認為該詞在該類別中的樣本文檔中出現的次數太少， 該特征詞對表示類別信息無貢獻， 忽略
??????? 比例太高，認為該詞也不能很好的反應類別信息， 忽略
??????? 將剩下的DF排序
???????
???????
互信息 I(X, Y) = H(X) +H(Y) - H(X,Y) = logP(X, Y)/P(X)P(Y), 滿足對稱性； XY獨立時， 互信息量為0
??? 基本假設：在某個特定類別中出現頻率高、但在其他類別中出現頻率低的特征詞， 與該類的互信息比較大
???
??? 平均互信息， MI(Ci, T) = sigma p(Ci, t)* log p(Ci, t)/(p(Ci)*p(t))，? i取值為m個類別， t取值為T的所有可能
????????????? 其中，
??????????????????? t為特征T的每種具體取值
??????????????????? p(Ci, t)為類別Ci中，特征T取值為t的概率
????????????? 由此可以計算出分類系統中， 到底哪個(C,T)的互信息量大
????????????? 互信息量理解為當確定某個條件時，原系統減少的信息量
??? http://wenku.baidu.com/view/f4c030d6195f312b3169a5d8.html
??? 互信息是針對不同的主題類分別抽取特征詞！！！
???
交叉熵
??? 也稱KL距離， 反映了類的概率分布和在出現了某特定詞匯的條件下文本類的概率分布之間的距離； 詞匯w的交叉熵越大， 對文本類分布的影響也越大
??? 比信息增益的選擇效果要好
??? 比互信息要差
???
叉方統計量
??? 用于度量特征t與類C之間的獨立性
??? 基本假設：指定類別中出現頻率高的詞語其他類中出現頻率高的詞， 對判定文檔是否屬于該類別都是很有幫助的
??? 叉方統計對于低頻詞來說是不可靠的
??? 特征選擇效果最優， 分類效果受訓練集影響較小， 比較穩定
???
??? χ2 ( t , c) =N ×( AD - CB)^2/（( A + C) ×( B + D) ×( A + B) ×( C + D)）『2是指2次方』?? 越大表示越相關
??? 其中, t 表示一個候選特征項; c 表示一個類別;
??? N為訓練集中所有實例網頁數;
??? A 為t 和c 同時出現的次數; B 為t 出現而c 沒有出現的次數; C 為c 出現而t 沒有出現的次數; D 為t 和c 都沒有出現的次數。
??? 對于多分類問題， 針對每個類計算該特征的叉方， 然后取最大值得到針對所有類別的叉方值； 低于閥值的丟棄
???
優勢率 Odds Ratio
??? 只用于二元分類
遺傳算法
相對熵
??? 比如利用相對熵進行分類或者是利用相對熵來衡量兩個隨機分布的差距，當兩個隨機分布相同時，其相對熵為0.當兩個隨機分布的差別增加時，器相對熵也增加。我們下面的實驗是為了橫量概率分布的差異。
??? 方法：
??? D（p//q）=sum(p(x)*log(p(x)/q(x)))。其中p(x)和q(x)為兩個概率分布
??? 約定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity;
??? D（p//q） 與 D（q//p） 無對稱性
??? 主成分分析法 PCA Principal Component Analysis
??? 通過搜索最能代表原數據的正交向量，創立一個替換的、較小的變量集來組合屬性的精華，原數據可以投影到這個較小的集合。PCA由于其處理方式的不同又分為數據方法和矩陣方法。矩陣方法中，所有的數據通過計算方差一協方差結構在矩陣中表示出來，矩陣的實現目標是確定協方差矩陣的特征向量，它們和原始數據的主要成分相對應。在主成分方法中，由于矩陣方法的復雜度在n很大的情況 以二次方增長，因此人們又開發使用了主要使用Hebbian學習規則的PCA神經網絡方法。
??? http://www.cad.zju.edu.cn/home/chenlu/pca.htm
???
http://blog.sciencenet.cn/home.php?mod=space&uid=67855&do=blog&id=302726???
實驗數據顯示,互信息分類效果最差,其次是文檔頻率、CC 統計,CHI 統計分類效果最好??????? ；；cc指相關系數
效果排序
??? 信息增益 < 交叉熵 < 互信息 < DF
???
???
重點
??? 交叉熵
??? 互信息
??? 信息增益
??? 叉方
??? 主成分分析
總結
以上是生活随笔為你收集整理的特征提取 notes的全部內容，希望文章能夠幫你解決所遇到的問題。
