目錄

數據及其處理

文本數據

詞干提取（stemming）和詞形還原（lemmatization）

N-gram模型

音頻數據

確定數據集規模

---

數據及其處理

樣本：sample，或輸入，input

預測：prediction，或輸出，output

目標：target，真實值

類別：class

標簽：label

真值：ground-truth，或標注，annotation

訓練集：training set

測試集：test set

數據蒸餾：data distillation

分類編碼：categorical encoding

數據增強：data augumentation

標準化：Standardization

將數據變換為均值為0，標準差為1的分布切記，并非一定是正態的

歸一化：Normalization

將一列數據變化到某個固定區間(范圍)中，通常，這個區間是[0, 1]，廣義的講，可以是各種區間，比如映射到[0，1]一樣可以繼續映射到其他范圍，圖像中可能會映射到[0,255]，其他情況可能映射到[-1,1]；

批標準化：batch normalization

批再標準化：batch renormalization

數據預處理是一種數據挖掘技術，包括數據清洗、數據集成、數據歸約、數據變換等多種方法。 ?

在數據挖掘之前使用數據預處理技術先對數據進行一定的處理，將極大提高數據挖掘的質量，降低實際數據挖掘所需的時間。

數據變換方法包括數據平滑、數據聚集、數據泛化、數據規范化等。

數據分析方法包括聚類分析、因子分析、相關分析、方差分析、回歸分析等。

缺失數據處理方法包括刪除含有缺失值的記錄、均值插補、同類均值插補等。

數據治理是指對于數據采集、數據清洗、數據標注到數據交付整個項目生命周期每個階段進行識別、度量、監控、預警等一系列管理措施。

數據分割是指把邏輯上是統一整體的數據分割成較小的、可以獨立管理的物理單元進行存儲，以便于重構、重組和恢復，以提高創建索引和順序掃描的效率。

數據清洗是指發現并糾正數據文件中可識別錯誤的最后一道程序，包括檢查數據一致性，處理無效值和缺失值等。

為了避免在數據傳輸過程中數據被竊取、被復制等，應對數據傳輸過程進行壓縮、加密等操作。 ?

數據一致性檢查是根據每個變量的合理取值范圍和相互關系，檢查數據是否合乎要求，以及發現超出正常范圍、邏輯不合理或者相互矛盾的數據，便于進一步核對和糾正。

文本數據

n-gram：多個連續單詞或字符的集合，n-gram之間可重疊

token：標記，將文本分解而成的單元（單詞、字符或n-gram）

分詞：tokenization，將文本分解成標記的過程

停詞：stop words，文本中出現頻率相對較高，但是對于文本實際意義沒有太大關聯的單詞

one-hot編碼：one-hot encoding

one-hot散列技巧：one-hot hashing trick

標記嵌入：token embedding，通常只用于單詞，叫做詞嵌入，word embedding

片段的詞嵌入：Segmental Embedding

二元語法袋：bag-of-2-grams

三元語法袋：bag-of-3-grams

袋：bag，指我們處理的是標記組成的集合，而不是一個列表或序列，即標記沒有特定的順序

詞袋：bag-of-words，一個不保存順序的分詞方法

預訓練詞嵌入：pretrained word embedding

平行語料：Parallel Corpus，成對的源語言句子和目標語言句子的集合

<PAD>：填充單詞

<UNK>：不存在的單詞

<SOS>：Start Of Sentence

<EOS>：End Of Sentence

word2vec：一種詞嵌入算法

GloVe：global vectors for word representation，詞表示全局向量

TF-IDF（term frequency–inverse document frequency）是一種用于信息檢索與數據挖掘的常用加權技術。TF是詞頻(Term Frequency)，IDF是逆文本頻率指數(Inverse Document Frequency)

Skig-Gram：跳字模型

連續詞袋模型：Continuous Bag Of Words，CBOW

分桶：Bucketing

詞干提取（stemming）和詞形還原（lemmatization）

詞形還原（lemmatization），是把一個任何形式的語言詞匯還原為一般形式（能表達完整語義），而詞干提取（stemming）是抽取詞的詞干或詞根形式（不一定能夠表達完整語義）。詞形還原和詞干提取是詞形規范化的兩類重要方式，都能夠達到有效歸并詞形的目的，二者既有聯系也有區別。 ?

目標一致。詞干提取和詞形還原的目標均為將詞的屈折形態或派生形態簡化或歸并為詞干（stem）或原形的基礎形式，都是一種對詞的不同形態的統一歸并的過程。 結果部分交叉。詞干提取和詞形還原不是互斥關系，其結果是有部分交叉的。一部分詞利用這兩類方法都能達到相同的詞形轉換效果。如“dogs”的詞干為“dog”，其原形也為“dog”。 主流實現方法類似。目前實現詞干提取和詞形還原的主流實現方法均是利用語言中存在的規則或利用詞典映射提取詞干或獲得詞的原形。 應用領域相似。主要應用于信息檢索和文本、自然語言處理等方面，二者均是這些應用的基本步驟。

區別。在原理上，詞干提取主要是采用“縮減”的方法，將詞轉換為詞干，如將“cats”處理為“cat”，將“effective”處理為“effect”。而詞形還原主要采用“轉變”的方法，將詞轉變為其原形，如將“drove”處理為“drive”，將“driving”處理為“drive”。 在復雜性上，詞干提取方法相對簡單，詞形還原則需要返回詞的原形，需要對詞形進行分析，不僅要進行詞綴的轉化，還要進行詞性識別，區分相同詞形但原形不同的詞的差別。詞性標注的準確率也直接影響詞形還原的準確率，因此，詞形還原更為復雜。 在實現方法上，雖然詞干提取和詞形還原實現的主流方法類似，但二者在具體實現上各有側重。詞干提取的實現方法主要利用規則變化進行詞綴的去除和縮減，從而達到詞的簡化效果。詞形還原則相對較復雜，有復雜的形態變化，單純依據規則無法很好地完成。其更依賴于詞典，進行詞形變化和原形的映射，生成詞典中的有效詞。 在結果上，詞干提取和詞形還原也有部分區別。詞干提取的結果可能并不是完整的、具有意義的詞，而只是詞的一部分，如“revival”詞干提取的結果為“reviv”，“ailiner”詞干提取的結果為“airlin”。而經詞形還原處理后獲得的結果是具有一定意義的、完整的詞，一般為詞典中的有效詞。 在應用領域上，同樣各有側重。雖然二者均被應用于信息檢索和文本處理中，但側重不同。詞干提取更多被應用于信息檢索領域，如Solr、Lucene等，用于擴展檢索，粒度較粗。詞形還原更主要被應用于文本挖掘、自然語言處理，用于更細粒度、更為準確的文本分析和表達

N-gram模型

N-gram是自然語言處理中常見一種基于統計的語言模型。它的基本思想是將文本里面的內容按照字節進行大小為N的滑動窗口操作，形成了長度是N的字節片段序列。每一個字節片段稱為gram，在所給語句中對所有的gram出現的頻數進行統計。再根據整體語料庫中每個gram出現的頻數進行比對可以得到所給語句中每個gram出現的概率。N-gram在判斷句子合理性、句子相似度比較、分詞等方面有突出的表現。

比如：
假設你在和一個外國人交流，他說了一句“I have a gun”,但是由于他的發音不標準，到你耳朵里可能是“I have a gun”、“I have a gull”或“I have a gub”。那么哪句話是正確的呢？。假設你根據經驗覺得有80%的概率是“I have a gun”，那么你已經得到一個N-gram的輸出。即：
P(****I have a gun) = 80%
?N-gram本身也指一個由N個單詞組成的集合，各單詞具有先后順序，且不要求單詞之間互不相同。最簡單的是一元語法unigram（N=1），常用的有 Bi-gram (N=2) 和 Tri-gram (N=3)，一般已經夠用了。例如在“I love deep learning”這句話里，可以分解的** Bi-gram** 和?Tri-gram?：
**Bi-gram :?{I, love}, {love, deep}, {love, deep}, {deep, learning}
Tri-gram :?**{I, love, deep}, {love, deep, learning}

音頻數據

脈沖編碼調制：Pulse-code Modulation，PCM

梅爾尺度：Mel-scale

梅爾過濾器：Mel Filter

奈奎斯特采樣定理：Nyquist Sampling Theorem

梅爾倒頻譜系數：Mel-Frequency Cepstral Coefficients，MFCC

確定數據集規模

取決于：

• 所需解決問題的難易程度
• 所采用的模型的復雜程度（模型參數數量）
• 想要達到什么樣的性能

① 最快的方法

查找相關領域的論文資料，別人一般用多少的數據量

② 經驗范圍

回歸分析：要訓練出一個性能良好的模型，所需訓練樣本數量應是模型參數數量的10倍。

缺點：

• 稀疏特征：例如稀疏特征的編碼是01001001對于模型的訓練能夠起到作用的特征是少數的，而不起作用的特征占大多數。依照上述線性規則，若模型對于每個特征分配相應的參數，也就是說對于無用的特征也分配了相應的參數，再根據10倍規則法，獲取是模型參數數量10倍的訓練樣本集，此時的訓練樣本數量對于最佳的訓練模型來說可能是超量的，所以，此時用10倍規則法得到的訓練樣本集未必能夠真實地得出好的訓練模型。
• 由于正則化和特征選擇技術，訓練模型中真實輸入的特征的數量少于原始特征數量。

計算機視覺：對于使用深度學習的圖像分類，經驗法則是每一個分類需要 1000 幅圖像，如果使用預訓練的模型則可以用更少數據去訓練。

③ 在分類任務中確定訓練數據量的方法

學習曲線是誤差與訓練數據量的關系圖。我們可以建立一個學習曲線的函數，然后采用非線性回歸或者加權非線性回歸對學習曲線進行擬合，然后找到期望準確率下的樣本數量。

④ 樣本容量估計（給定統計檢驗的檢驗效能，確定樣本數量）

N是所需樣本數量，??α是一定置信度所對應的的標準正態分布的常數， ?σ是樣本的標準差，??e是可接受的誤差范圍。

⑤ 訓練數據規模的統計學習理論

VC 維是模型復雜度的度量，模型越復雜，VC 維越大。

N為所需樣本數量，d為失效概率，ε為學習誤差

⑥ 一般準則

傳統的機器學習算法：性能是按照冪律增長的，一段時間后趨于平穩。

深度學習：性能隨著數據的增加呈現對數增長

總結

以上是生活随笔為你收集整理的机器学习中的数据及其处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。