上文特征的提取(上）

特征哈希向量

詞袋模型的方法很好用，也很直接，但在有些場景下很難使用，比如分詞后的詞匯字典表非常大， 達到100萬+，此時如果直接使用詞頻向量或Tf-idf權重向量的方法，將對應的樣本對應特征矩陣載 入內(nèi)存，有可能將內(nèi)存撐爆，在這種情況下我們該怎么辦呢？
詞袋模型的方法很好用，也很直接，但在有些場景下很難使用，比如分詞后的詞匯字典表非常大， 達到100萬+，此時如果直接使用詞頻向量或Tf-idf權重向量的方法，將對應的樣本對應特征矩陣載 入內(nèi)存，有可能將內(nèi)存撐爆，在這種情況下我們該怎么辦呢？
我們可以應用哈希技巧進行降維。

Hash函數(shù)可以將一個任意長度的字符串映射到一個固定長度的散列數(shù)字中去。Hash函數(shù)是一種典 型的多對一映射。

• 正向快速：給定明文和 hash 算法，在有限時間和有限資源內(nèi)能計算出 hash 值。
• 逆向困難：給定（若干） hash 值，在有限時間內(nèi)很難（基本不可能）逆推出明文。
• 輸入敏感：原始輸入信息修改一點信息，產(chǎn)生的 hash 值看起來應該都有很大不同。
• 碰撞避免：很難找到兩段內(nèi)容不同的明文，使得它們的 hash 值一致（發(fā)生碰撞）。即對 于任意兩個不同的數(shù)據(jù)塊，其hash值相同的可能性極小；對于一個給定的數(shù)據(jù)塊，找到和 它hash值相同的數(shù)據(jù)塊極為困難。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的sklearn特征的提取(下）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。