當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

【数据挖掘】分类任务简介 ( 分类概念 | 分类和预测 | 分类过程 | 训练集 | 测试集 | 数据预处理 | 有监督学习 )

發(fā)布時(shí)間：2025/6/17 编程问答 36 豆豆

文章目錄

- - - I . 分類(lèi)概念
    - II . 分類(lèi) ( 離散值 ) 和預(yù)測(cè) ( 連續(xù)值 )
    - III . 分類(lèi)過(guò)程
    - IV . 分類(lèi)過(guò)程中使用的數(shù)據(jù)集 ( 訓(xùn)練集 | 測(cè)試集 | 新數(shù)據(jù) )
    - V . 數(shù)據(jù)預(yù)處理
    - VI . 分類(lèi)方法評(píng)價(jià)
    - VII . 分類(lèi)算法舉例
    - VIII . 有監(jiān)督學(xué)習(xí) 和無(wú)監(jiān)督學(xué)習(xí)

I . 分類(lèi)概念

1 . 數(shù)據(jù)挖掘任務(wù)分類(lèi) : 數(shù)據(jù)挖掘任務(wù)分為 模型挖掘和模式挖掘 , 其中 模型挖掘 包含 描述建模和預(yù)測(cè)建模 ;

2 . 分類(lèi)任務(wù)類(lèi)型 : 分類(lèi) 屬于 模型挖掘 任務(wù) , 任務(wù)類(lèi)型是 預(yù)測(cè)建模 類(lèi)型 ;

3 . 預(yù)測(cè)建模 : 根據(jù) 已知的數(shù)據(jù)特征 , 預(yù)測(cè)未知的數(shù)據(jù)特征 ; 如 : 數(shù)據(jù)有 n 個(gè)變量 , 已知 n - 1 個(gè)變量的值 , 預(yù)測(cè)未知的那個(gè)變量的值 ;

4 . 預(yù)測(cè)建模示例 : 根據(jù)顧客的年齡 , 收入 , 是否是學(xué)生 , 信用等級(jí) , 預(yù)測(cè)該顧客是否會(huì)購(gòu)買(mǎi)電腦 ;

II . 分類(lèi) ( 離散值 ) 和預(yù)測(cè) ( 連續(xù)值 )

1 . 分類(lèi) ( 離散值 ) : 先構(gòu)造出模型 , 然后使用該模型對(duì)未知樣本進(jìn)行 類(lèi)別判定 ; 類(lèi)別是固定的幾個(gè)類(lèi) ;

分類(lèi)使用場(chǎng)景 : 預(yù)測(cè) 離散數(shù)據(jù) , 如 : 信用等級(jí)評(píng)估 , 疾病診斷 ;

2 . 預(yù)測(cè) ( 回歸 | 連續(xù)值 ) : 先構(gòu)造出模型 , 然后使用該模型對(duì)未知樣本的 某個(gè)值進(jìn)行估計(jì) ; 這個(gè)值是一個(gè)數(shù)值 ;

預(yù)測(cè)使用場(chǎng)景 : 預(yù)測(cè) 連續(xù)的數(shù)據(jù) , 如電影票房 , 國(guó)家 GDP 等 ;

III . 分類(lèi)過(guò)程

1 . 分類(lèi)過(guò)程 : 分類(lèi)分為 建立模型階段 和 使用模型階段 ;

2 . 建立模型 ( 學(xué)習(xí) ) : 又叫學(xué)習(xí)階段 , 訓(xùn)練階段 ;

① 訓(xùn)練集 : 學(xué)習(xí)訓(xùn)練階段使用的模型叫訓(xùn)練集 ;

② 模型表示形式 : 分類(lèi)規(guī)則 , 決策樹(shù) , 數(shù)學(xué)公式等 ;

3 . 使用模型 : 先測(cè)試模型 , 測(cè)試通過(guò)開(kāi)始使用 ;

① 測(cè)試模型 : 測(cè)試模型的準(zhǔn)確性 , 如果認(rèn)可該準(zhǔn)確性 , 就使用該模型對(duì)未知新數(shù)據(jù)進(jìn)行分類(lèi) ;

② 測(cè)試集 : 使用模型對(duì)測(cè)試集數(shù)據(jù)進(jìn)行分類(lèi) , 將分類(lèi)結(jié)果與真實(shí)結(jié)果進(jìn)行對(duì)比 ;

③ 準(zhǔn)確率 : 使用模式分類(lèi)的結(jié)果 , 與測(cè)試集真實(shí)數(shù)據(jù) , 分類(lèi)正確的比例是準(zhǔn)確率 ;

④ 測(cè)試集要求 : 測(cè)試集與訓(xùn)練集不相關(guān) ;

IV . 分類(lèi)過(guò)程中使用的數(shù)據(jù)集 ( 訓(xùn)練集 | 測(cè)試集 | 新數(shù)據(jù) )

1 . 分類(lèi)過(guò)程中使用的數(shù)據(jù)集 :

① 訓(xùn)練集 : 使用訓(xùn)練集訓(xùn)練模型 ;

② 測(cè)試集 : 使用測(cè)試機(jī)驗(yàn)證模型的準(zhǔn)確性 , 如果準(zhǔn)確就使用該模型 , 如果不準(zhǔn)確繼續(xù)訓(xùn)練 ;

③ 新數(shù)據(jù) : 使用模型預(yù)測(cè) 新數(shù)據(jù)的未知字段的分類(lèi) ;

④ 相同點(diǎn) : 三種數(shù)據(jù)集的格式是一樣的 ;

2 . 有監(jiān)督學(xué)習(xí) : 分類(lèi)屬于有監(jiān)督的學(xué)習(xí) , 有監(jiān)督學(xué)習(xí)必須有訓(xùn)練模型階段和測(cè)試模型階段 , 最后才能使用模型 ;

3 . 已知數(shù)據(jù) : 通常訓(xùn)練集與測(cè)試集集是一體的 , 本質(zhì)是完全相同的 , 將數(shù)據(jù)隨機(jī)分為訓(xùn)練集和測(cè)試集 ;

V . 數(shù)據(jù)預(yù)處理

1 . 數(shù)據(jù)清洗 : 預(yù)處理數(shù)據(jù) ;

① 刪除 : 刪除數(shù)據(jù)的噪音 ;

② 修補(bǔ) : 修補(bǔ)缺失數(shù)據(jù) , 使用常用值 , 平均值 , 統(tǒng)計(jì)學(xué)中的最大概率出現(xiàn)的值替代缺失數(shù)據(jù) ;

2 . 相關(guān)分析 : 分類(lèi) 類(lèi)型的數(shù)據(jù)挖掘任務(wù)中 , 該步驟叫做特征選擇 ;

① 主要工作 : 篩選模型中使用的屬性 ( 特征值 ) , 屏蔽冗余或不相關(guān) 的屬性 ( 特征值 ) ; 如信用等級(jí)與人的星座無(wú)關(guān) , 此類(lèi)特征值就可以在模型中進(jìn)行刪除 ;

② 分類(lèi)工作 : 數(shù)據(jù)有 $n$ 個(gè) 屬性 ( 特征 ) , 已知 $n ? 1$ 個(gè)特征值 , 預(yù)測(cè)未知的那個(gè)特征值 ;

③ 模型復(fù)雜程度 : 選擇使用哪些屬性 ( 特征 ) 值進(jìn)行預(yù)測(cè) , 關(guān)系到模型的復(fù)雜程度 , 模型中使用的特征值個(gè)數(shù)越多 , 越復(fù)雜 ;

④ 特征工程 : 這里引入特征工程概念 , 特征處理的工作就是特征工程的核心 ;

3 . 數(shù)據(jù)轉(zhuǎn)換 :

① 概括數(shù)據(jù) : 將連續(xù)值離散化 , 如 100 分滿(mǎn)分 , 低于 60 不及格 , 高于 60 及格 , 這樣就將 0 ~ 100 的數(shù)值分成及格與不及格兩個(gè)特征 ;

② 數(shù)據(jù)規(guī)范 : 將數(shù)據(jù)規(guī)范化 , 規(guī)范單位 , 如身高有的使用 cm , 有的使用 m , 有的使用英尺 , 將數(shù)據(jù)單位都設(shè)置成統(tǒng)一單位 ;

VI . 分類(lèi)方法評(píng)價(jià)

分類(lèi)方法評(píng)價(jià)標(biāo)準(zhǔn) :

① 準(zhǔn)確性 : 保證性能的前提下 , 越準(zhǔn)確越好 ;

② 速度 : 構(gòu)造模型的速度 ( 訓(xùn)練和測(cè)試時(shí)間 ) , 使用模型的速度 ;

③ 容錯(cuò)性 ( 魯棒性 ) : 能處理數(shù)據(jù)中的噪音 , 和數(shù)據(jù)缺失等情況 ;

④ 伸縮性 : 內(nèi)存中數(shù)據(jù)可以使用 , 磁盤(pán)中的數(shù)據(jù)也可以使用 ;

⑤ 交互性 : 模型解釋性好 , 易于理解 ; 如深度學(xué)習(xí)中的神經(jīng)元網(wǎng)絡(luò)不易理解 , 被人稱(chēng)為煉金術(shù) ;

VII . 分類(lèi)算法舉例

分類(lèi)算法示例 :

① 決策樹(shù)分類(lèi)

② 貝葉斯分類(lèi)

③ 支持向量機(jī)

④ 神經(jīng)元網(wǎng)絡(luò)

⑤ K 近鄰分類(lèi)

VIII . 有監(jiān)督學(xué)習(xí) 和無(wú)監(jiān)督學(xué)習(xí)

1 . 有監(jiān)督學(xué)習(xí) : 明確地分為兩個(gè)階段 ; 訓(xùn)練模型階段 , 使用訓(xùn)練集數(shù)據(jù) ; 使用模型階段 , 預(yù)測(cè)新數(shù)據(jù)某個(gè)特征 ;

有監(jiān)督學(xué)習(xí)舉例 : 分類(lèi)過(guò)程是典型的有監(jiān)督學(xué)習(xí)過(guò)程 ;

2 . 無(wú)監(jiān)督學(xué)習(xí) : 沒(méi)有訓(xùn)練階段和預(yù)測(cè)階段的明顯劃分 ;

無(wú)監(jiān)督學(xué)習(xí)舉例 : 聚類(lèi)分析 ;

3 . 半監(jiān)督學(xué)習(xí) : 介于有監(jiān)督學(xué)習(xí) 和無(wú)監(jiān)督學(xué)習(xí)之間 ;

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專(zhuān)家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：【Kotlin】Kotlin 中使用 B
下一篇：【JetPack】数据绑定 DataBi