熵權法求權重

• • 創作背景
  • 知識補充
  • • 熵
  • 熵權法求權重過程
  • • 一、特征縮放
    • • 歸一化
      • 標準化
      • 注
    • 二、求熵
    • 三、求權重
  • 實戰
  • • 一、特征縮放
    • 二、求各特征的熵
    • 三、求個特征權重
  • 結尾

創作背景

最近本菜雞在幫別人搞個 熵權法求權重 ，給的數據是差不多 5 份打分表，有字段和對應的打分，要我求一下 每個字段對應的權重 ，對于這點小忙我還是很樂意幫的，本片博客就用來記錄一下過程。
如果覺得我這篇文章寫的好的話，能不能給我 點個贊 ，評論 一波。
如果要點個 關注 的話也不是不可以🤗。

知識補充

讓我們了解一下熵權法，參考 這篇文章 。

熵

既然是要根據 熵 來求權重，我們也得知道 熵 是什么。

熵 是 統計物理與信息論術語 ，泛指某些 物質系統狀態的 一種 量度，某些物質系統狀態可能出現的程度。系統 越混亂 ，熵越大 。

假定 $P(x=x_i)=p_i$，則 熵 公式如下：
$$H(x)=?\sum _{i=1}^n{p}_i{\log }_n{p}_i$$
其中 n 代表分類問題中 類別個數 。

而 多分類 問題可以轉化為 多個二分類 問題。

假設特征 A 取值 $X\in X_1,X_2,\dots ,X_i$ ，每個特征概率取值 $p_i=\frac{X_i}{\sum _{j=1}^{n}Xj}$ ，則二分類的 熵 公式如下：
$$H(x)=?p_i{\log }_2{p}_i?(1?p){\log }_2(1?p_i)$$
其中，$p_i=\in (0,1)$ 。

• $p_i=1or0$ 時，$H(x)=0$ 。
• $p_i=\frac{1}{2}$ 時，$H(x)=1$ 。

圖像如下

熵權法求權重過程

這是本篇文章主要部分。

輸入數據是 已經過數據預處理的訓練數據 。

熵權法求權重 分為以下幾步：

對各特征數據進行 特征縮放 ，目的是：將數據都轉換為化為無量綱數據 。

求各特征對應的 熵 ，目的是：求權 。

求各特征所對應的 權重 。

一、特征縮放

特征縮放一般有兩種方法：歸一化 和 標準化 。

歸一化

公式如下：
$$x^{\prime }=\frac{x?X_{min}}{X_{max}?X_{min}}$$
就是將原數據 $[X_{min},X_{max}]$ 這個區間縮放到 $[0,1]$ 區間內。

缺點：當 數據發生變化（增加、刪除、修改） 時，最大值和最小值 會發生變化，需要 重新計算 。

標準化

公式如下：
$$x^{\prime }=\frac{x?\mu }{\sigma }$$
其中，$\mu$ 和 $\sigma$ 分別代表數據的 均值 和 方差 。

注

這里每種特征縮放方法只列舉了 一個公式 ，而實際上二者都有 多個公式 ，感興趣的朋友可以自行百度。

二、求熵

使用上述 熵 的公式，即：
$$H(x)=?\sum _{i=1}^n{p}_i{\log }_n{p}_i$$

三、求權重

公式如下：
$$W_i=\frac{1?E_i}{k?\sum E_i}$$
其中，k 代表 特征個數 。

這就求出了各特征對應的權重。

實戰

假設數據如下：

Aa1Aa2Aa3Aa4Ab1Ab2Ba1Ba2Bb1Bb2Bc1Bc2

3	4	3	5	5	5	3	1	4	4	4	4
2	3	2	4	3	2	1	2	3	3	4	4
5	4	2	4	5	4	4	3	5	5	4	3
5	4	3	3	2	2	3	2	2	3	2	5
5	3	3	3	5	5	4	2	3	5	5	3

其中，Aa1 到 Bc2 為各個特征，每個特征有 5 條數據，取值在 [0, 5] ，下面我們就要對各個特征求其所對應的權重。

一、特征縮放

這里我選用 歸一化 。代碼如下：

def scale(data):return (data - data.min()) / (data.max() - data.min())data = data.apply(scale) data

結果如下：

Aa1Aa2Aa3Aa4Ab1Ab2Ba1Ba2Bb1Bb2Bc1Bc2

0	0.333333	1.0	1.0	1.0	1.000000	1.000000	0.666667	0.0	0.666667	0.5	0.666667	0.5
1	0.000000	0.0	0.0	0.5	0.333333	0.000000	0.000000	0.5	0.333333	0.0	0.666667	0.5
2	1.000000	1.0	0.0	0.5	1.000000	0.666667	1.000000	1.0	1.000000	1.0	0.666667	0.0
3	1.000000	1.0	1.0	0.0	0.000000	0.000000	0.666667	0.5	0.000000	0.0	0.000000	1.0
4	1.000000	0.0	1.0	0.0	1.000000	1.000000	1.000000	0.5	0.333333	1.0	1.000000	0.0

二、求各特征的熵

代碼如下：

In[]: def get_entropy(data):data = data.map(lambda x: x / data.sum())return -1 / np.log(data.size) * data.map(lambda x: x * np.log(x)).sum()data = data.apply(get_entropy)data.name = 'entropy'data---------------------------------------------------------------------Out[]: Aa1 0.816331Aa2 0.682606Aa3 0.682606Aa4 0.646015Ab1 0.816331Ab2 0.672406Ba1 0.848842Ba2 0.827729Bb1 0.793466Bb2 0.655459Bc1 0.850559Bc2 0.646015Name: entropy, dtype: float64

三、求個特征權重

In[]: def keep_weight(entropy_s):return entropy_s.map(lambda x: (1-x) / (entropy_s.size-entropy_s.sum()))weight_s = keep_weight(data)weight_s.name = 'weight'weight_s---------------------------------------------------------------------Out[]: Aa1 0.059991Aa2 0.103668Aa3 0.103668Aa4 0.115620Ab1 0.059991Ab2 0.107000Ba1 0.049372Ba2 0.056268Bb1 0.067459Bb2 0.112535Bc1 0.048811Bc2 0.115620Name: weight, dtype: float64

看一下權重之和：

In[]: weight_s.sum()---------------------------------------------------------------------Out[]: 1.0

剛剛好。完成任務~~~

---

---

---

結尾

有想要一起學習 python 的小伙伴可以 私信我 進群哦。

以上就是我要分享的內容，因為學識尚淺，會有不足，還請各位大佬指正。
有什么問題也可在評論區留言。

總結

以上是生活随笔為你收集整理的熵权法求权重的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。