概念

在信號檢測理論中，接收者操作特征曲線（receiver operating characteristic curve，或者叫ROC曲線）是一種坐標圖式的分析工具，在同一模型中設置最佳閾值。by Wikipedia

ROC曲線的畫法如下圖所示，每個點表示不同閾值下 TP（橫坐標) FP（縱坐標）的值，

TP，FP的定義如下

		實際值
		ture 真的	false 假的
預測值	ture 真的	TP (true positive)	FP (false positive)
	false 假的	FN (false negative)	TN (true negative)

TP rate = TP/(TP+FN)，分母就是實際上是真的那一類，這個算出來的是預測的真的占真正的真的改率。我們想要預測的準確，這個應該越大越好。

FP rate = FP/(FP+TN)，分母就是實際上假的那一類，這個算出來的是被錯分成真的（其實是假的）占所有的錯的概率，我們希望錯分的越小越好，所以這個值越小越好。

---

例子

AUC計算過程：

下面用兩個正態分布的例子說明問題，

下圖中左邊藍色是一類，右邊綠色是一類。

（目的）ROC的作用是找到兩個類，讓紅色的這條線能夠將兩類最好地分開。AUC值越大的分類器，正確率越高

（過程）從左到→右移動移動這條紅色的虛線，計算ROC中的每個點，一個虛線就是一個閾值，對應的就是ROC上面的一個點，將ROC連成曲線。在這個圖中已經標明了TP，FP，TN，FN，可以很方便的計算出來。

-------------------------------------------------------------------------------------------------------------------------------

我們知道TP rate越大越好，FP rate越小越好。那么畫了ROC之后，怎么判斷哪兩個類能分的最開呢？怎么找到哪個閾值最好呢？

下面這張圖畫出了解決辦法。就是算出AUC(Area Under Curve,曲線下的面積)，也就是ROC與坐標軸形成的面積。

AUC圖反映的是兩個類的重疊程度，AUC的面積反應了分類的好壞。

我們可以看到不同的兩個分類的AUC截然不同，

第一個例子：可以分開大多數點，它的AUC在0.9左右

第四個例子：兩個類完全重合時，一半的點都會分類錯誤，相當于沒分，它的AUC是0.5左右。

因此AUC面積越大的分類器的分類效果最好，這樣的分類器在找到閾值后可以有較高的分類正確率。

鏈接： ROC Curves - YouTube

代碼 ROCcurve及AUC

import matplotlib.pyplot as plt import numpy as npdef gauss2D(x, m, C):Ci = np.linalg.inv(C) #求矩陣的逆dC = np.linalg.det(C) #求矩陣的行列式num = np.exp(-0.5 * np.dot((x-m).T, np.dot(Ci,(x-m))))den = 2 * np.pi * (dC**0.5) #計算矩陣的密度函數return num/dendef twoDGaussianPlot(nx, ny, m, C):x = np.linspace(-6, 6, nx)y = np.linspace(-6, 6, ny)X, Y = np.meshgrid(x, y, indexing='ij')Z = np.zeros([nx,ny])for i in range(nx):for j in range(ny):xvec = np.array([X[i,j], Y[i,j]])Z[i,j] = gauss2D(xvec, m, C)return X, Y, ZX = np.random.randn(200, 2) C1 = np.array([[2,1],[1,2]]) C2 = np.array([[2,1],[1,2]]) m1 = np.array([0, 3]) m2 = np.array([3,2.5]) A = np.linalg.cholesky(C1)Y1 = X @ A.T + m1 Y2 = X @ A.T + m2plt.figure(1) plt.scatter(Y1[:,0], Y1[:,1], c='c', s=4) plt.scatter(Y2[:,0], Y2[:,1], c='m', s=4)Xp, Yp, Zp = twoDGaussianPlot(40,50,m1,C1) plt.contour(Xp, Yp, Zp, 5)Xp2, Yp2, Zp2 = twoDGaussianPlot(40,50,m2,C2) plt.contour(Xp2, Yp2, Zp2, 5)# uF = [(np.mean(Y1[:,0])+np.mean(Y2[:,0]))/2,(np.mean(Y1[:,1])+np.mean(Y2[:,1]))/2] # uF = np.array([-1,5]) uF = np.array(m1-m2) print(uF) # print(uF.shape) #plt.arrow(0, 0, *(uF), color='b', linewidth=2.0, head_width=0.30, head_length=0.35) plt.arrow(0, 0, uF[0], uF[1], color='b', linewidth=2.0, head_width=0.30, head_length=0.35)plt.axis('equal') plt.grid() plt.xlim([-6,6]) plt.ylim([-5,8])plt.savefig('density graph.png')yp1 = Y1 @ uF yp2 = Y2 @ uFplt.figure(2) plt.rcParams.update({'font.size':16}) plt.hist(yp1, bins=40) plt.hist(yp2, bins=40) plt.savefig('histogramprojections.png')pmin = np.min( np.array( (np.min(yp1), np.min(yp2) ))) pmax = np.max( np.array( (np.max(yp1), np.max(yp2) ))) print(pmin, pmax)nRocPoints = 50 thRange = np.linspace(pmin, pmax, nRocPoints) ROC = np.zeros((nRocPoints, 2))for i in range(len(thRange)):thresh = thRange[i]TP = len(yp2[yp2 > thresh]) * 100/len(yp2)FP = len(yp1[yp1 > thresh]) * 100/len(yp1)ROC[i,:] =[TP, FP]fig, ax = plt.subplots(figsize=(6,6)) ax.plot(ROC[:,0],ROC[:,1], c='m') ax.set_xlabel('False Positive') ax.set_ylabel('True Positive') ax.set_title("Receive Operating Charateristics") ax.grid(True) plt.savefig('rocCure.png')print(np.trapz(ROC[:,1],x=ROC[:,0]))

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

總結

以上是生活随笔為你收集整理的ROC 曲线讲解 （Receiver Operarating Curve）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。