以3分類作範例:

1.混淆矩陣(Confusion matrix)

  預測為0 預測為1 預測為2
實際為0 2 2 0
實際為1 1 2 0
實際為2 0 0 3

(數據來源  http://gabrielelanaro.github.io/blog/2016/02/03/multiclass-evaluation-measures.html )

混淆矩陣(預測類別i,實際類別j)的值=分類器預測類別為I,而實際類別為j的數量

Diagonal(Class)=實際為Class且預測為Class的數量=矩陣斜對角(紅字)

2.混淆矩陣擴增

  預測為0 預測為1 預測為2 第n類的實際總數

(sum of each row)
實際為0 2 2 0 2+2+0=4
實際為1 1 2 0 1+2+0=3
實際為2 0 0 3 0+0+3=3
第n類的預測總數

(sum of each column)

 2+1+0=3 2+2+0=4 0+0+3=3 實際總數(Sum all) =4+3+3

=10

 

 

3. Precision(精密度) (Positive Predictive Value)

預測為正的樣本中有多少預測對了

Precision(Class)=Diagonal(Class)/ Sum of each column(Class)

Precision(0)=2/(2+1+0=3)=2/3

Precision(1)=2/(2+2+0=4)=2/4

Precision(2)=3/(0+0+3=3)=2/3

 

4.Recall(召回率)

真實正的樣本有多少被預測對了

Recall (Class)= Diagonal(Class)/ Sum of each row(Class)

Recall (0)= 2/(2+2+0=4) =2/4

Recall (1)= 2/(1+2+0=3) =2/3

Recall (2)= 3/(0+0+3=3) =3/3

5.Accuracy(準確度)

有多少比例的樣本預測對了

 

Accuracy=Sum All Class of (Diagonal(Class))/ (Sum all)

Accuracy=(2+2+3)/ 10

6.F1值 (綜合考量 Precision與Recall)

F1(Class)=2*Recall(Class)*Precision(Class)/ (Recall(Class) + Precision(Class))

7.True positive rate(Sensitivity)

(預測為Class且實際為Class數量)/Class實際總數

TPR (Class)= Diagonal(Class)/ Sum of each row(Class)

TPR (0)= 2/(2+2+0=4) =2/4

TPR (1)= 2/(1+2+0=3) =2/3

TPR (2)= 3/(0+0+3=3) =3/3

8.True negative rate (Specificity)

(預測為不為Class且實際為不為Class總數量)/不為Class實際總數

TNR (Class)= Sum of (Diagonal(Not Class))/ Sum of (Sum of each row(Not Class))

TNR (0)= (2+3)/(3+3=6) =5/6

TNR (1)= (2+3)/(4+3=7) =5/7

TNR (2)= (2+2)/(4+3=7) =4/7

9.False positive rate

(預測為Class且實際為不為Class總數量)/不為Class實際總數

TNR (Class)= (Sum of each column(Class)- Diagonal(Class))/ Sum of (Sum of each row(Not Class))

FPR(0)=(1+0) /(3+3=6) =1/6

FPR(B)=(2+0)/(4+3=7)=2/7

FPR(C)=(0+0)/(4+3=7)=0/7

10.ROC(Reciver Operating Characteristic) 曲線

X軸:FPR (0~1)

Y軸:TPR (0~1)

曲線圖左上角最佳(FPR最低, TPR最高)

AUC (曲線下麵積越大越好)

離散估計面積:

將每輪分類器的ROC點座標排序 共n個

第n個座標與第n-1個座標由底下公式估計面積:

Area(n)=(Xn-Xn-1)*( Yn+ Yn-1)/2

加總n=1~n

CCCDDD.png

(1-0)*(1+0)/2=0.5

(2-1)*(3+1)/2=2

(4-2)*(4+3)/2=7

Sum=0.5+2+7=9.5

11.PR曲線

 

X軸:Recall (0~1)

Y軸: Precision (0~1)