給定任意D，它是某些H的Bad Sample（即E_in和E_out不接近）的概率為：

即H中備選函數的數量M=|H|越少，樣本數據量N越大，則樣本成為壞樣本的概率越小。在一個可接受的概率水平上，學習算法A只需要挑選那個表現最好的h作為g就行了。

挑選出最好的g需要滿足兩個條件：找到一個假設g使得E_out(g)和E_in(g)是非常接近的，使得E_in(g)足夠小，

下面是BAD和M的關系：

因此選擇一個合適的M是非常重要的，需要用一個有限的值m來替代一個非常無限的值M

思路：overlapping for similar hypotheses h1 ≈ h2 ，它們的E_in(h₁)≈E_in(h₂),E_out(h₁)≈E_out(h₂)(比如說PLA中的兩條直線，相鄰的很近的直線)=>union bound over-estimating

?

to account for overlap,we can group similar hypotheses by kind

h對D的一個Dichotomy(二分):備選函數集中的每一個函數h都是輸入X到輸出Y的一個映射：H={hypothesis h:X->{×,Ο}}將h(x1,x2,...,xN)=(h(x₁),h(x₂),...,h(x_N))∈{×,Ο}^N?其中H(x₁,x₂,...,x_N)包含了所有對D的dichotomies。

hypotheses H 和dichotomies?H(x₁,x₂,...,x_N)的區別：

?

growth function:?remove dependence by taking max of all?possible (x₁, x₂, . . . , x_N)

4個成長函數

break point：有k個輸入，如果它不能被當前的備選函數集H shatter，那么k就是H的一個Break Point

?

?

?

?

轉載于:https://www.cnblogs.com/nolonely/p/6163720.html

總結

以上是生活随笔為你收集整理的无限的hypotheses 变成有限的dichotomies的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。