machine learning- linear regression with one variable(2)

• Linear regression with one variable = univariate linear regression: 由一個輸入變量預測出一個output (regression problem預測連續的值). ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?single input<--->single output?

training set： 機器進行學習的元素集

? ? ? ? ??

• univariate linear regression =?Linear regression with one variable?

• The Hypothesis Function(for linear regression):,這是一個關于x的函數(θ₀與θ₁是固定的).這是一個假設的函數（求出假設的?θ0 和 θ1，這個是我們的目標,愈近的接近真實的y值）,這樣可以根據input value(x)來計算output value(y)
  

• Cost Function(for linear regression): (y為真實的值),這是一個關于θ₁與θ₂(parameters)的函數_,用來衡量假設函數（hypothesis function）的準確性,目的是選擇使cost function最小的θ₁與θ₂的值，這樣就能確定假設函數(Hypothesis Function)了.

  • 圖片?
• Squared error function = cost function
• Mean squared error?= cost function

• Gradient Descent: 一種用來自動提高hypothesis function準確性的方法,使cost function取最小值(不僅適用于linear regression，可用于整個機器學習).

• 圖片?(非cost function for linear regression,一般情況下的J(θ₀,θ₁))

• 由上圖可知，不同的初始值，利用gradient descent可能得出不同的局部最優解（有不同的極小值）

? ? ?大概方法步驟:

? ? ? function: J(θ₀,θ₁)?

? ? ? 目標: 求出J(θ₀,θ₁)的最小值

?先預設 θ₀,θ₁的值 ? ?

?利用gradient descent反復求θ₀,θ₁的值? ??

?直至θ₀,θ₁的值收斂于一個確定的值(J(θ₀,θ₁)的極小值),(收斂是因為當到達極值時，cost function的偏導為0，這時會收斂)

• • learning rate:??(大于0),朝著cost function的梯度方向以a(learning rate)系數倍數逼近cost function(θ₀,θ₁為參數)的最小值。
    • learning rate太小:使求出收斂的值時迭代的次數變多，使收斂過程變慢(下圖是假設θ₀已知，θ₁未知時的cost function圖形，若都未知則圖應是立體的，如上圖)
    • learning rate太大：可能會導致無法收斂，得不到正確的值(下圖是假設θ₀已知，θ₁未知時的cost function圖形,若都未知則圖應是立體的，如上圖)
  • The gradient descent equation:?? (j=0,1) ?

• • • :=為賦值操作，=為truth assertion操作
    • 要同時更新θ₀,θ₁的值(update simultaneously),即算出θ₀的新值后,不能利用這個新值的J(θ₀,θ₁)去算θ₁,而是同時更新θ0,θ1
    • 求的是局部最優解（即cost function的極小值，但是不是最小值）
    • 但是由cost function for linear regression的圖(像一個碗狀)可知，它只有一個極小值（也是它的最小值），所以對于linear regression問題，gradient descent求的是cost function的最小值

• • Gradient Descent for Linear Regression:(是將h(x)=θ₀+θ₁x和J(θ_0,θ₁)代入求導求得)

    • cost function for linear regression由它的圖（上圖）可知，它沒有局部極小值，只有一個全局最小值。所以用gradient descent求出的是使cost function取最小值的θ₀,θ₁
  • "batch" gradient descent = gradient descent algorithm,因為在計算θ₀,θ₁時是利用了所有的trainning set,幫稱為batch

轉載于:https://www.cnblogs.com/yan2015/p/4505618.html

總結

以上是生活随笔為你收集整理的machine learning (2)-linear regression with one variable的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。