當前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

2.2 Logistic 回归-深度学习-Stanford吴恩达教授

發布時間：2025/4/5 pytorch 59 豆豆

生活随笔收集整理的這篇文章主要介紹了 2.2 Logistic 回归-深度学习-Stanford吴恩达教授小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

2.1 二元分類

回到目錄

2.3 Logistic 回歸損失函數

Logistic 回歸 (Logistic Regression)

在這個視頻中，我們會重溫邏輯回歸學習算法，該算法適用于二分類問題，本節將主要介紹邏輯回歸的Hypothesis Function（假設函數）。

對于二元分類問題來講，給定一個輸入特征向量 $X$ ，它可能對應一張圖片，你想識別這張圖片識別看它是否是一只貓或者不是一只貓的圖片，你想要一個算法能夠輸出預測，你只能稱之為 $y^\hat{y}$ ，也就是你對實際值 $y$ 的估計。更正式地來說，你想讓 $y^\hat{y}$ 表示 $y$ 等于1的一種可能性或者是機會，前提條件是給定了輸入特征 $X$ 。換句話來說，如果 $X$ 是我們在上個視頻看到的圖片，你想讓 $y^\hat{y}$ 來告訴你這是一只貓的圖片的機率有多大。在之前的視頻中所說的， $X$ 是一個 $n_x$ 維的向量（相當于有 $n_x$ 個特征的特征向量）。我們用來 $w$ 表示邏輯回歸的參數，這也是一個 $n_x$ 維向量（因為 $w$ 實際上是特征權重，維度與特征向量相同），參數里面還有 $b$ ，這是一個實數（表示偏差）。所以給出輸入 $x$ 以及參數 $w$ 和 $b$ 之后，我們怎樣產生輸出預測值 $y^\hat{y}$ ，一件你可以嘗試卻不可行的事是讓 $y^=wTx+b\hat{y}=w^Tx+b$ 。

這時候我們得到的是一個關于輸入 $x$ 的線性函數，實際上這是你在做線性回歸時所用到的，但是這對于二元分類問題來講不是一個非常好的算法，因為你想讓 $y^\hat{y}$ 表示實際值 $y$ 等于1的機率的話， $y^\hat{y}$ 應該在0到1之間。這是一個需要解決的問題，因為 $w^Tx+b$ 可能比1要大得多，或者甚至為一個負值。對于你想要的在0和1之間的概率來說它是沒有意義的，因此在邏輯回歸中，我們的輸出 $y^\hat{y}$ 應該是等于由上面得到的線性函數式子作為自變量的sigmoid函數中，公式如上圖最下面所示，將線性函數轉換為非線性函數。

下圖是sigmoid函數的圖像，如果我把水平軸作為 $z$ 軸，那么關于 $z$ 的sigmoid函數是這樣的，它是平滑地從0走向1，讓我在這里標記縱軸，這是0，曲線與縱軸相交的截距是0.5，這就是關于的sigmoid函數的圖像。我們通常都使用 $z$ 來表示 $w^Tx+b$ 的值。

關于sigmoid函數的公式是這樣的， $σ(z)=11+e?z\sigma(z)=\frac1{1+e^{-z}}$ ,在這里 $z$ 是一個實數，這里要說明一些要注意的事情，如果 $z$ 非常大那么 $e^{-z}$ 將會接近于0，關于 $z$ 的sigmoid函數將會近似等于1除以1加上某個非常接近于0的項，因為 $e$ 的指數如果是個絕對值很大的負數的話，這項將會接近于0，所以如果 $z$ 很大的話那么關于 $z$ 的sigmoid函數會非常接近1。相反地，如果 $z$ 非常小或者說是一個絕對值很大的負數，那么關于 $e^{-z}$ 這項會變成一個很大的數，你可以認為這是1除以1加上一個非常非常大的數，所以這個就接近于0。實際上你看到當 $z$ 變成一個絕對值很大的負數，關于 $z$ 的sigmoid函數就會非常接近于0，因此當你實現邏輯回歸時，你的工作就是去讓機器學習參數 $w$ 以及 $b$ 這樣才使得 $y^\hat{y}$ 成為對 $y = 1$ 這一情況的概率的一個很好的估計。

在繼續進行下一步之前，介紹一種符號慣例，可以讓參數 $w$ 和參數 $b$ 分開。在符號上要注意的一點是當我們對神經網絡進行編程時經常會讓參數 $w$ 和參數 $b$ 分開，在這里參數 $b$ 對應的是一種偏置。在之前的機器學習課程里，你可能已經見過處理這個問題時的其他符號表示。比如在某些例子里，你定義一個額外的特征稱之為 $x_0$ ，并且使它等于1，那么 $X$ 現在就是一個 $n_x$ 加1維的變量，然后你定義 $y^=σ(θTx)\hat{y}=\sigma(\theta^Tx)$ 的sigmoid函數。在這個備選的符號慣例里，你有一個參數向量 $θ0,θ1,θ2,?,θnx\theta_0,\theta_1,\theta_2,\cdots,\theta_{n_x}$ ，這樣就 $θ0\theta_0$ 充當了 $b$ ，這是一個實數，而剩下的 $θ1\theta_1$ 直到 $θnx\theta_{n_x}$ 充當了 $w$ ，結果就是當你實現你的神經網絡時，有一個比較簡單的方法是保持 $b$ 和 $w$ 分開。但是在這節課里我們不會使用任何這類符號慣例，所以不用去擔心。現在你已經知道邏輯回歸模型是什么樣子了，下一步要做的是訓練參數 $w$ 和參數 $b$ ，你需要定義一個代價函數，讓我們在下節課里對其進行解釋。

課程PPT