Multivariate Linear Regression

Multiple Features

$X_j^{(i)}$ 其中j表示迭代次數(shù)，i表示矩陣索引

轉(zhuǎn)換
原來(lái)：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+?+{\theta }_n{x}_n$
define$x_0=1$
現(xiàn)在：$h_{\theta }(x)={\theta }^{T}x={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+?+{\theta }_n{x}_n$

Gradient descent for multilple variables
New algorithm $(n\ge 1)$ : (多個(gè)特征變量)
Repeat {

${\theta }_j:={\theta }_j?\alpha \frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_j^{(i)}$

(simultaneously update ${\theta }_j$ for $j=0,\dots ,n$)
}
其中：先計(jì)算$\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_j^{(i)}$，再求和

Gradient descent in practice I ：Feature Scaling （特征縮放）

目的：
Get every feature into approximately a $?1\le x_i\le 1$ range.
控制特征范圍大致相近，使梯度下降法可以更快的收斂

方法
Mean normalization 均值歸一化
新特征值 = （特征值 - 均值）/范圍

Gradient descent in practice II ：Learning rate （學(xué)習(xí)率）

判斷收斂條件：
代價(jià)函數(shù)隨迭代次數(shù)的變化曲線
代價(jià)函數(shù)沒(méi)有隨著迭代次數(shù)的增加而減小時(shí)，減小學(xué)習(xí)率

學(xué)習(xí)率的選取
0.001， 0.003， 0.01， 0.03， 0.1， 0.3， 1

Features and polynomial regression 特征選擇和多項(xiàng)式回歸
$\begin{array}{rl}{h}_{\theta }(x)& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3\\ & ={\theta }_0+{\theta }_1(\mathrm{size})+{\theta }_2(\mathrm{size}{)}^2+{\theta }_3(\mathrm{size}{)}^3\\ x_1& =(\mathrm{size})\\ x_2& =(\mathrm{size}{)}^2\\ x_3& =(\mathrm{size}{)}^3\end{array}$

Normal equation 正規(guī)方程

目的
令代價(jià)函數(shù)導(dǎo)數(shù)為0 ，直接求出最優(yōu)值，無(wú)需迭代

表達(dá)式
$X\theta =y$ 推導(dǎo)出：
$\theta ={\left(X^{T}X\right)}^{?1}{X}^{T}y$

注意點(diǎn)
使用正規(guī)方程時(shí)，不需要進(jìn)行特征縮放

正規(guī)方程法和梯度下降法的比較

梯度下降法正規(guī)方程法

需要確定學(xué)習(xí)率	不需要確定學(xué)習(xí)率
需要多次的迭代	不需要迭代
復(fù)雜度$O(k{n}^2)$	復(fù)雜度$O(n^3)$, need to calculate inverse of $X^{T}X$
適用于特征變量較多時(shí)	特征變量較多時(shí)變慢

說(shuō)明：使用正規(guī)方程法，計(jì)算矩陣的逆時(shí)比較耗時(shí)，特征變量的數(shù)量超過(guò)10000時(shí)，建議使用梯度下降法。

Normal equation and non-invertibility 正規(guī)方程以及不可逆性

說(shuō)明：
上述在求解$\theta$時(shí)，用到${\left(X^{T}X\right)}^{?1}$,要考慮到其中$X^{T}X$是否可逆？？

$X^{T}X$不可逆的原因
特征變量冗余 & 特征變量過(guò)多

octave操作

pinv和inv均可求解矩陣的逆，pinv求解的是矩陣的偽逆，即使矩陣的逆不存在，也可以求出來(lái)

方程求解的代碼： pinvX`*X*X`*y

Octave Tutorial

Basic operations1 ~= 2 1 && 0 1 || 0 xor(1,0) disp(sprintf('2 decimals: %0.2f', a)) v = 1:0.1:2 w = -6 + sqrt(10)*(randn(1,10000)); hist(w) hist(w,50) % plot histogram using 50 bins I = eye(4)

Moving Data Aroundsize(A) size(A,1) length(v) load q1y.dat whos % list variables in workspace (detailed view) clear q1y % clear command without any args clears all vars save hello.mat v save hello.txt v -ascii A = [A, [100; 101; 102]]; % append column vec A(:) % Select all elements as a column vector. C = [A, B] % concatenating A and B matrices side by side C = [A; B] % Concatenating A and B top and bottom

Computing on dataA * C % matrix multiplication A .* B % element-wise multiplication A .^ 2 v + ones(length(v), 1) A' % 矩陣轉(zhuǎn)置 [val,ind] = max(a) find(a < 3) [r,c] = find(A>=7) % row, column indices for values matching comparison sum(a) prod(a) # 求積 floor(a) % or ceil(a) # 向上取整 向下取整 max(A,[],1) # maximum along columns max(A,[],2) # maximum along rows sum(sum( A .* eye(9) )) sum(sum( A .* flipud(eye(9)) )) # 沿對(duì)角線翻轉(zhuǎn) pinv(A)

Plotting Dataplot(t,y2,'r'); legend('sin','cos'); print -dpng 'myPlot.png' close; figure(2), clf; axis([0.5 1 -1 1]);figure; imagesc(magic(15)), colorbar, colormap gray; # 灰度矩陣

5. Control statements & Functions ```python v = zeros(10,1); for i=1:10, v(i) = 2^i; end; i = 1; while true, v(i) = 999; i = i+1;if i == 6,break;end; endfunction y = squareThisNumber(x)y = x^2;squareThisNumber(2)# 一個(gè)函數(shù)，兩個(gè)返回值 function [y1, y2] = squareandCubeThisNo(x)y1 = x^2y2 = x^3 [a,b] = squareandCubeThisNo(x) ```

Vectorization
目的：簡(jiǎn)單，提高計(jì)算效率

備注：

submit 提交作業(yè)

需要生成碼的話，從網(wǎng)站上的提交頁(yè)面復(fù)制

總結(jié)

以上是生活随笔為你收集整理的【学习笔记】吴恩达机器学习 WEEK2 线性回归 Octave教程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。