梯度下降法 - iT 邦幫忙 - iThome

昨天我們提到，令我們的函數為： 則誤差為： 其中 x 為輸入，y 為輸出。

我們想要將誤差最小化，因此可以透過微分來求算。

首先，我們先來回想一下微分的定義： 我們希望透過逐步地增加（或減少）a，來看看我們的誤差是不是真的在減少。

在一元方程式當中（只有一個變數），我們可以很容易求算導數，並且讓導數為靈就可以求得最小值與 x 為多少。

可是對於多變數的方程式來說，要怎麼找到導數就變得相當困難，例如在三維空間當中，切面會是一個平面，有無限多條：更別說在真實的情況當中有幾千個權重了。