.. _sec_gd:
Gradient Descent
================
Trong phần này, chúng ta sẽ giới thiệu các khái niệm cơ bản bên dưới \*
gradient descent\*. Mặc dù nó hiếm khi được sử dụng trực tiếp trong học
sâu, một sự hiểu biết về gradient descent là chìa khóa để hiểu các thuật
toán gốc gradient ngẫu nhiên. Ví dụ, vấn đề tối ưu hóa có thể phân kỳ do
tốc độ học tập quá lớn. Hiện tượng này đã có thể được nhìn thấy trong
gradient gốc. Tương tự như vậy, preconditioning là một kỹ thuật phổ biến
trong chuyển đổi gradient và mang đến các thuật toán tiên tiến hơn. Hãy
để chúng tôi bắt đầu với một trường hợp đặc biệt đơn giản.
Một chiều Gradient Descent
--------------------------
Gradient gốc trong một chiều là một ví dụ tuyệt vời để giải thích lý do
tại sao thuật toán gốc gradient có thể làm giảm giá trị của hàm khách
quan. Xem xét một số chức năng có giá trị thực liên tục khác biệt
:math:`f: \mathbb{R} \rightarrow \mathbb{R}`. Sử dụng bản mở rộng
Taylor, chúng tôi có được
.. math:: f(x + \epsilon) = f(x) + \epsilon f'(x) + \mathcal{O}(\epsilon^2).
:label: gd-taylor
Đó là, trong xấp xỉ thứ tự thứ nhất :math:`f(x+\epsilon)` được đưa ra
bởi giá trị hàm :math:`f(x)` và đạo hàm đầu tiên :math:`f'(x)` tại
:math:`x`. Nó không phải là không hợp lý để giả định rằng đối với nhỏ
:math:`\epsilon` di chuyển theo hướng của gradient âm sẽ giảm :math:`f`.
Để giữ cho mọi thứ đơn giản, chúng tôi chọn một kích thước bước cố định
:math:`\eta > 0` và chọn :math:`\epsilon = -\eta f'(x)`. Cắm điều này
vào bản mở rộng Taylor ở trên chúng tôi nhận được
.. math:: f(x - \eta f'(x)) = f(x) - \eta f'^2(x) + \mathcal{O}(\eta^2 f'^2(x)).
:label: gd-taylor-2
Nếu đạo hàm :math:`f'(x) \neq 0` không biến mất chúng ta tiến bộ kể từ
:math:`\eta f'^2(x)>0`. Hơn nữa, chúng tôi luôn có thể chọn :math:`\eta`
đủ nhỏ để các điều khoản bậc cao hơn trở nên không liên quan. Do đó
chúng tôi đến
.. math:: f(x - \eta f'(x)) \lessapprox f(x).
Điều này có nghĩa rằng, nếu chúng ta sử dụng
.. math:: x \leftarrow x - \eta f'(x)
để lặp lại :math:`x`, giá trị của hàm :math:`f(x)` có thể giảm. Do đó,
trong gradient descent đầu tiên chúng ta chọn một giá trị ban đầu
:math:`x` và một hằng số :math:`\eta > 0` và sau đó sử dụng chúng để
liên tục lặp lại :math:`x` cho đến khi đạt đến điều kiện dừng, ví dụ,
khi độ lớn của gradient :math:`|f'(x)|` là đủ nhỏ hoặc số lần lặp đã đạt
đến một số nhất định giá trị.
Để đơn giản, chúng tôi chọn hàm mục tiêu :math:`f(x)=x^2` để minh họa
cách thực hiện gradient descent. Mặc dù chúng ta biết rằng :math:`x=0`
là giải pháp để giảm thiểu :math:`f(x)`, chúng tôi vẫn sử dụng chức năng
đơn giản này để quan sát cách :math:`x` thay đổi.
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
from mxnet import np, npx
from d2l import mxnet as d2l
npx.set_np()
def f(x): # Objective function
return x ** 2
def f_grad(x): # Gradient (derivative) of the objective function
return 2 * x
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
import numpy as np
import torch
from d2l import torch as d2l
def f(x): # Objective function
return x ** 2
def f_grad(x): # Gradient (derivative) of the objective function
return 2 * x
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
import numpy as np
import tensorflow as tf
from d2l import tensorflow as d2l
def f(x): # Objective function
return x ** 2
def f_grad(x): # Gradient (derivative) of the objective function
return 2 * x
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def gd(eta, f_grad):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x)
results.append(float(x))
print(f'epoch 10, x: {x:f}')
return results
results = gd(0.2, f_grad)
.. parsed-literal::
:class: output
epoch 10, x: 0.060466
.. raw:: html
.. raw:: html
.. code:: python
def gd(eta, f_grad):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x)
results.append(float(x))
print(f'epoch 10, x: {x:f}')
return results
results = gd(0.2, f_grad)
.. parsed-literal::
:class: output
epoch 10, x: 0.060466
.. raw:: html
.. raw:: html
.. code:: python
def gd(eta, f_grad):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x)
results.append(float(x))
print(f'epoch 10, x: {x:f}')
return results
results = gd(0.2, f_grad)
.. parsed-literal::
:class: output
epoch 10, x: 0.060466
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def show_trace(results, f):
n = max(abs(min(results)), abs(max(results)))
f_line = np.arange(-n, n, 0.01)
d2l.set_figsize()
d2l.plot([f_line, results], [[f(x) for x in f_line], [
f(x) for x in results]], 'x', 'f(x)', fmts=['-', '-o'])
show_trace(results, f)
.. figure:: output_gd_79c039_27_0.svg
.. raw:: html
.. raw:: html
.. code:: python
def show_trace(results, f):
n = max(abs(min(results)), abs(max(results)))
f_line = torch.arange(-n, n, 0.01)
d2l.set_figsize()
d2l.plot([f_line, results], [[f(x) for x in f_line], [
f(x) for x in results]], 'x', 'f(x)', fmts=['-', '-o'])
show_trace(results, f)
.. figure:: output_gd_79c039_30_0.svg
.. raw:: html
.. raw:: html
.. code:: python
def show_trace(results, f):
n = max(abs(min(results)), abs(max(results)))
f_line = tf.range(-n, n, 0.01)
d2l.set_figsize()
d2l.plot([f_line, results], [[f(x) for x in f_line], [
f(x) for x in results]], 'x', 'f(x)', fmts=['-', '-o'])
show_trace(results, f)
.. figure:: output_gd_79c039_33_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(0.05, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 3.486784
.. figure:: output_gd_79c039_39_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(0.05, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 3.486784
.. figure:: output_gd_79c039_42_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(0.05, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 3.486784
.. figure:: output_gd_79c039_45_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(1.1, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 61.917364
.. figure:: output_gd_79c039_51_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(1.1, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 61.917364
.. figure:: output_gd_79c039_54_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(gd(1.1, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: 61.917364
.. figure:: output_gd_79c039_57_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
c = np.array(0.15 * np.pi)
def f(x): # Objective function
return x * np.cos(c * x)
def f_grad(x): # Gradient of the objective function
return np.cos(c * x) - c * x * np.sin(c * x)
show_trace(gd(2, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: -1.528165
.. figure:: output_gd_79c039_63_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = torch.tensor(0.15 * np.pi)
def f(x): # Objective function
return x * torch.cos(c * x)
def f_grad(x): # Gradient of the objective function
return torch.cos(c * x) - c * x * torch.sin(c * x)
show_trace(gd(2, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: -1.528166
.. figure:: output_gd_79c039_66_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = tf.constant(0.15 * np.pi)
def f(x): # Objective function
return x * tf.cos(c * x)
def f_grad(x): # Gradient of the objective function
return tf.cos(c * x) - c * x * tf.sin(c * x)
show_trace(gd(2, f_grad), f)
.. parsed-literal::
:class: output
epoch 10, x: -1.528165
.. figure:: output_gd_79c039_69_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def train_2d(trainer, steps=20, f_grad=None): #@save
"""Optimize a 2D objective function with a customized trainer."""
# `s1` and `s2` are internal state variables that will be used later
x1, x2, s1, s2 = -5, -2, 0, 0
results = [(x1, x2)]
for i in range(steps):
if f_grad:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2, f_grad)
else:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2)
results.append((x1, x2))
print(f'epoch {i + 1}, x1: {float(x1):f}, x2: {float(x2):f}')
return results
def show_trace_2d(f, results): #@save
"""Show the trace of 2D variables during optimization."""
d2l.set_figsize()
d2l.plt.plot(*zip(*results), '-o', color='#ff7f0e')
x1, x2 = np.meshgrid(np.arange(-5.5, 1.0, 0.1),
np.arange(-3.0, 1.0, 0.1))
d2l.plt.contour(x1, x2, f(x1, x2), colors='#1f77b4')
d2l.plt.xlabel('x1')
d2l.plt.ylabel('x2')
.. raw:: html
.. raw:: html
.. code:: python
def train_2d(trainer, steps=20, f_grad=None): #@save
"""Optimize a 2D objective function with a customized trainer."""
# `s1` and `s2` are internal state variables that will be used later
x1, x2, s1, s2 = -5, -2, 0, 0
results = [(x1, x2)]
for i in range(steps):
if f_grad:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2, f_grad)
else:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2)
results.append((x1, x2))
print(f'epoch {i + 1}, x1: {float(x1):f}, x2: {float(x2):f}')
return results
def show_trace_2d(f, results): #@save
"""Show the trace of 2D variables during optimization."""
d2l.set_figsize()
d2l.plt.plot(*zip(*results), '-o', color='#ff7f0e')
x1, x2 = torch.meshgrid(torch.arange(-5.5, 1.0, 0.1),
torch.arange(-3.0, 1.0, 0.1))
d2l.plt.contour(x1, x2, f(x1, x2), colors='#1f77b4')
d2l.plt.xlabel('x1')
d2l.plt.ylabel('x2')
.. raw:: html
.. raw:: html
.. code:: python
def train_2d(trainer, steps=20, f_grad=None): #@save
"""Optimize a 2D objective function with a customized trainer."""
# `s1` and `s2` are internal state variables that will be used later
x1, x2, s1, s2 = -5, -2, 0, 0
results = [(x1, x2)]
for i in range(steps):
if f_grad:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2, f_grad)
else:
x1, x2, s1, s2 = trainer(x1, x2, s1, s2)
results.append((x1, x2))
print(f'epoch {i + 1}, x1: {float(x1):f}, x2: {float(x2):f}')
return results
def show_trace_2d(f, results): #@save
"""Show the trace of 2D variables during optimization."""
d2l.set_figsize()
d2l.plt.plot(*zip(*results), '-o', color='#ff7f0e')
x1, x2 = tf.meshgrid(tf.range(-5.5, 1.0, 0.1),
tf.range(-3.0, 1.0, 0.1))
d2l.plt.contour(x1, x2, f(x1, x2), colors='#1f77b4')
d2l.plt.xlabel('x1')
d2l.plt.ylabel('x2')
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def f_2d(x1, x2): # Objective function
return x1 ** 2 + 2 * x2 ** 2
def f_2d_grad(x1, x2): # Gradient of the objective function
return (2 * x1, 4 * x2)
def gd_2d(x1, x2, s1, s2, f_grad):
g1, g2 = f_grad(x1, x2)
return (x1 - eta * g1, x2 - eta * g2, 0, 0)
eta = 0.1
show_trace_2d(f_2d, train_2d(gd_2d, f_grad=f_2d_grad))
.. parsed-literal::
:class: output
epoch 20, x1: -0.057646, x2: -0.000073
.. figure:: output_gd_79c039_87_1.svg
.. raw:: html
.. raw:: html
.. code:: python
def f_2d(x1, x2): # Objective function
return x1 ** 2 + 2 * x2 ** 2
def f_2d_grad(x1, x2): # Gradient of the objective function
return (2 * x1, 4 * x2)
def gd_2d(x1, x2, s1, s2, f_grad):
g1, g2 = f_grad(x1, x2)
return (x1 - eta * g1, x2 - eta * g2, 0, 0)
eta = 0.1
show_trace_2d(f_2d, train_2d(gd_2d, f_grad=f_2d_grad))
.. parsed-literal::
:class: output
epoch 20, x1: -0.057646, x2: -0.000073
/home/d2l-worker/miniconda3/envs/d2l-vi-release-1/lib/python3.8/site-packages/torch/functional.py:568: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:2228.)
return _VF.meshgrid(tensors, **kwargs) # type: ignore[attr-defined]
.. figure:: output_gd_79c039_90_1.svg
.. raw:: html
.. raw:: html
.. code:: python
def f_2d(x1, x2): # Objective function
return x1 ** 2 + 2 * x2 ** 2
def f_2d_grad(x1, x2): # Gradient of the objective function
return (2 * x1, 4 * x2)
def gd_2d(x1, x2, s1, s2, f_grad):
g1, g2 = f_grad(x1, x2)
return (x1 - eta * g1, x2 - eta * g2, 0, 0)
eta = 0.1
show_trace_2d(f_2d, train_2d(gd_2d, f_grad=f_2d_grad))
.. parsed-literal::
:class: output
epoch 20, x1: -0.057646, x2: -0.000073
.. figure:: output_gd_79c039_93_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
c = np.array(0.5)
def f(x): # Objective function
return np.cosh(c * x)
def f_grad(x): # Gradient of the objective function
return c * np.sinh(c * x)
def f_hess(x): # Hessian of the objective function
return c**2 * np.cosh(c * x)
def newton(eta=1):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x) / f_hess(x)
results.append(float(x))
print('epoch 10, x:', x)
return results
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: 0.0
.. figure:: output_gd_79c039_99_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = torch.tensor(0.5)
def f(x): # Objective function
return torch.cosh(c * x)
def f_grad(x): # Gradient of the objective function
return c * torch.sinh(c * x)
def f_hess(x): # Hessian of the objective function
return c**2 * torch.cosh(c * x)
def newton(eta=1):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x) / f_hess(x)
results.append(float(x))
print('epoch 10, x:', x)
return results
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: tensor(0.)
.. figure:: output_gd_79c039_102_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = tf.constant(0.5)
def f(x): # Objective function
return tf.cosh(c * x)
def f_grad(x): # Gradient of the objective function
return c * tf.sinh(c * x)
def f_hess(x): # Hessian of the objective function
return c**2 * tf.cosh(c * x)
def newton(eta=1):
x = 10.0
results = [x]
for i in range(10):
x -= eta * f_grad(x) / f_hess(x)
results.append(float(x))
print('epoch 10, x:', x)
return results
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: tf.Tensor(0.0, shape=(), dtype=float32)
.. figure:: output_gd_79c039_105_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
c = np.array(0.15 * np.pi)
def f(x): # Objective function
return x * np.cos(c * x)
def f_grad(x): # Gradient of the objective function
return np.cos(c * x) - c * x * np.sin(c * x)
def f_hess(x): # Hessian of the objective function
return - 2 * c * np.sin(c * x) - x * c**2 * np.cos(c * x)
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: 26.834133
.. figure:: output_gd_79c039_111_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = torch.tensor(0.15 * np.pi)
def f(x): # Objective function
return x * torch.cos(c * x)
def f_grad(x): # Gradient of the objective function
return torch.cos(c * x) - c * x * torch.sin(c * x)
def f_hess(x): # Hessian of the objective function
return - 2 * c * torch.sin(c * x) - x * c**2 * torch.cos(c * x)
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: tensor(26.8341)
.. figure:: output_gd_79c039_114_1.svg
.. raw:: html
.. raw:: html
.. code:: python
c = tf.constant(0.15 * np.pi)
def f(x): # Objective function
return x * tf.cos(c * x)
def f_grad(x): # Gradient of the objective function
return tf.cos(c * x) - c * x * tf.sin(c * x)
def f_hess(x): # Hessian of the objective function
return - 2 * c * tf.sin(c * x) - x * c**2 * tf.cos(c * x)
show_trace(newton(), f)
.. parsed-literal::
:class: output
epoch 10, x: tf.Tensor(26.834133, shape=(), dtype=float32)
.. figure:: output_gd_79c039_117_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
show_trace(newton(0.5), f)
.. parsed-literal::
:class: output
epoch 10, x: 7.26986
.. figure:: output_gd_79c039_123_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(newton(0.5), f)
.. parsed-literal::
:class: output
epoch 10, x: tensor(7.2699)
.. figure:: output_gd_79c039_126_1.svg
.. raw:: html
.. raw:: html
.. code:: python
show_trace(newton(0.5), f)
.. parsed-literal::
:class: output
epoch 10, x: tf.Tensor(7.26986, shape=(), dtype=float32)
.. figure:: output_gd_79c039_129_1.svg
.. raw:: html
.. raw:: html