Tối ưu hóa và học sâu
=====================
Trong phần này, chúng ta sẽ thảo luận về mối quan hệ giữa tối ưu hóa và
học sâu cũng như những thách thức của việc sử dụng tối ưu hóa trong học
sâu. Đối với một vấn đề học sâu, chúng ta thường sẽ xác định hàm *loss*
trước tiên. Khi chúng tôi có chức năng mất mát, chúng ta có thể sử dụng
thuật toán tối ưu hóa để cố gắng giảm thiểu tổn thất. Trong tối ưu hóa,
một hàm mất thường được gọi là chức năng mục tiêu \* của bài toán tối ưu
hóa. Theo truyền thống và quy ước hầu hết các thuật toán tối ưu hóa có
liên quan đến *giảm thiểu *. Nếu chúng ta cần tối đa hóa một mục tiêu
thì có một giải pháp đơn giản: chỉ cần lật dấu hiệu trên mục tiêu.
Mục tiêu tối ưu hóa
-------------------
Mặc dù tối ưu hóa cung cấp một cách để giảm thiểu chức năng mất mát cho
học sâu, nhưng về bản chất, các mục tiêu tối ưu hóa và học sâu về cơ bản
là khác nhau. Cái trước chủ yếu quan tâm đến việc giảm thiểu một mục
tiêu trong khi sau này liên quan đến việc tìm kiếm một mô hình phù hợp,
cho một lượng dữ liệu hữu hạn. Năm :numref:`sec_model_selection`,
chúng tôi đã thảo luận chi tiết về sự khác biệt giữa hai mục tiêu này.
Ví dụ, lỗi đào tạo và lỗi tổng quát thường khác nhau: vì chức năng khách
quan của thuật toán tối ưu hóa thường là hàm mất dựa trên tập dữ liệu
đào tạo, mục tiêu tối ưu hóa là giảm lỗi đào tạo. Tuy nhiên, mục tiêu
của học sâu (hoặc rộng hơn là suy luận thống kê) là giảm sai số tổng
quát hóa. Để thực hiện sau này, chúng ta cần chú ý đến overfitting ngoài
việc sử dụng thuật toán tối ưu hóa để giảm lỗi đào tạo.
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
from mpl_toolkits import mplot3d
from mxnet import np, npx
from d2l import mxnet as d2l
npx.set_np()
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
import numpy as np
import torch
from mpl_toolkits import mplot3d
from d2l import torch as d2l
.. raw:: html
.. raw:: html
.. code:: python
%matplotlib inline
import numpy as np
import tensorflow as tf
from mpl_toolkits import mplot3d
from d2l import tensorflow as d2l
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def f(x):
return x * np.cos(np.pi * x)
def g(x):
return f(x) + 0.2 * np.cos(5 * np.pi * x)
.. raw:: html
.. raw:: html
.. code:: python
def f(x):
return x * torch.cos(np.pi * x)
def g(x):
return f(x) + 0.2 * torch.cos(5 * np.pi * x)
.. raw:: html
.. raw:: html
.. code:: python
def f(x):
return x * tf.cos(np.pi * x)
def g(x):
return f(x) + 0.2 * tf.cos(5 * np.pi * x)
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def annotate(text, xy, xytext): #@save
d2l.plt.gca().annotate(text, xy=xy, xytext=xytext,
arrowprops=dict(arrowstyle='->'))
x = np.arange(0.5, 1.5, 0.01)
d2l.set_figsize((4.5, 2.5))
d2l.plot(x, [f(x), g(x)], 'x', 'risk')
annotate('min of\nempirical risk', (1.0, -1.2), (0.5, -1.1))
annotate('min of risk', (1.1, -1.05), (0.95, -0.5))
.. figure:: output_optimization-intro_70d214_27_0.svg
.. raw:: html
.. raw:: html
.. code:: python
def annotate(text, xy, xytext): #@save
d2l.plt.gca().annotate(text, xy=xy, xytext=xytext,
arrowprops=dict(arrowstyle='->'))
x = torch.arange(0.5, 1.5, 0.01)
d2l.set_figsize((4.5, 2.5))
d2l.plot(x, [f(x), g(x)], 'x', 'risk')
annotate('min of\nempirical risk', (1.0, -1.2), (0.5, -1.1))
annotate('min of risk', (1.1, -1.05), (0.95, -0.5))
.. figure:: output_optimization-intro_70d214_30_0.svg
.. raw:: html
.. raw:: html
.. code:: python
def annotate(text, xy, xytext): #@save
d2l.plt.gca().annotate(text, xy=xy, xytext=xytext,
arrowprops=dict(arrowstyle='->'))
x = tf.range(0.5, 1.5, 0.01)
d2l.set_figsize((4.5, 2.5))
d2l.plot(x, [f(x), g(x)], 'x', 'risk')
annotate('min of\nempirical risk', (1.0, -1.2), (0.5, -1.1))
annotate('min of risk', (1.1, -1.05), (0.95, -0.5))
.. figure:: output_optimization-intro_70d214_33_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
x = np.arange(-1.0, 2.0, 0.01)
d2l.plot(x, [f(x), ], 'x', 'f(x)')
annotate('local minimum', (-0.3, -0.25), (-0.77, -1.0))
annotate('global minimum', (1.1, -0.95), (0.6, 0.8))
.. figure:: output_optimization-intro_70d214_39_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = torch.arange(-1.0, 2.0, 0.01)
d2l.plot(x, [f(x), ], 'x', 'f(x)')
annotate('local minimum', (-0.3, -0.25), (-0.77, -1.0))
annotate('global minimum', (1.1, -0.95), (0.6, 0.8))
.. figure:: output_optimization-intro_70d214_42_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = tf.range(-1.0, 2.0, 0.01)
d2l.plot(x, [f(x), ], 'x', 'f(x)')
annotate('local minimum', (-0.3, -0.25), (-0.77, -1.0))
annotate('global minimum', (1.1, -0.95), (0.6, 0.8))
.. figure:: output_optimization-intro_70d214_45_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
x = np.arange(-2.0, 2.0, 0.01)
d2l.plot(x, [x**3], 'x', 'f(x)')
annotate('saddle point', (0, -0.2), (-0.52, -5.0))
.. figure:: output_optimization-intro_70d214_51_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = torch.arange(-2.0, 2.0, 0.01)
d2l.plot(x, [x**3], 'x', 'f(x)')
annotate('saddle point', (0, -0.2), (-0.52, -5.0))
.. figure:: output_optimization-intro_70d214_54_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = tf.range(-2.0, 2.0, 0.01)
d2l.plot(x, [x**3], 'x', 'f(x)')
annotate('saddle point', (0, -0.2), (-0.52, -5.0))
.. figure:: output_optimization-intro_70d214_57_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
x, y = np.meshgrid(
np.linspace(-1.0, 1.0, 101), np.linspace(-1.0, 1.0, 101))
z = x**2 - y**2
ax = d2l.plt.figure().add_subplot(111, projection='3d')
ax.plot_wireframe(x.asnumpy(), y.asnumpy(), z.asnumpy(),
**{'rstride': 10, 'cstride': 10})
ax.plot([0], [0], [0], 'rx')
ticks = [-1, 0, 1]
d2l.plt.xticks(ticks)
d2l.plt.yticks(ticks)
ax.set_zticks(ticks)
d2l.plt.xlabel('x')
d2l.plt.ylabel('y');
.. figure:: output_optimization-intro_70d214_63_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x, y = torch.meshgrid(
torch.linspace(-1.0, 1.0, 101), torch.linspace(-1.0, 1.0, 101))
z = x**2 - y**2
ax = d2l.plt.figure().add_subplot(111, projection='3d')
ax.plot_wireframe(x, y, z, **{'rstride': 10, 'cstride': 10})
ax.plot([0], [0], [0], 'rx')
ticks = [-1, 0, 1]
d2l.plt.xticks(ticks)
d2l.plt.yticks(ticks)
ax.set_zticks(ticks)
d2l.plt.xlabel('x')
d2l.plt.ylabel('y');
.. parsed-literal::
:class: output
/home/d2l-worker/miniconda3/envs/d2l-vi-release-1/lib/python3.8/site-packages/torch/functional.py:568: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:2228.)
return _VF.meshgrid(tensors, **kwargs) # type: ignore[attr-defined]
.. figure:: output_optimization-intro_70d214_66_1.svg
.. raw:: html
.. raw:: html
.. code:: python
x, y = tf.meshgrid(
tf.linspace(-1.0, 1.0, 101), tf.linspace(-1.0, 1.0, 101))
z = x**2 - y**2
ax = d2l.plt.figure().add_subplot(111, projection='3d')
ax.plot_wireframe(x, y, z, **{'rstride': 10, 'cstride': 10})
ax.plot([0], [0], [0], 'rx')
ticks = [-1, 0, 1]
d2l.plt.xticks(ticks)
d2l.plt.yticks(ticks)
ax.set_zticks(ticks)
d2l.plt.xlabel('x')
d2l.plt.ylabel('y');
.. figure:: output_optimization-intro_70d214_69_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
x = np.arange(-2.0, 5.0, 0.01)
d2l.plot(x, [np.tanh(x)], 'x', 'f(x)')
annotate('vanishing gradient', (4, 1), (2, 0.0))
.. figure:: output_optimization-intro_70d214_75_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = torch.arange(-2.0, 5.0, 0.01)
d2l.plot(x, [torch.tanh(x)], 'x', 'f(x)')
annotate('vanishing gradient', (4, 1), (2, 0.0))
.. figure:: output_optimization-intro_70d214_78_0.svg
.. raw:: html
.. raw:: html
.. code:: python
x = tf.range(-2.0, 5.0, 0.01)
d2l.plot(x, [tf.tanh(x)], 'x', 'f(x)')
annotate('vanishing gradient', (4, 1), (2, 0.0))
.. figure:: output_optimization-intro_70d214_81_0.svg
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html