.. _sec_conv_layer:
Sự phức tạp cho hình ảnh
========================
Bây giờ chúng ta đã hiểu cách các lớp phức tạp hoạt động theo lý thuyết,
chúng ta đã sẵn sàng để xem chúng hoạt động như thế nào trong thực tế.
Dựa trên động lực của chúng tôi về các mạng thần kinh phức tạp như kiến
trúc hiệu quả để khám phá cấu trúc trong dữ liệu hình ảnh, chúng tôi gắn
bó với hình ảnh làm ví dụ chạy của chúng tôi.
Hoạt động tương quan chéo
-------------------------
Nhớ lại rằng nói đúng, các lớp phức tạp là một sự nhầm lẫn, vì các hoạt
động mà chúng thể hiện được mô tả chính xác hơn là tương quan chéo. Dựa
trên mô tả của chúng tôi về các lớp phức tạp trong
:numref:`sec_why-conv`, trong một lớp như vậy, một tensor đầu vào và
một tensor hạt nhân được kết hợp để tạo ra một tensor đầu ra thông qua
một cross-correlation operation.
Chúng ta hãy bỏ qua các kênh ngay bây giờ và xem cách điều này hoạt động
với dữ liệu hai chiều và biểu diễn ẩn. Trong
:numref:`fig_correlation`, đầu vào là tensor hai chiều với chiều cao 3
và chiều rộng 3. Chúng tôi đánh dấu hình dạng của tensor là
:math:`3 \times 3` hoặc (:math:`3`, :math:`3`). Chiều cao và chiều rộng
của hạt nhân đều là 2. Hình dạng của cửa sổ *kernel * (hoặc cửa sổ
*convolution*) được cho bởi chiều cao và chiều rộng của hạt nhân (ở đây
nó là :math:`2 \times 2`).
.. _fig_correlation:
.. figure:: ../img/correlation.svg
Two-dimensional cross-correlation operation. The shaded portions are
the first output element as well as the input and kernel tensor
elements used for the output computation:
:math:`0\times0+1\times1+3\times2+4\times3=19`.
Trong hoạt động tương quan chéo hai chiều, chúng ta bắt đầu với cửa sổ
covolution được đặt ở góc trên bên trái của tensor đầu vào và trượt nó
qua tensor đầu vào, cả từ trái sang phải và trên xuống dưới. Khi cửa sổ
covolution trượt đến một vị trí nhất định, subtensor đầu vào chứa trong
cửa sổ đó và tensor kernel được nhân elementwise và tensor kết quả được
tổng hợp lên mang lại một giá trị vô hướng duy nhất. Kết quả này cho giá
trị của tensor đầu ra tại vị trí tương ứng. Ở đây, tensor đầu ra có
chiều cao 2 và chiều rộng 2 và bốn phần tử có nguồn gốc từ hoạt động
tương quan chéo hai chiều:
.. math::
0\times0+1\times1+3\times2+4\times3=19,\\
1\times0+2\times1+4\times2+5\times3=25,\\
3\times0+4\times1+6\times2+7\times3=37,\\
4\times0+5\times1+7\times2+8\times3=43.
Lưu ý rằng dọc theo mỗi trục, kích thước đầu ra nhỏ hơn một chút so với
kích thước đầu vào. Bởi vì hạt nhân có chiều rộng và chiều cao lớn hơn
một, chúng ta chỉ có thể tính toán tương quan chéo cho các vị trí mà hạt
nhân vừa vặn hoàn toàn trong hình ảnh, kích thước đầu ra được đưa ra bởi
kích thước đầu vào :math:`n_h \times n_w` trừ đi kích thước của hạt nhân
phức tạp :math:`k_h \times k_w` qua
.. math:: (n_h-k_h+1) \times (n_w-k_w+1).
Đây là trường hợp vì chúng ta cần đủ không gian để “thay đổi” hạt nhân
phức tạp trên hình ảnh. Sau đó chúng ta sẽ thấy làm thế nào để giữ cho
kích thước không thay đổi bằng cách đệm hình ảnh với các số không xung
quanh ranh giới của nó để có đủ không gian để thay đổi hạt nhân. Tiếp
theo, chúng tôi triển khai quá trình này trong hàm ``corr2d``, chấp nhận
tensor đầu vào ``X`` và tensor kernel ``K`` và trả về tensor đầu ra
``Y``.
.. raw:: html
.. raw:: html
.. code:: python
from mxnet import autograd, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l
npx.set_np()
def corr2d(X, K): #@save
"""Compute 2D cross-correlation."""
h, w = K.shape
Y = np.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
return Y
.. raw:: html
.. raw:: html
.. code:: python
import torch
from torch import nn
from d2l import torch as d2l
def corr2d(X, K): #@save
"""Compute 2D cross-correlation."""
h, w = K.shape
Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
return Y
.. raw:: html
.. raw:: html
.. code:: python
import tensorflow as tf
from d2l import tensorflow as d2l
def corr2d(X, K): #@save
"""Compute 2D cross-correlation."""
h, w = K.shape
Y = tf.Variable(tf.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)))
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i, j].assign(tf.reduce_sum(
X[i: i + h, j: j + w] * K))
return Y
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
X = np.array([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = np.array([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)
.. parsed-literal::
:class: output
array([[19., 25.],
[37., 43.]])
.. raw:: html
.. raw:: html
.. code:: python
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)
.. parsed-literal::
:class: output
tensor([[19., 25.],
[37., 43.]])
.. raw:: html
.. raw:: html
.. code:: python
X = tf.constant([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = tf.constant([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
class Conv2D(nn.Block):
def __init__(self, kernel_size, **kwargs):
super().__init__(**kwargs)
self.weight = self.params.get('weight', shape=kernel_size)
self.bias = self.params.get('bias', shape=(1,))
def forward(self, x):
return corr2d(x, self.weight.data()) + self.bias.data()
.. raw:: html
.. raw:: html
.. code:: python
class Conv2D(nn.Module):
def __init__(self, kernel_size):
super().__init__()
self.weight = nn.Parameter(torch.rand(kernel_size))
self.bias = nn.Parameter(torch.zeros(1))
def forward(self, x):
return corr2d(x, self.weight) + self.bias
.. raw:: html
.. raw:: html
.. code:: python
class Conv2D(tf.keras.layers.Layer):
def __init__(self):
super().__init__()
def build(self, kernel_size):
initializer = tf.random_normal_initializer()
self.weight = self.add_weight(name='w', shape=kernel_size,
initializer=initializer)
self.bias = self.add_weight(name='b', shape=(1, ),
initializer=initializer)
def call(self, inputs):
return corr2d(inputs, self.weight) + self.bias
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
X = np.ones((6, 8))
X[:, 2:6] = 0
X
.. parsed-literal::
:class: output
array([[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.]])
.. raw:: html
.. raw:: html
.. code:: python
X = torch.ones((6, 8))
X[:, 2:6] = 0
X
.. parsed-literal::
:class: output
tensor([[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.]])
.. raw:: html
.. raw:: html
.. code:: python
X = tf.Variable(tf.ones((6, 8)))
X[:, 2:6].assign(tf.zeros(X[:, 2:6].shape))
X
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
K = np.array([[1.0, -1.0]])
.. raw:: html
.. raw:: html
.. code:: python
K = torch.tensor([[1.0, -1.0]])
.. raw:: html
.. raw:: html
.. code:: python
K = tf.constant([[1.0, -1.0]])
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
Y = corr2d(X, K)
Y
.. parsed-literal::
:class: output
array([[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.]])
.. raw:: html
.. raw:: html
.. code:: python
Y = corr2d(X, K)
Y
.. parsed-literal::
:class: output
tensor([[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.]])
.. raw:: html
.. raw:: html
.. code:: python
Y = corr2d(X, K)
Y
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
corr2d(d2l.transpose(X), K)
.. parsed-literal::
:class: output
array([[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.]])
.. raw:: html
.. raw:: html
.. code:: python
corr2d(X.t(), K)
.. parsed-literal::
:class: output
tensor([[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.]])
.. raw:: html
.. raw:: html
.. code:: python
corr2d(tf.transpose(X), K)
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
# Construct a two-dimensional convolutional layer with 1 output channel and a
# kernel of shape (1, 2). For the sake of simplicity, we ignore the bias here
conv2d = nn.Conv2D(1, kernel_size=(1, 2), use_bias=False)
conv2d.initialize()
# The two-dimensional convolutional layer uses four-dimensional input and
# output in the format of (example, channel, height, width), where the batch
# size (number of examples in the batch) and the number of channels are both 1
X = X.reshape(1, 1, 6, 8)
Y = Y.reshape(1, 1, 6, 7)
lr = 3e-2 # Learning rate
for i in range(10):
with autograd.record():
Y_hat = conv2d(X)
l = (Y_hat - Y) ** 2
l.backward()
# Update the kernel
conv2d.weight.data()[:] -= lr * conv2d.weight.grad()
if (i + 1) % 2 == 0:
print(f'epoch {i + 1}, loss {float(l.sum()):.3f}')
.. parsed-literal::
:class: output
epoch 2, loss 4.949
epoch 4, loss 0.831
epoch 6, loss 0.140
epoch 8, loss 0.024
epoch 10, loss 0.004
[10:44:11] src/base.cc:49: GPU context requested, but no GPUs found.
.. raw:: html
.. raw:: html
.. code:: python
# Construct a two-dimensional convolutional layer with 1 output channel and a
# kernel of shape (1, 2). For the sake of simplicity, we ignore the bias here
conv2d = nn.Conv2d(1,1, kernel_size=(1, 2), bias=False)
# The two-dimensional convolutional layer uses four-dimensional input and
# output in the format of (example, channel, height, width), where the batch
# size (number of examples in the batch) and the number of channels are both 1
X = X.reshape((1, 1, 6, 8))
Y = Y.reshape((1, 1, 6, 7))
lr = 3e-2 # Learning rate
for i in range(10):
Y_hat = conv2d(X)
l = (Y_hat - Y) ** 2
conv2d.zero_grad()
l.sum().backward()
# Update the kernel
conv2d.weight.data[:] -= lr * conv2d.weight.grad
if (i + 1) % 2 == 0:
print(f'epoch {i + 1}, loss {l.sum():.3f}')
.. parsed-literal::
:class: output
epoch 2, loss 13.780
epoch 4, loss 4.541
epoch 6, loss 1.675
epoch 8, loss 0.655
epoch 10, loss 0.263
.. raw:: html
.. raw:: html
.. code:: python
# Construct a two-dimensional convolutional layer with 1 output channel and a
# kernel of shape (1, 2). For the sake of simplicity, we ignore the bias here
conv2d = tf.keras.layers.Conv2D(1, (1, 2), use_bias=False)
# The two-dimensional convolutional layer uses four-dimensional input and
# output in the format of (example, height, width, channel), where the batch
# size (number of examples in the batch) and the number of channels are both 1
X = tf.reshape(X, (1, 6, 8, 1))
Y = tf.reshape(Y, (1, 6, 7, 1))
lr = 3e-2 # Learning rate
Y_hat = conv2d(X)
for i in range(10):
with tf.GradientTape(watch_accessed_variables=False) as g:
g.watch(conv2d.weights[0])
Y_hat = conv2d(X)
l = (abs(Y_hat - Y)) ** 2
# Update the kernel
update = tf.multiply(lr, g.gradient(l, conv2d.weights[0]))
weights = conv2d.get_weights()
weights[0] = conv2d.weights[0] - update
conv2d.set_weights(weights)
if (i + 1) % 2 == 0:
print(f'epoch {i + 1}, loss {tf.reduce_sum(l):.3f}')
.. parsed-literal::
:class: output
epoch 2, loss 21.779
epoch 4, loss 3.658
epoch 6, loss 0.616
epoch 8, loss 0.104
epoch 10, loss 0.018
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
conv2d.weight.data().reshape((1, 2))
.. parsed-literal::
:class: output
array([[ 0.9895 , -0.9873705]])
.. raw:: html
.. raw:: html
.. code:: python
conv2d.weight.data.reshape((1, 2))
.. parsed-literal::
:class: output
tensor([[ 1.0415, -0.9363]])
.. raw:: html
.. raw:: html
.. code:: python
tf.reshape(conv2d.get_weights()[0], (1, 2))
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html