.. _sec_channels:
Nhiều kênh đầu vào và nhiều đầu ra
==================================
Mặc dù chúng tôi đã mô tả nhiều kênh bao gồm mỗi hình ảnh (ví dụ: hình
ảnh màu có các kênh RGB tiêu chuẩn để chỉ số lượng màu đỏ, xanh lá cây
và xanh dương) và các lớp phức tạp cho nhiều kênh trong
:numref:`subsec_why-conv-channels`, cho đến bây giờ, chúng tôi đã đơn
giản hóa tất cả các ví dụ số của mình bằng cách làm việc với chỉ một đầu
vào và một kênh đầu ra duy nhất. Điều này đã cho phép chúng tôi nghĩ về
các đầu vào của chúng tôi, hạt nhân phức tạp, và đầu ra mỗi cái là hàng
chục hai chiều.
Khi chúng tôi thêm các kênh vào hỗn hợp, các đầu vào và biểu diễn ẩn của
chúng tôi đều trở thành hàng chục ba chiều. Ví dụ, mỗi hình ảnh đầu vào
RGB có hình dạng :math:`3\times h\times w`. Chúng tôi đề cập đến trục
này, với kích thước 3, như kích thước \* kênh\*. Trong phần này, chúng
ta sẽ xem xét sâu hơn về các hạt nhân phức tạp với nhiều kênh đầu vào và
nhiều kênh đầu ra.
Nhiều kênh đầu vào
------------------
Khi dữ liệu đầu vào chứa nhiều kênh, chúng ta cần xây dựng một hạt nhân
phức tạp có cùng số kênh đầu vào với dữ liệu đầu vào, để nó có thể thực
hiện tương quan chéo với dữ liệu đầu vào. Giả sử rằng số kênh cho dữ
liệu đầu vào là :math:`c_i`, số kênh đầu vào của hạt nhân covolution
cũng cần phải là :math:`c_i`. Nếu hình dạng cửa sổ của hạt nhân phức tạp
của chúng ta là :math:`k_h\times k_w`, thì khi :math:`c_i=1`, chúng ta
có thể nghĩ về hạt nhân phức tạp của chúng ta như chỉ là một tensor hai
chiều của hình dạng :math:`k_h\times k_w`.
Tuy nhiên, khi :math:`c_i>1`, chúng ta cần một hạt nhân chứa một tensor
của hình dạng :math:`k_h\times k_w` cho *every* kênh đầu vào. Nối các số
lượng :math:`c_i` này lại với nhau mang lại một hạt nhân phức tạp của
hình dạng :math:`c_i\times k_h\times k_w`. Vì hạt nhân đầu vào và
convolution mỗi kênh có :math:`c_i` kênh, chúng ta có thể thực hiện một
hoạt động tương quan chéo trên tensor hai chiều của đầu vào và tensor
hai chiều của hạt nhân phức tạp cho mỗi kênh, thêm các kết quả
:math:`c_i` với nhau (tổng hợp qua các kênh) để mang lại một hai- tensor
chiều. Đây là kết quả của mối tương quan chéo hai chiều giữa đầu vào đa
kênh và hạt nhân phức tạp đa đầu vào kênh.
Trong :numref:`fig_conv_multi_in`, chúng tôi chứng minh một ví dụ về
mối tương quan chéo hai chiều với hai kênh đầu vào. Các phần bóng mờ là
phần tử đầu ra đầu tiên cũng như các phần tử tensor đầu vào và hạt nhân
được sử dụng cho tính toán đầu ra:
:math:`(1\times1+2\times2+4\times3+5\times4)+(0\times0+1\times1+3\times2+4\times3)=56`.
.. _fig_conv_multi_in:
.. figure:: ../img/conv-multi-in.svg
Cross-correlation computation with 2 input channels.
Để đảm bảo rằng chúng ta thực sự hiểu những gì đang xảy ra ở đây, chúng
ta có thể thực hiện các hoạt động tương quan chéo với nhiều kênh đầu vào
chính mình. Lưu ý rằng tất cả những gì chúng tôi đang làm là thực hiện
một hoạt động tương quan chéo trên mỗi kênh và sau đó thêm kết quả.
.. raw:: html
.. raw:: html
.. code:: python
from mxnet import np, npx
from d2l import mxnet as d2l
npx.set_np()
def corr2d_multi_in(X, K):
# First, iterate through the 0th dimension (channel dimension) of `X` and
# `K`. Then, add them together
return sum(d2l.corr2d(x, k) for x, k in zip(X, K))
.. raw:: html
.. raw:: html
.. code:: python
import torch
from d2l import torch as d2l
def corr2d_multi_in(X, K):
# First, iterate through the 0th dimension (channel dimension) of `X` and
# `K`. Then, add them together
return sum(d2l.corr2d(x, k) for x, k in zip(X, K))
.. raw:: html
.. raw:: html
.. code:: python
import tensorflow as tf
from d2l import tensorflow as d2l
def corr2d_multi_in(X, K):
# First, iterate through the 0th dimension (channel dimension) of `X` and
# `K`. Then, add them together
return tf.reduce_sum([d2l.corr2d(x, k) for x, k in zip(X, K)], axis=0)
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
X = np.array([[[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]],
[[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]]])
K = np.array([[[0.0, 1.0], [2.0, 3.0]], [[1.0, 2.0], [3.0, 4.0]]])
corr2d_multi_in(X, K)
.. parsed-literal::
:class: output
array([[ 56., 72.],
[104., 120.]])
.. raw:: html
.. raw:: html
.. code:: python
X = torch.tensor([[[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]],
[[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]]])
K = torch.tensor([[[0.0, 1.0], [2.0, 3.0]], [[1.0, 2.0], [3.0, 4.0]]])
corr2d_multi_in(X, K)
.. parsed-literal::
:class: output
tensor([[ 56., 72.],
[104., 120.]])
.. raw:: html
.. raw:: html
.. code:: python
X = tf.constant([[[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]],
[[1.0, 2.0, 3.0], [4.0, 5.0, 6.0], [7.0, 8.0, 9.0]]])
K = tf.constant([[[0.0, 1.0], [2.0, 3.0]], [[1.0, 2.0], [3.0, 4.0]]])
corr2d_multi_in(X, K)
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out(X, K):
# Iterate through the 0th dimension of `K`, and each time, perform
# cross-correlation operations with input `X`. All of the results are
# stacked together
return np.stack([corr2d_multi_in(X, k) for k in K], 0)
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out(X, K):
# Iterate through the 0th dimension of `K`, and each time, perform
# cross-correlation operations with input `X`. All of the results are
# stacked together
return torch.stack([corr2d_multi_in(X, k) for k in K], 0)
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out(X, K):
# Iterate through the 0th dimension of `K`, and each time, perform
# cross-correlation operations with input `X`. All of the results are
# stacked together
return tf.stack([corr2d_multi_in(X, k) for k in K], 0)
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
K = np.stack((K, K + 1, K + 2), 0)
K.shape
.. parsed-literal::
:class: output
(3, 2, 2, 2)
.. raw:: html
.. raw:: html
.. code:: python
K = torch.stack((K, K + 1, K + 2), 0)
K.shape
.. parsed-literal::
:class: output
torch.Size([3, 2, 2, 2])
.. raw:: html
.. raw:: html
.. code:: python
K = tf.stack((K, K + 1, K + 2), 0)
K.shape
.. parsed-literal::
:class: output
TensorShape([3, 2, 2, 2])
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
corr2d_multi_in_out(X, K)
.. parsed-literal::
:class: output
array([[[ 56., 72.],
[104., 120.]],
[[ 76., 100.],
[148., 172.]],
[[ 96., 128.],
[192., 224.]]])
.. raw:: html
.. raw:: html
.. code:: python
corr2d_multi_in_out(X, K)
.. parsed-literal::
:class: output
tensor([[[ 56., 72.],
[104., 120.]],
[[ 76., 100.],
[148., 172.]],
[[ 96., 128.],
[192., 224.]]])
.. raw:: html
.. raw:: html
.. code:: python
corr2d_multi_in_out(X, K)
.. parsed-literal::
:class: output
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out_1x1(X, K):
c_i, h, w = X.shape
c_o = K.shape[0]
X = X.reshape((c_i, h * w))
K = K.reshape((c_o, c_i))
# Matrix multiplication in the fully-connected layer
Y = np.dot(K, X)
return Y.reshape((c_o, h, w))
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out_1x1(X, K):
c_i, h, w = X.shape
c_o = K.shape[0]
X = X.reshape((c_i, h * w))
K = K.reshape((c_o, c_i))
# Matrix multiplication in the fully-connected layer
Y = torch.matmul(K, X)
return Y.reshape((c_o, h, w))
.. raw:: html
.. raw:: html
.. code:: python
def corr2d_multi_in_out_1x1(X, K):
c_i, h, w = X.shape
c_o = K.shape[0]
X = tf.reshape(X, (c_i, h * w))
K = tf.reshape(K, (c_o, c_i))
# Matrix multiplication in the fully-connected layer
Y = tf.matmul(K, X)
return tf.reshape(Y, (c_o, h, w))
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
X = np.random.normal(0, 1, (3, 3, 3))
K = np.random.normal(0, 1, (2, 3, 1, 1))
Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
assert float(np.abs(Y1 - Y2).sum()) < 1e-6
.. raw:: html
.. raw:: html
.. code:: python
X = torch.normal(0, 1, (3, 3, 3))
K = torch.normal(0, 1, (2, 3, 1, 1))
Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
assert float(torch.abs(Y1 - Y2).sum()) < 1e-6
.. raw:: html
.. raw:: html
.. code:: python
X = tf.random.normal((3, 3, 3), 0, 1)
K = tf.random.normal((2, 3, 1, 1), 0, 1)
Y1 = corr2d_multi_in_out_1x1(X, K)
Y2 = corr2d_multi_in_out(X, K)
assert float(tf.reduce_sum(tf.abs(Y1 - Y2))) < 1e-6
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html