.. _sec_encoder-decoder:
Kiến trúc mã hóa-Decoder
========================
Như chúng ta đã thảo luận trong :numref:`sec_machine_translation`,
dịch máy là một tên miền vấn đề lớn cho các mô hình chuyển tải chuỗi, có
đầu vào và đầu ra đều là chuỗi độ dài biến đổi. Để xử lý loại đầu vào và
đầu ra này, chúng ta có thể thiết kế một kiến trúc với hai thành phần
chính. Thành phần đầu tiên là bộ mã hóa\ *: nó lấy một chuỗi có độ dài
thay đổi làm đầu vào và biến nó thành trạng thái có hình dạng cố định.
Thành phần thứ hai là một *\ decoder\ *: nó ánh xạ trạng thái mã hóa của
một hình dạng cố định đến một chuỗi có chiều dài biến đổi. Đây được gọi
là kiến trúc *\ encoder-decoder\*, được mô tả trong
:numref:`fig_encoder_decoder`.
.. _fig_encoder_decoder:
.. figure:: ../img/encoder-decoder.svg
The encoder-decoder architecture.
Hãy để chúng tôi lấy bản dịch máy từ tiếng Anh sang tiếng Pháp làm ví
dụ. Cho một chuỗi đầu vào bằng tiếng Anh: “They”, “are”, “watching”,” .
“, kiến trúc bộ mã hóa giải mã này đầu tiên mã hóa đầu vào có độ dài
biến đổi thành một trạng thái, sau đó giải mã trạng thái để tạo ra token
chuỗi dịch bằng token làm đầu ra: “Ils”, “regardent”, “.”. Vì kiến trúc
bộ mã hóa-giải mã tạo thành nền tảng của các mô hình chuyển đổi chuỗi
khác nhau trong các phần tiếp theo, phần này sẽ chuyển đổi kiến trúc này
thành một giao diện sẽ được triển khai sau này.
Bộ mã hóa
---------
Trong giao diện bộ mã hóa, chúng tôi chỉ xác định rằng bộ mã hóa lấy các
chuỗi có độ dài thay đổi làm đầu vào ``X``. Việc triển khai sẽ được cung
cấp bởi bất kỳ mô hình nào kế thừa lớp cơ sở ``Encoder`` này.
.. raw:: html
.. raw:: html
.. code:: python
from mxnet.gluon import nn
#@save
class Encoder(nn.Block):
"""The base encoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def forward(self, X, *args):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
from torch import nn
#@save
class Encoder(nn.Module):
"""The base encoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def forward(self, X, *args):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
import tensorflow as tf
#@save
class Encoder(tf.keras.layers.Layer):
"""The base encoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def call(self, X, *args, **kwargs):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
#@save
class Decoder(nn.Block):
"""The base decoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
def init_state(self, enc_outputs, *args):
raise NotImplementedError
def forward(self, X, state):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
#@save
class Decoder(nn.Module):
"""The base decoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
def init_state(self, enc_outputs, *args):
raise NotImplementedError
def forward(self, X, state):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
#@save
class Decoder(tf.keras.layers.Layer):
"""The base decoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
def init_state(self, enc_outputs, *args):
raise NotImplementedError
def call(self, X, state, **kwargs):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
#@save
class EncoderDecoder(nn.Block):
"""The base class for the encoder-decoder architecture."""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def forward(self, enc_X, dec_X, *args):
enc_outputs = self.encoder(enc_X, *args)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state)
.. raw:: html
.. raw:: html
.. code:: python
#@save
class EncoderDecoder(nn.Module):
"""The base class for the encoder-decoder architecture."""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def forward(self, enc_X, dec_X, *args):
enc_outputs = self.encoder(enc_X, *args)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state)
.. raw:: html
.. raw:: html
.. code:: python
#@save
class EncoderDecoder(tf.keras.Model):
"""The base class for the encoder-decoder architecture."""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def call(self, enc_X, dec_X, *args, **kwargs):
enc_outputs = self.encoder(enc_X, *args, **kwargs)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state, **kwargs)
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html