.. _sec_rcnn:
CNN dựa trên khu vực (R-CNN)
============================
Bên cạnh việc phát hiện multibox shot đơn được mô tả trong
:numref:`sec_ssd`, CNN dựa trên khu vực hoặc các khu vực có tính năng
CNN (R-CNN) cũng là một trong nhiều phương pháp tiên phong trong việc áp
dụng học sâu vào phát hiện đối tượng
:cite:`Girshick.Donahue.Darrell.ea.2014`. Trong phần này, chúng tôi sẽ
giới thiệu R-CNN và một loạt các cải tiến của nó: R-CNN
:cite:`Girshick.2015` nhanh, R-CNN :cite:`Ren.He.Girshick.ea.2015`
nhanh hơn và mặt nạ R-CNN :cite:`He.Gkioxari.Dollar.ea.2017`. Do không
gian hạn chế, chúng tôi sẽ chỉ tập trung vào việc thiết kế các mô hình
này.
R-CNN
-----
*R-CNN* đầu tiên trích xuất nhiều (ví dụ: 2000) \* khu vực đề xuất\* từ
hình ảnh đầu vào (ví dụ, hộp neo cũng có thể được coi là đề xuất khu
vực), dán nhãn các lớp và hộp giới hạn của chúng (ví dụ: bù đắp).
:cite:`Girshick.Donahue.Darrell.ea.2014` Sau đó, CNN được sử dụng để
thực hiện tuyên truyền chuyển tiếp trên mỗi đề xuất khu vực để trích
xuất của nó tính năng. Tiếp theo, các tính năng của mỗi đề xuất khu vực
được sử dụng để dự đoán lớp và hộp giới hạn của đề xuất khu vực này.
.. _fig_r-cnn:
.. figure:: ../img/r-cnn.svg
The R-CNN model.
:numref:`fig_r-cnn` cho thấy mô hình R-CNN. Cụ thể hơn, R-CNN bao gồm
bốn bước sau:
1. Thực hiện \* tìm kiếm chọn lọc\* để trích xuất nhiều đề xuất khu vực
chất lượng cao trên hình ảnh đầu vào
:cite:`Uijlings.Van-De-Sande.Gevers.ea.2013`. Những vùng đề xuất
này thường được chọn ở nhiều thang đo với hình dạng và kích cỡ khác
nhau. Mỗi đề xuất khu vực sẽ được dán nhãn với một lớp học và một hộp
giới hạn sự thật mặt đất.
2. Chọn một CNN được đào tạo trước và cắt ngắn nó trước lớp đầu ra. Thay
đổi kích thước mỗi đề xuất khu vực theo kích thước đầu vào theo yêu
cầu của mạng và xuất các tính năng trích xuất cho đề xuất khu vực
thông qua tuyên truyền chuyển tiếp.
3. Lấy các tính năng trích xuất và lớp được dán nhãn của mỗi đề xuất khu
vực làm ví dụ. Đào tạo nhiều máy vector hỗ trợ để phân loại các đối
tượng, trong đó mỗi máy vector hỗ trợ riêng xác định xem ví dụ có
chứa một lớp cụ thể hay không.
4. Lấy các tính năng được trích xuất và hộp giới hạn được dán nhãn của
mỗi đề xuất khu vực làm ví dụ. Đào tạo một mô hình hồi quy tuyến tính
để dự đoán hộp giới hạn chân thất-chân lý.
Mặc dù mô hình R-CNN sử dụng CNN được đào tạo trước để trích xuất hiệu
quả các tính năng hình ảnh, nhưng nó chậm. Hãy tưởng tượng rằng chúng
tôi chọn hàng ngàn đề xuất khu vực từ một hình ảnh đầu vào duy nhất:
điều này đòi hỏi hàng ngàn tuyên truyền chuyển tiếp CNN để thực hiện
phát hiện đối tượng. Tải trọng điện toán lớn này làm cho việc sử dụng
rộng rãi R-CNN trong các ứng dụng trong thế giới thực không khả thi.
R-CNN nhanh
-----------
Nút cổ chai hiệu suất chính của R-CNN nằm ở việc tuyên truyền chuyển
tiếp CNN độc lập cho từng đề xuất khu vực, mà không chia sẻ tính toán.
Vì những vùng này thường có sự chồng chéo, các trích xuất tính năng độc
lập dẫn đến tính toán lặp đi lặp lại nhiều. Một trong những cải tiến lớn
của \* nhanh R-CNN\* từ R-CNN là CNN chuyển tiếp CNN chỉ được thực hiện
trên toàn bộ hình ảnh :cite:`Girshick.2015`.
.. _fig_fast_r-cnn:
.. figure:: ../img/fast-rcnn.svg
The fast R-CNN model.
:numref:`fig_fast_r-cnn` mô tả mô hình R-CNN nhanh. Các tính toán
chính của nó như sau:
1. So với R-CNN, trong R-CNN nhanh, đầu vào của CNN để trích xuất tính
năng là toàn bộ hình ảnh, chứ không phải là các đề xuất khu vực riêng
lẻ. Hơn nữa, CNN này là có thể đào tạo. Với một hình ảnh đầu vào, hãy
để hình dạng của đầu ra CNN là
:math:`1 \times c \times h_1 \times w_1`.
2. Giả sử rằng tìm kiếm chọn lọc tạo ra :math:`n` đề xuất khu vực. Các
đề xuất khu vực này (có hình dạng khác nhau) đánh dấu các vùng được
quan tâm (có hình dạng khác nhau) trên đầu ra CNN. Sau đó, các khu
vực quan tâm hơn nữa trích xuất các tính năng của cùng một hình dạng
(nói chiều cao :math:`h_2` và chiều rộng :math:`w_2` được chỉ định)
để dễ dàng nối. Để đạt được điều này, R-CNN nhanh giới thiệu lớp
cộp\* khu vực quan tâm (ROI): các đề xuất đầu ra và khu vực CNN được
nhập vào lớp này, xuất các tính năng nối của hình dạng
:math:`n \times c \times h_2 \times w_2` được trích xuất thêm cho tất
cả các đề xuất khu vực.
3. Sử dụng một lớp được kết nối hoàn toàn, biến đổi các tính năng nối
thành một đầu ra của hình dạng :math:`n \times d`, trong đó :math:`d`
phụ thuộc vào thiết kế mô hình.
4. Dự đoán lớp học và hộp giới hạn cho mỗi đề xuất khu vực :math:`n`. Cụ
thể hơn, trong lớp và dự đoán hộp giới hạn, biến đổi đầu ra lớp được
kết nối hoàn toàn thành một đầu ra của hình dạng :math:`n \times q`
(:math:`q` là số lớp) và một đầu ra của hình dạng :math:`n \times 4`,
tương ứng. Dự đoán lớp sử dụng hồi quy softmax.
Khu vực của lớp tổng hợp quan tâm được đề xuất trong R-CNN nhanh khác
với lớp tổng hợp được giới thiệu vào năm :numref:`sec_pooling`. Trong
layer pooling, chúng ta gián tiếp kiểm soát hình dạng đầu ra bằng cách
chỉ định kích thước của cửa sổ pooling, padding, và sải chân. Ngược lại,
chúng ta có thể trực tiếp chỉ định hình dạng đầu ra trong khu vực của
lớp tổng hợp quan tâm.
Ví dụ: chúng ta hãy chỉ định chiều cao và chiều rộng đầu ra cho mỗi khu
vực là :math:`h_2` và :math:`w_2`, tương ứng. Đối với bất kỳ khu vực nào
của cửa sổ quan tâm của hình dạng :math:`h \times w`, cửa sổ này được
chia thành một lưới :math:`h_2 \times w_2` của subwindows, trong đó hình
dạng của mỗi cửa sổ con là khoảng :math:`(h/h_2) \times (w/w_2)`. Trong
thực tế, chiều cao và chiều rộng của bất kỳ cửa sổ con nào sẽ được làm
tròn và phần tử lớn nhất sẽ được sử dụng làm đầu ra của cửa sổ con. Do
đó, khu vực của lớp tổng hợp quan tâm có thể trích xuất các tính năng có
cùng hình dạng ngay cả khi các vùng quan tâm có hình dạng khác nhau.
Như một ví dụ minh họa, trong :numref:`fig_roi`, khu vực quan tâm
:math:`3\times 3` phía trên bên trái được chọn trên một đầu vào
:math:`4 \times 4`. Đối với khu vực quan tâm này, chúng tôi sử dụng một
:math:`2\times 2` khu vực của lớp tổng hợp quan tâm để có được một sản
lượng :math:`2\times 2`. Lưu ý rằng mỗi trong bốn phân chia chứa các
phần tử 0, 1, 4 và 5 (5 là tối đa); 2 và 6 (6 là tối đa); 8 và 9 (9 là
tối đa); và 10.
.. _fig_roi:
.. figure:: ../img/roi.svg
A :math:`2\times 2` region of interest pooling layer.
Dưới đây chúng tôi chứng minh tính toán của khu vực của lớp tổng hợp
quan tâm. Giả sử rằng chiều cao và chiều rộng của các tính năng trích
xuất CNN ``X`` đều là 4 và chỉ có một kênh duy nhất.
.. raw:: html
.. raw:: html
.. code:: python
from mxnet import np, npx
npx.set_np()
X = np.arange(16).reshape(1, 1, 4, 4)
X
.. parsed-literal::
:class: output
array([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. code:: python
import torch
import torchvision
X = torch.arange(16.).reshape(1, 1, 4, 4)
X
.. parsed-literal::
:class: output
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
rois = np.array([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. code:: python
rois = torch.Tensor([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
npx.roi_pooling(X, rois, pooled_size=(2, 2), spatial_scale=0.1)
.. parsed-literal::
:class: output
array([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. code:: python
torchvision.ops.roi_pool(X, rois, output_size=(2, 2), spatial_scale=0.1)
.. parsed-literal::
:class: output
tensor([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html