3. Mạng thần kinh tuyến tính

Trước khi chúng ta đi sâu vào các chi tiết của các mạng thần kinh sâu, chúng ta cần phải đề cập đến những điều cơ bản của đào tạo mạng thần kinh. Trong chương này, chúng tôi sẽ bao gồm toàn bộ quá trình đào tạo, bao gồm xác định kiến trúc mạng thần kinh đơn giản, xử lý dữ liệu, chỉ định chức năng mất mát và đào tạo mô hình. Để làm cho mọi thứ dễ nắm bắt hơn, chúng ta bắt đầu với các khái niệm đơn giản nhất. May mắn thay, các kỹ thuật học thống kê cổ điển như hồi quy tuyến tính và softmax có thể được đúc dưới dạng mạng nơ-ron * tuyến tính*. Bắt đầu từ các thuật toán cổ điển này, chúng tôi sẽ giới thiệu cho bạn những điều cơ bản, cung cấp cơ sở cho các kỹ thuật phức tạp hơn trong phần còn lại của cuốn sách.

• 3.1. Hồi quy tuyến tính
  • 3.1.1. Các yếu tố cơ bản của hồi quy tuyến tính
  • 3.1.2. Vectorization cho tốc độ
  • 3.1.3. Phân phối bình thường và tổn thất bình phương
  • 3.1.4. Từ hồi quy tuyến tính đến mạng sâu
  • 3.1.5. Tóm tắt
  • 3.1.6. Bài tập
• 3.2. Thực hiện hồi quy tuyến tính từ đầu
  • 3.2.1. Tạo tập dữ liệu
  • 3.2.2. Đọc tập dữ liệu
  • 3.2.3. Khởi tạo các tham số mô hình
  • 3.2.4. Xác định mô hình
  • 3.2.5. Xác định chức năng mất
  • 3.2.6. Xác định thuật toán tối ưu hóa
  • 3.2.7. Đào tạo
  • 3.2.8. Tóm tắt
  • 3.2.9. Bài tập
• 3.3. Thực hiện ngắn gọn của hồi quy tuyến tính
  • 3.3.1. Tạo tập dữ liệu
  • 3.3.2. Đọc tập dữ liệu
  • 3.3.3. Xác định mô hình
  • 3.3.4. Khởi tạo các tham số mô hình
  • 3.3.5. Xác định chức năng mất
  • 3.3.6. Xác định thuật toán tối ưu hóa
  • 3.3.7. Đào tạo
  • 3.3.8. Tóm tắt
  • 3.3.9. Bài tập
• 3.4. Hồi quy Softmax
  • 3.4.1. Phân loại vấn đề
  • 3.4.2. Kiến trúc mạng
  • 3.4.3. Chi phí tham số của các lớp được kết nối hoàn toàn
  • 3.4.4. Softmax hoạt động
  • 3.4.5. Vectorization cho Minibatches
  • 3.4.6. Chức năng mất
  • 3.4.7. Thông tin cơ bản về lý thuyết
  • 3.4.8. Dự đoán và đánh giá mô hình
  • 3.4.9. Tóm tắt
  • 3.4.10. Bài tập
• 3.5. Tập dữ liệu phân loại hình ảnh
  • 3.5.1. Đọc tập dữ liệu
  • 3.5.2. Đọc một Minibatch
  • 3.5.3. Đặt tất cả mọi thứ lại với nhau
  • 3.5.4. Tóm tắt
  • 3.5.5. Bài tập
• 3.6. Thực hiện hồi quy Softmax từ đầu
  • 3.6.1. Khởi tạo các tham số mô hình
  • 3.6.2. Xác định hoạt động Softmax
  • 3.6.3. Xác định mô hình
  • 3.6.4. Xác định chức năng mất
  • 3.6.5. Phân loại chính xác
  • 3.6.6. Đào tạo
  • 3.6.7. Prediction
  • 3.6.8. Tóm tắt
  • 3.6.9. Bài tập
• 3.7. Thực hiện ngắn gọn về hồi quy Softmax
  • 3.7.1. Khởi tạo các tham số mô hình
  • 3.7.2. Triển khai Softmax Revisited
  • 3.7.3. Thuật toán tối ưu hóa
  • 3.7.4. Đào tạo
  • 3.7.5. Tóm tắt
  • 3.7.6. Bài tập