12. Hiệu suất tính toán

Trong học sâu, các tập dữ liệu và mô hình thường lớn, liên quan đến tính toán nặng. Do đó, hiệu suất tính toán rất quan trọng. Chương này sẽ tập trung vào các yếu tố chính ảnh hưởng đến hiệu suất tính toán: lập trình bắt buộc, lập trình tượng trưng, tính toán không đồng bộ, song song tự động và tính toán đa GPU. Bằng cách nghiên cứu chương này, bạn có thể cải thiện hơn nữa hiệu suất tính toán của các mô hình được thực hiện trong các chương trước, ví dụ, bằng cách giảm thời gian đào tạo mà không ảnh hưởng đến độ chính xác.

• 12.1. Trình biên dịch và phiên dịch
  • 12.1.1. Lập trình tượng trưng
  • 12.1.2. Lập trình lai
  • 12.1.3. Lai tạo lớp Sequential
  • 12.1.4. Tóm tắt
  • 12.1.5. Bài tập
• 12.2. Tính toán không đồng bộ
  • 12.2.1. Asynchrony qua Backend
  • 12.2.2. Rào cản và chặn
  • 12.2.3. Cải thiện tính toán
  • 12.2.4. Tóm tắt
  • 12.2.5. Bài tập
• 12.3. Song song tự động
  • 12.3.1. Tính toán song song trên GPU
  • 12.3.2. Tính toán song song và truyền thông
  • 12.3.3. Tóm tắt
  • 12.3.4. Bài tập
• 12.4. Phần cứng
  • 12.4.1. Máy vi tính
  • 12.4.2. Bộ nhớ
  • 12.4.3. Lưu trữ
  • 12.4.4. CPU
  • 12.4.5. GPU và các bộ tăng tốc khác
  • 12.4.6. Mạng và xe buýt
  • 12.4.7. Nhiều số độ trễ hơn
  • 12.4.8. Tóm tắt
  • 12.4.9. Bài tập
• 12.5. Đào tạo về nhiều GPU
  • 12.5.1. Chia tách vấn đề
  • 12.5.2. Dữ liệu song song
  • 12.5.3. Một mạng đồ chơi
  • 12.5.4. Đồng bộ hóa dữ liệu
  • 12.5.5. Phân phối dữ liệu
  • 12.5.6. Đào tạo
  • 12.5.7. Tóm tắt
  • 12.5.8. Bài tập
• 12.6. Triển khai ngắn gọn cho nhiều GPU
  • 12.6.1. Một mạng đồ chơi
  • 12.6.2. Khởi tạo mạng
  • 12.6.3. Đào tạo
  • 12.6.4. Tóm tắt
  • 12.6.5. Bài tập
• 12.7. Máy chủ tham số
  • 12.7.1. Đào tạo dữ liệu song song
  • 12.7.2. Đồng bộ hóa vòng
  • 12.7.3. Đào tạo đa máy
  • 12.7.4. Cửa hàng Key — Value
  • 12.7.5. Tóm tắt
  • 12.7.6. Bài tập