Nghiên cứu mạng nơ-ron học sâu: Phần 1

Quyển sách Huấn luyện mạng nơ-ron học sâu trình bày mô hình toán của các phương pháp huấn luyện được sử dụng trong mạng học sâu. Hơn nữa, quyển sách trình bày các nghiên cứu xuất phát từ mô hình toán, sau đó hướng đến triển khai các mô hình sử dụng ngôn ngữ Python. Các chương trình được nghiên cứu và viết sát theo mô hình toán mà không sử dụng các thư viện viết sẵn giúp người đọc hiểu được mô hình toán của quá trình huấn luyện và phương pháp lập trình. Mời các bạn cùng tham khảo phần 1 dưới đây!
Nội dung trích xuất từ tài liệu:
Nghiên cứu mạng nơ-ron học sâu: Phần 1 60TRƯƠNG NGỌC SƠNPHẠM NGỌC SƠNLÊ MINH HUẤN LUYỆN MẠNG NƠ-RON HỌC SÂU (Sách chuyên khảo) NHAØ XUAÁT BAÛN ÑAÏI HOÏC QUOÁC GIA TP. HOÀ CHÍ MINH PGS.TS. TRƢƠNG NGỌC SƠN TS. PHẠM NGỌC SƠN ThS. LÊ MINH HUẤN LUYỆNMẠNG NƠ-RON HỌC SÂU (Sách chuyên khảo) NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH – 20222 LỜI NÓI ĐẦU Máy học và trí tuệ nhân tạo đang phát triển mạnh và ngày càngđược ứng dụng nhiều vào cuộc sống nhằm góp phần tạo ra các công nghệcó thể thay thế sức lao động của con người. Sự phát triển của trí tuệ nhântạo không chỉ tạo ra các hệ thống tự động hỗ trợ con người mà nó cònhướng đến thay thế các công việc mà trước đây chỉ có con người mớithực hiện được. Trí tuệ nhân tạo đề cập đến một loại ứng dụng có khảnăng thực hiện các công việc một cách thông minh như con người vì bộnão con người đóng vai trò quyết định trong các hoạt động. Chính vì thế,khi nói đến trí tuệ nhân tạo, chúng ta hướng đến việc thiết kế một mạngnơ-ron nhân tạo sao cho nó hoạt động tương tự như bộ não con người bởivì nơ-ron là đơn vị tạo nên bộ não người. Ngày nay các lĩnh vực của trítuệ nhân tạo không ngừng phát triển như mạng học sâu, xử lý ngôn ngữtự nhiên,… Những mô hình này đều dựa trên các mạng nơ-ron nhân tạonhiều lớp. Hiểu về cấu trúc và phương pháp huấn luyện các mạng nơ-ronnhân tạo, mạng học sâu là nền tảng cho việc nghiên cứu và phát triển cácứng dụng của mạng học sâu trong nhiều lĩnh vực khác nhau. Quyển sáchnày trình bày mô hình toán của các phương pháp huấn luyện được sửdụng trong mạng học sâu. Hơn nữa, quyển sách trình bày các nghiên cứuxuất phát từ mô hình toán, sau đó hướng đến triển khai các mô hình sửdụng ngôn ngữ Python. Các chương trình được nghiên cứu và viết sáttheo mô hình toán mà không sử dụng các thư viện viết sẵn giúp ngườiđọc hiểu được mô hình toán của quá trình huấn luyện và phương pháp lậptrình. Trong các ứng dụng nâng cao, chúng ta đi sử dụng các thư viện hỗtrợ sau khi đã hiểu tường tận về các phương pháp huấn luyện, ý nghĩa cácthông số mô hình. Quyển sách Huấn luyện mạng nơ-ron học sâu được biên soạnbao gồm các lý thuyết về huấn luyện mạng nơ-ron dựa trên giải thuậtGradient Descent và các phương pháp cải tiến của giải thuật GradientDescent. Các mô hình toán của quá trình huấn luyện được thực thi trênngôn ngữ Python và thư viện numpy. Trong phần cuối của quyển sách,chúng ta sẽ phát triển một số ứng dụng thực tế áp dụng các mô hìnhmạng học sâu. Quyển sách được biên soạn nhằm phục vụ cho quá trìnhnghiên cứu và ứng dụng máy học, trí tuệ nhân tạo, mạng học sâu của sinhviên các ngành Kỹ thuật tại các trường Đại học. Nội dung của quyển sách được tổ chức thành 6 chương: 3 Chương 1: Giới thiệu về mạng nơ-ron nhân tạo và các phương pháphuấn luyện mạng. Chương 1 bao gồm các mô hình toán cụ thể của quátrình huấn luyện mạng nơ-ron. Chương 2: Giới thiệu các phương pháp huấn luyện mạng nơ-ronđược sử dụng trong các mạng nhiều lớp (multi-layer neural network),mạng nơ-ron sâu (Deep neural network) và chương trình được xây dựngđi kèm cho mỗi phương pháp huấn luyện. Nội dung Chương 2 trình bàycác phương pháp huấn luyện truyền thống và các phương pháp cải tiếnđược sử dụng phổ biến trong phát triển mạng học sâu hiện đại. Chương 3: Giới thiệu các phương pháp tối ưu cho quá trình huấnluyện các mạng nơ-ron. Bên cạnh đó, Chương 3 cũng đồng thời giớithiệu các chương trình được xây dựng đi kèm cho mỗi phương pháp tốiưu. Chương 4: Giới thiệu về mạng nơ-ron tích chập và phương pháphuấn luyện cho mạng nơ-ron tích chập. Chương này phân tích cấu trúccủa các mạng nơ-ron tích chập, chức năng của các lớp, phương pháphuấn luyện và cập nhật trọng số cho mạng nơ-ron tích chập và ứng dụngminh họa được xây dựng kèm. Chương 5: Trình bày phương pháp lượng tử hóa các thông số củamô hình mạng nơ-ron để tối ưu mạng nơ-ron cho mục đích thực thi trêncác hệ thống phần cứng có tài nguyên giới hạn. Chương này cũng giớithiệu chi tiết về mạng nơ-ron nhị phân, phương pháp cập nhật trọng sốtrong mạng nơ-ron nhị phân và ứng dụng minh họa đi kèm. Chương 6: Xây dựng các ứng dụng mạng nơ-ron sâu dựa trên thưviện Pytorch. Trong chương này, chúng ta tìm hiểu một số đặc điểm củathư viện Pytorch, xây dựng và huấn luyện các ứng dụng mạng nhiều lớpsử dụng thư viện Pytorch. Cuối cùng, tuy đã rất cố gắng biên soạn và chỉnh sửa nhưng quyểnsách khó tránh khỏi những thiếu sót, tác giả mong nhận được những đónggóp quý báu từ sinh viên và quý đồng nghiệp để quyển sách này đượchoàn thiện hơn trong những lần tái bản tiếp theo. Mọi ý kiến đóng gópxin gửi về tác giả theo địa chỉ liên lạc: Bộ môn Kỹ thuật Máy tính – Viễn thông, Khoa Điện - Điện tử, Trường ...