Bài giảng Trí tuệ nhân tạo: Bài 13 - Trương Xuân Nam

Bài giảng Trí tuệ nhân tạo: Bài 13 Mạng thần kinh nhân tạo cung cấp cho người học những kiến thức như: Một chút về quá trình phát triển của ANN; Perceptron; Huấn luyện một perceptron; Thuật toán huấn luyện Hebb; Thuật toán huấn luyện LMS; Sức mạnh của một perception.
Nội dung trích xuất từ tài liệu:
Bài giảng Trí tuệ nhân tạo: Bài 13 - Trương Xuân Nam TRÍ TUỆ NHÂN TẠOBài 13: Mạng thần kinh nhân tạo (1)Nội dung1. Một chút về quá trình phát triển của ANN2. Perceptron3. Huấn luyện một perceptron  Thuật toán huấn luyện Hebb  Thuật toán huấn luyện LMS4. Sức mạnh của một perception TRƯƠNG XUÂN NAM 2Phần 1Một chút về quá trình pháttriển của ANN TRƯƠNG XUÂN NAM 3Sự phát triển của ANN 1943: Warren McCulloch & Walter Pitts công bố các nghiên cứu lý thuyết về hoạt động của mạng thần kinh tại ĐH Chicago 1949: Hebb xuất bản quyển “The Organization of Behavior” 1954: Minsky làm luận án tiến sĩ về một kiến trúc mạng thần kinh 1959: Rosenblatt xây dựng kiến trúc perceptron tại ĐH Cornell (ảnh bên) TRƯƠNG XUÂN NAM 4Sự phát triển của ANN 1960: Widrow và Hoff giới thiệu thuật toán LMS 1961: Minsky viết quyển “Steps Toward Artificial Intelligent” 1969: Minsky và Papert viết một công trình đánh giá thấp khả năng của ANN 1982: Hopfield xây dựng mạng có nhớ, một dạng RNN 1982: Kohonen giới thiệu mạng tự tổ chức (SOM) 1986: Rumelhart, Hinton & Williams giới thiệu giải thuật lan truyền ngược lỗi 1989: Yann LeCun (Bell Labs) giới thiệu kiến trúc mạng CNN sơ khai TRƯƠNG XUÂN NAM 5Sự phát triển của ANN 1997: Jürgen Schmidhuber giới thiệu LSTM (Long short- term Memory) 2006: Geoffrey Hinton giới thiệu thuật toán huấn luyện hiệu quả cho DBNs (deep belief networks) 2012: Nhóm của Geoffrey Hinton gây sốc ở cuộc thi ImageNet với một mạng CNN siêu lớn và chiến thắng cách biệt 10-15% so với đội đứng thứ 2  500.000 nơ-ron, 60.000.000 tham số  Huấn luyện 1 tuần với 2 GPU NVidia GTX 580 2012: Google Brain sử dụng một CNN 1 tỉ tham số để tự học khái niệm “con mèo” từ 10 triệu ảnh không có nhãn TRƯƠNG XUÂN NAM 6Sự phát triển của ANN 3/2016: Google DeepMind giới thiệu AlphaGo, sử dụng một thuật toán học sâu tăng cường để học chơi và thắng vô địch thế giới môn cờ Vây 12/2017: Google ra mắt AlphaZero, hệ thống tự học và chơi 3 game cờ hoàn toàn khác nhau (chess, go, shogi) ở trình độ mà chưa một phần mềm nào đạt được- AI phát triển có nhanh hay không?- KHÔNG, năm 1903 con người có chuyến bay đầu tiên (chỉkhoảng 37m), 66 năm sau con người đã đặt chân lên Mặttrăng. AI ra đời cách đây 62 năm. TRƯƠNG XUÂN NAM 7Phần 2Perceptron TRƯƠNG XUÂN NAM 8Tế bào thần kinh sinh học Soma: thân nơron, nhận hoặc phát xung động thần kinh Dendrites: dây thần kinh vào, đưa tín hiệu tới nơron Axon: đầu dây thần kinh ra, nối với dây thần kinh vào hoặc tới nhân tế bào của nơron khác thông qua khớp nối Synapse: khớp kích hoạt hoặc kích thích thông tin TRƯƠNG XUÂN NAM 9Tế bào thần kinh sinh học TRƯƠNG XUÂN NAM 10Perceptron Perceptron là mô phỏng của tế bào thần kinh sinh học  [p0, p1,…, pr] là vector đầu vào với p0 = 1  [w0, w1,…, wr] là vector trọng số, w0 = b  Bộ tổng: n = p0w0+p1w1+…+prwr  Đầu ra: a = hardlims(n) = (s>0) ? 1 : -1  Đích: y Hoạt động: nhận đầu vào, biến đổi thành đầu ra (hàm kích hoạt) Đây chỉ là một trong nhiều cách mô phỏng, các ý tưởng khác:  GRU  LSTM  … TRƯƠNG XUÂN NAM 11Hàm kích hoạt Sử dụng để quyết định perception sẽ trả về kết quả như thế nào  Ví dụ như hàm hardlim: khi nào tổng các tín hiệu đầu vào dương thì hàm trả về 1, ngược lại trả về 0 Thiết kế perception là thiết kế mở, cho phép ta có thể thay đổi hàm kích hoạt theo mục đích riêng, và có rất nhiều loại hàm kích hoạt khác nhau có thể sử dụng TRƯƠNG XUÂN NAM 12Hàm kích hoạt TRƯƠNG XUÂN NAM 13Phần 3Huấn luyện một perceptron TRƯƠNG XUÂN NAM 14Thuật toán huấn luyện Hebb Khởi tạo [w0, w1,…, wn] ban đầu ngẫu nhiên Duyệt toàn bộ tập huấn luyện:  Nếu a = y (kết quả = đích): bỏ qua  Ngược lại: chỉnh wi bởi Δwi = a * xi Lặp lại bước trên chừng nào còn có sai Đặc điểm:  Có tính minh họa  Hội tụ nếu có nghiệm  Không “tối ưu” TRƯƠNG XUÂN NAM 15Thuật toán huấn luyện HebbBước w0 w1 w2 x1 x2 f y 1 -2 1 2 0.5 1.5 +1 +1 -0.5 0.5 -1 -1 0.5 0.5 -1 +1 2 -1 1.5 2.5 TRƯƠNG XUÂN NAM 16Thuật toán huấn luyện LMS Khởi tạo [w0, w1,…, wn] ban đầu bằng 0 Duyệt toàn bộ tập huấn luyện:  Sai số e = y - f  Chỉnh wi bởi Δwi = η * e * xi Lặp lại bước trên đến khi vector W không thay đổi Chú ý: ...