Huấn luyện mạng neuron nhân tạo

Một bước rất quan trọng của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc họcHuấn luyện x1 W2 Đầu ra...
Nội dung trích xuất từ tài liệu:
Huấn luyện mạng neuron nhân tạoHuấn luyện mạngneuron nhân tạoPhần GV: Lê Hoài LongHọc của mạng neuron Một bước rất quan trọng của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học Huấn luyện x1 W2 x2Đầu vào Đầu ra Neuron Wn xn Các thông số huấn luyện GV: Lê Hoài LongHọc của mạng neuron Có hai cách học khác nhau trong mạng neuron nhân tạo : Học tham số (parameter learning) và học cấu trúc (structure learning). Hầu hết trong các nghiên cứu trong ngành quản lý xây dựng, ta dùng cách học thông số để huấn luyện mạng GV: Lê Hoài LongHọc thông số Học thông số là phương pháp học bằng cách cập nhật trọng số kết nối. Vấn đề đặt ra là tìm cách nào để tìm ra một ma trận trọng số thực sự của mạng xấp xỉ với ma trận W trong quá trình xử lý thông tin? Chế độ học thông số được áp dụng là chế độ học giám sát GV: Lê Hoài Long Học giám sát (supervised) Mạng neuron X(Đầu vào) W Y (Đầu ra thực sự) Tín hiệu sai số d (Đầu ra mong muốn) Khâu phát sinh tín hiệu sai số GV: Lê Hoài LongMạng hướng tiến và giải thuật lantruyền ngược (Back-Propagation) Giải thuật được sử dụng để huấn luyện các mạng nuôi tiến nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi tuyến. Giải thuật sẽ cung cấp một thủ tục cho việc cấp nhật các trọng số kết nối trong mạng truyền ngược từ lớp neuron đầu ra đến lớp neuron đầu vào. GV: Lê Hoài LongMạng hướng tiến và giải thuật lantruyền ngược (Back-Propagation) Giải thuật vận hành theo hai luồng dữ liệu. Đó là: Đầu tiên, các mẫu huấn luyện được truyền  từ lớp neuron đầu vào đến lớp đầu ra và cho kết quả thực sự y(k) của lớp neuron đầu ra. Sau đó, tín hiệu sai lệch giữa đầu ra mong  muốn và đầu ra thực sự của mạng truyền ngược từ lớp đầu ra đến các lớp đứng trước để cập nhật các trọng số kết nối trong mạng. GV: Lê Hoài LongMạng hướng tiến và giải thuật lantruyền ngược (Back-Propagation) Việc áp dụng phương pháp lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính : ánh xạ và lan truyền ngược sai số. Quá trình luyện mạng được bắt đầu với các trọng số tùy ý có thể là các số ngẫu nhiên và tiến hành lặp đi lặp lại. Mỗi lần lặp được gọi là một thế hệ. Trong mỗi thế hệ, mạng hiệu chỉnh các trọng số sao cho sai số giảm dần. GV: Lê Hoài LongThuật toán tối ưu hóa tronghuấn luyện Ba thuật toán hay sử dụng nhất đó là: Steepest descent,   Newton,  và conjugate gradient Ba thuật toán này có thể tìm hiểu sâu trong tài liệu được giao GV: Lê Hoài LongNhiễu Thiếu thông tin Thông tin không chính xác Thông tin thiếu. GV: Lê Hoài LongQuá khớp (lack of generality) Mạng bị quá khớp được đặt biệt quan tâm. Nghĩa là mạng không có khả năng tổng quát hoá, điều mà ta cần khi sử dụng mạng Mạng sẽ trả lời chính xác những gì nó được học còn những gì nó không được học nó không quan tâm GV: Lê Hoài LongQuá khớp (lack of generality) Việc huấn luyện mạng với số bước lớn hơn cần thiết. Nguyên nhân là mạng đã được luyện quá khớp với dữ liệu học (kể cả nhiễu). Tính linh động của lan truyền ngược là lý do khiến nó có thể thực hiện công việc tạo mô hình tốt hơn hồi qui tuyến tính, nhưng cũng vì thế có thể dễ dẫn đến vấn đề quá khớp. GV: Lê Hoài Long Quá khớp (lack of generality) 8500 thế hệ3000 thế hệ 15000 thế hệ7000 thế hệ 101000 thế hệ GV: Lê Hoài LongQuátrìnhpháttriển củamô hìnhneuron GV: Lê Hoài LongĐánh giá mô hìnhĐánh giá dựa trên sai số Sai số phần trăm (percentage error) (Predicted  Actual) PE  *100% Actual Sai số phần trăm tuyệt đố trung bình (Mean absolute percentage error) 1 n Predicted  Actual MAPE   *100% n1 Actual GV: Lê Hoài LongĐánh giá mô hình Sai số bình phương trung bình (Mean squared error) n Predicted  Actual2  1 MSE  n Sai số căn bậc hai bình phương trung bình (Root mean squared error) n Predicted  Actual2  1 RMSE  n GV: Lê Hoài Long Đánh giá mô hìnhĐánh giá dựa trên độ phù hợp (goodness of fit) Hệ số xác định (coefficient of determination) Sum of squared errors 2 R  1 Total sum of squares Hệ số xác định điều chỉnh (Adjusted coefficient of determination) n 1   2 1 R2 AdjR  1  n  p 1 GV: Lê Hoài Long Precision và AccuracyKhông precise và không accurate Không precise và accurate GV: Lê Hoài Long Precision và AccuracyPrecise và không accurate Precise và accurate GV: ...