Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy

Nội dung và nhiệm vụ chủ yếu của luận văn là nghiên cứu các vấn đề liên quan đến việc dự báo các sự kiện hiếm và sử dụng mô hình bộ mã hóa tự động Autoencoder để dự báo các sự kiện cực hiếm, ứng dụng vào bài toán thực tế dự đoán sự cố trong dây chuyền sản xuất của nhà máy giấy.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấyBỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Bùi Minh Thành NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN CỰCHIẾM BẰNG MÔ HÌNH AUTOENCODER VÀ ỨNG DỤNG VÀO DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Nguyễn Việt Anh Hà Nội - 2020 2 LỜI CAM ĐOAN Tôi xin cam đoan đề tài: “Nghiên cứu phương pháp phát hiện sự kiệncực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trongnhà máy giấy” là luận văn do bản thân tôi trực tiếp thực hiện. Tất cả những sựgiúp đỡ cho việc xây dựng cơ sở lý luận cho bài luận đều được trích dẫn đầyđủ và ghi rõ nguồn gốc rõ ràng và được phép công bố. Tôi xin hoàn toàn chịu trách nhiệm trước pháp luật về những cam kết này. Hà Nội, ngày 18 tháng 07 năm 2020 Tác giả luận văn Bùi Minh Thành 3 LỜI CẢM ƠN Trong quá trình học tập, nghiên cứu và hoàn thành luận văn này, tôi đãnhận được rất nhiều sự động viên, khuyến khích và giúp đỡ nhiệt tình của cácThầy Cô, anh chị em, bạn bè đồng nghiệp và gia đình. Trước tiên tôi xin cảm ơn Ban giám hiệu, Phòng đào tạo cùng các thầycô trong Học viện Khoa học và Công nghệ Việt Nam đã giúp đỡ và tạo điềukiện tốt cho tôi học tập trong thời gian qua. Tôi cũng xin cảm ơn các thầy cô trong Viện Công nghệ thông tin thuộcViện Hàn lâm Khoa học và Công nghệ Việt Nam đã đã truyền đạt cho tôi nhữngkiến thức chuyên sâu về chuyên ngành trong suốt thời gian học tập, để tôi cóđược nền tảng kiến thức hỗ trợ rất lớn cho tôi trong quá trình làm luận văn thạcsĩ. Tôi cũng muốn bày tỏ sự biết ơn sâu sắc đến Tiến sĩ Nguyễn Việt Anhvới tư cách là người trực tiếp hướng dẫn, tận tình chỉ bảo và giúp đỡ cho tôitrong suốt quá trình thực hiện luận văn này. Cuối cùng, tôi xin gửi lời cảm ơn đến gia đình và bạn bè, đồng nghiệp vìđã luôn hỗ trợ tôi và khuyến khích liên tục trong suốt những năm học tập vàqua quá trình nghiên cứu và viết luận văn này. Thành tựu này sẽ không thể cóđược nếu không có họ. Xin chân thành cảm ơn tất cả mọi người! 4 Danh mục các ký hiệu và chữ viết tắtTừ viết tắt NghĩaANN Artificial neural networks (Mạng nơ-ron nhân tạo)MLP Multi-layer Perceptron (Mạng nơ-ron Perceptron đa lớp)LSTM Long short-term memory (Mạng nơ-ron bộ nhớ ngắn hạn)GRU Gated Recurrent Units (Mạng nơ-ron đơn vị tái phát có kiểm soát)RNN Recurrent Neural Network (Mạng nơ-ron hồi quy hay mạng nơ-ron tái phát)PCA Principal Component Analysis (Phương pháp phân tích thành phần chính)MNIST Modified National Institute of Standards and Technology (Bộ dữ liệu chữ số viết tay)NMT Neural Machine Translation (máy dịch nơ-ron)RELU Rectified Linear UnitAUC Area under the curveROC Receiver operating characteristic curvemse mean squared error (lỗi bình phương trung bình) 5 Danh mục các bảngBảng 3.1. Giá trị hàm mất mát mô hình MLP Autoencoder ........................... 48Bảng 3.2. Tỉ lệ thu hồi MLP Autoencoder ở ngưỡng FPR = 4% ................... 49Bảng 3.3. Giá trị hàm mất mát mô hình LSTM Autoencoder ........................ 62Bảng 3.4. So sánh tỉ lệ thu hồi MLP và LSTM Autoencoder ......................... 63Bảng 3.5. Tỉ lệ thu hồi LSTM Autoencoder ở ngưỡng FPR = 4% ................. 64 6 Danh mục các hình vẽ, đồ thịHình 2.1. Phương pháp nhân bản mẫu dương tính ......................................... 20Hình 2.2. Phương pháp giảm số lượng mẫu âm tính ...................................... 21Hình 2.3. Phương pháp tạo thêm mẫu dương tính bằng thuật toán ................ 22Hình 2.4. Mô hình Autoencoder mã hóa tự động số 4 .................................... 24Hình 2.5. Kiến trúc mạng nơ-ron Autoencoder .............................................. 25Hình 2.6. Kiến trúc mạng MLP Autoencoder ................................................. 27Hình 2.7. Kiến trúc mạng LSTM Autoencoder .............................................. 28Hình 2.8. Kiến trúc mạng Convolutional Autoencoder .................................. 29Hình 2.9. Kết quả mã hóa bộ dữ liệu MNIST bằng PCA và Linear Autoencoder......................................................................................................................... 31Hình 2.10. Hình ảnh được khôi phục sau khi nén bằng PCA và Autoencoder......................................................................................................................... 32Hình 2.11. Mô hình đào tạo mạng Autoencoder để khử nhiễu hình ảnh ........ 33Hình 2.12. Hình ảnh sử dụng Autoencoder để khử nhiễu .............................. 34Hình 2.13. Dử dụng Autoencoder để tô màu hình ảnh ................................... 34Hình 2.14. Tăng độ phân giải hình ảnh với Convolutional Autoencoder ....... 35Hình 2.15. Mô hình MLP Autoencoder dự đoán sự kiện hiếm ...