Luận văn Thạc sĩ Khoa học máy tính: Nghiên cứu các phương pháp tính toán độ tương tự của văn bản luật tiếng Việt

Luận văn là “Nghiên cứu các phương pháp tính toán độ tương tự của văn bản luật tiếng Việt” nhằm nghiên cứu các phương pháp đo độ tương tự và thử nghiện các mô hình tính toán độ tương tự, từ đây đưa ra để xuất mô hình phù hợp nhất với miền dữ liệu văn bản luật tiếng Việt. Mời các bạn tham khao
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Khoa học máy tính: Nghiên cứu các phương pháp tính toán độ tương tự của văn bản luật tiếng Việt ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐÌNH MẠNH NGHIÊN CỨU CÁC PHƯƠNG PHÁPTÍNH TOÁN ĐỘ TƯƠNG TỰ CỦA VĂN BẢN LUẬT TIẾNG VIỆT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH HÀ NỘI, 12/2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐÌNH MẠNH NGHIÊN CỨU CÁC PHƯƠNG PHÁP TÍNH TOÁN ĐỘ TƯƠNG TỰ CỦA VĂN BẢN LUẬT TIẾNG VIỆT Ngành: Khoa học máy tính Chuyên ngành: Khoa học máy tính Mã Số: 8480101.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNHNGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN PHƯƠNG THÁI HÀ NỘI, 12/2020 MỤC LỤCMỤC LỤC....................................................................................................................... 3LỜI CẢM ƠN ................................................................................................................. 6LỜI CAM ĐOAN ........................................................................................................... 7DANH MỤC KÝ HIỆU, VIẾT TẮT .............................................................................. 8DANH MỤC CÁC BẢNG ............................................................................................. 9DANH MỤC ĐỒ THỊ, HÌNH VẼ ................................................................................ 10MỞ ĐẦU....................................................................................................................... 11CHƯƠNG 1. GIỚI THIỆU ........................................................................................... 12 1.1. Lý do chọn đề tài ......................................................................................... 12 1.2. Mục đích đề tài ............................................................................................ 12 1.3. Đối tượng đề tài ........................................................................................... 13 1.4. Phương pháp nghiên cứu............................................................................. 13CHƯƠNG 2. KIẾN THỨC NỀN TẢNG ..................................................................... 14 2.1. Đặc điểm của văn bản tiếng Việt ................................................................ 14 2.1.1. Cấu tạo từ tiếng Việt............................................................................. 14 2.1.2. Biến hình từ tiếng Việt ......................................................................... 15 2.1.3. Từ đồng nghĩa....................................................................................... 15 2.1.4. Đặc điểm chính tả ................................................................................. 15 2.2. Đặc điểm của văn bản Luật tiếng Việt ........................................................ 16 2.3. Sự khác nhau giữa văn bản tiếng Việt và văn bản luật tiếng Việt .............. 17 2.4. Tổng quan về bài toán đô độ tương tự văn bản ........................................... 17 2.4.1. Khái niệm về độ tương tự văn bản ....................................................... 17 2.4.2. Ứng dụng của bài toán đo độ tương tự giữa hai văn bản. .................... 18 2.5. Phương pháp dựa trên thống kê. ................................................................. 18 2.5.1. Khái niệm ............................................................................................. 18 2.5.2. Độ đo tương tự Jaccard ........................................................................ 19 2.5.3. Độ đo TF-IDF ....................................................................................... 19 2.6. Phương pháp dựa trên mạng nơron học sâu. ............................................... 19 2.6.1. Khái niệm học sâu ................................................................................ 19 2.6.2. Một số ứng dụng của học sâu (Deep Learning) ................................... 20 2.6.3. Một số phương pháp theo hướng tiếp cận học sâu ............................... 22 2.6.3.1. Mô hình biểu diễn từ bằng vector (Word2Vec). .................................. 22 2.6.3.2. Học chuyển (Transfer Learning) .......................................................... 29CHƯƠNG 3. CÁC PHƯƠNG PHÁP ĐO ĐỘ TƯƠNG TỰ GIỮA CÁC VĂN BẢN 33 3.1. Tiền xử lý dữ liệu ........................................................................................ 33 3.2. Vector hó ...