Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2)

Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2). Bài này cung cấp cho học viên những nội dung về: bài toán sinh văn bản character-RNN; giới thiệu về bài toán dịch máy; mô hình NMT; cơ chế chú ý (attention);... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!
Nội dung trích xuất từ tài liệu:
Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2) 1 Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2) 2 Nội dung 1. Bài toán sinh văn bản: Character-RNN 2. Giới thiệu về bài toán dịch máy 3. Mô hình NMT 4. Cơ chế chú ý (attention) 3 Bài toán sinh văn bản: Character-RNN 4 Character-RNN • Từ vựng: [h, e, l, o] • Ví dụ huấn luyện mô hình với xâu “hello” 5 Character-RNN • Từ vựng: [h, e, l, o] • Khi suy diễn: Mỗi lần sinh một ký tự và ký tự này được dùng làm đầu vào cho bước tiếp theo 6 Character-RNN 7 Character-RNN 8 Character-RNN 9 Character-RNN • The Stacks Project: Sách nguồn mở về hình học đại số 10 Character-RNN 11 Character-RNN 12 Character-RNN 13 Character-RNN 14 Character-RNN 15 Character-RNN 16 Giới thiệu về bài toán dịch máy 17 Dịch máy • Google translate 18 Dịch máy – Machine Translation • Dịch máy (MT) là thao tác dịch một câu x từ một ngôn ngữ (gọi là ngôn ngữ nguồn) sang một câu y trong ngôn ngữ khác (gọi là ngôn ngữ đích) 19 Dịch máy – Machine Translation • Bắt đầu từ những năm 1950 • Dịch từ Nga sang Anh (nhu cầu xuất phát từ chiến tranh lạnh) • Hệ thống dịch chủ yếu theo quy tắc (rule- based), dùng từ điển để ánh xạ các từ tiếng Nga sang tiếng Anh 20