Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 6 - Nguyễn Nhật Quang

Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 6, chương này cung cấp cho học viên những nội dung về: phân lớp; các phương pháp học dựa trên xác suất (Probabilistic learning); các khái niệm cơ bản về xác suất; biểu diễn xác suất; xác suất có điều kiện; các biến độc lập về xác suất;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!
Nội dung trích xuất từ tài liệu:
Bài giảng Nhập môn Học máy và Khai phá dữ liệu: Chương 6 - Nguyễn Nhật Quang Nhập môn Học máy và Khai phá dữ liệu (IT3190) Nguyễn Nhật Quang quang.nguyennhat@hust.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2020-2021 Nội dung môn học: ◼ Giới thiệu về Học máy và Khai phá dữ liệu ◼ Tiền xử lý dữ liệu ◼ Đánh giá hiệu năng của hệ thống ◼ Hồi quy ◼ Phân lớp ❑ Các phương pháp học dựa trên xác suất (Probabilistic learning) ◼ Phân cụm ◼ Phát hiện luật kết hợp Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 2 Các phương pháp học dựa trên xác suất ◼ Các phương pháp thống kê cho bài toán phân loại ◼ Phân loại dựa trên một mô hình xác suất cơ sở ◼ Việc phân loại dựa trên khả năng xảy ra (probabilities) của các phân lớp ◼ Các chủ đề chính: • Giới thiệu về xác suất • Định lý Bayes • Xác suất hậu nghiệm cực đại (Maximum a posteriori) • Đánh giá khả năng có thể nhất (Maximum likelihood estimation) • Phân loại Naïve Bayes Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 3 Các khái niệm cơ bản về xác suất ◼ Giả sử chúng ta có một thí nghiệm (ví dụ: đổ một quân xúc sắc) mà kết quả của nó mang tính ngẫu nhiên (phụ thuộc vào khả năng có thể xảy ra) ◼ Không gian các khả năng S. Tập hợp tất cả các kết quả có thể xảy ra Ví dụ: S= {1,2,3,4,5,6} đối với thí nghiệm đổ quân xúc sắc ◼ Sự kiện E. Một tập con của không gian các khả năng Ví dụ: E= {1}: kết quả quân súc xắc đổ ra là 1 Ví dụ: E= {1,3,5}: kết quả quân súc xắc đổ ra là một số lẻ ◼ Không gian các sự kiện W. Không gian (thế giới) mà các kết quả của sự kiện có thể xảy ra Ví dụ: W bao gồm tất cả các lần đổ súc xắc ◼ Biến ngẫu nhiên A. Một biến ngẫu nhiên biểu diễn (diễn đạt) một sự kiện, và có một mức độ về khả năng xảy ra sự kiện này Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 4 Biểu diễn xác suất P(A): “Phần của không gian (thế giới) mà trong đó A là đúng” Không gian sự kiện của (không gian của tất cả các giá trị có thể xảy ra của A) Không gian mà trong đó A là đúng Không gian mà trong đó A là sai [http://www.cs.cmu.edu/~awm/tutorials] Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 5 Các biến ngẫu nhiên 2 giá trị ◼ Một biến ngẫu nhiên 2 giá trị (nhị phân) có thể nhận một trong 2 giá trị đúng (true) hoặc sai (false) ◼ Các tiên đề • 0  P(A)  1 • P(true)= 1 • P(false)= 0 • P(A V B)= P(A) + P(B) - P(A  B) ◼ Các hệ quả • P(not A) P(~A)= 1 - P(A) • P(A)= P(A  B) + P(A  ~B) Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 6 Các biến ngẫu nhiên đa trị Một biến ngẫu nhiên nhiều giá trị có thể nhận một trong số k (>2) giá trị {v1,v2,…,vk} P( A = vi  A = v j ) = 0 if i  j P(A=v1 V A=v2 V ... V A=vk) = 1 i P( A = v1  A = v2  ...  A = vi ) =  P( A = v j ) k j =1  P( A = v ) = 1 j =1 j i P(B  A = v1  A = v2  ...  A = vi ) =  P( B  A = v j ) j =1 [http://www.cs.cmu.edu/~awm/tutorials] Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 7 Xác suất có điều kiện (1) ◼ P(A|B) là phần của không gian (thế giới) mà trong đó A là đúng, với điều kiện (đã biết) là B đúng ◼ Ví dụ • A: Tôi sẽ đi đá bóng vào ngày mai • B: Trời sẽ không mưa vào ngày mai • P(A|B): Xác suất của việc tôi sẽ đi đá bóng vào ngày mai nếu (đã biết rằng) trời sẽ không mưa (vào ngày mai) Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 8 Xác suất có điều kiện (2) P ( A, B ) Định nghĩa: P( A | B) = P( B) Không Các hệ quả: gian mà P(A,B)=P(A|B).P(B) trong đó B đúng P(A|B)+P(~A|B)=1 Không gian mà k trong đó A đúng  P( A = v | B) = 1 i =1 i Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 9 Các biến độc lập về xác suất (1) ◼ Hai sự kiện A và B được gọi là độc lập về xác suất nếu xác suất của sự kiện A là như nhau đối với các trường hợp: • Khi sự kiện B xảy ra, hoặc • Khi sự kiện B không xảy ra, hoặc • Không có thô ...