Bài giảng Học máy: Bài 5 - Nguyễn Hoàng Long

Bài giảng "Học máy - Bài 5: Cây phân loại và hồi quy" cung cấp cho người học các kiến thức: Các giải thuật học máy, cây quyết định, biểu diễn cây quyết định, tập luật từ cây quyết định,... Mời các bạn cùng tham khảo nội dung chi tiết.
Nội dung trích xuất từ tài liệu:
Bài giảng Học máy: Bài 5 - Nguyễn Hoàng Long Cây phân loại và hồi quy Nguyễn Thanh Tùng Khoa Công nghệ thông tin – Đại học Thủy Lợi tungnt@tlu.edu.vn Website môn học: https://sites.google.com/a/wru.vn/cse445fall2016Bài giảng có sử dụng hình vẽ trong cuốn sách “An Introduction to Statistical Learning with Applications in R” với sựcho phép của tác giả, có sử dụng slides các khóa học CME250 của ĐH Stanford và IOM530 của ĐH Southern California CSE 445: Học máy | Học kỳ 1, 2016-2017 1 Các giải thuật Học máy Do you have labeled data? Yes No Supervised Unsupervised What do you want to predict? Do you want to group the data? Category Quantity Yes NoClassification Regression Cluster Dimensionality Analysis ReductionKNN LASSO ICA PCA Logistic Linear Hierarchical Regression Regression Clustering K--means NMF SOM CSE 445: Học máy | Học kỳ 1, 2016-2017 2 Các giải thuật Học máy Do you have labeled data? Yes No Supervised Unsupervised What do you want to predict? Do you want to group the data? Category Quantity Yes NoClassification Regression Cluster Dimensionality Analysis ReductionKNN CART LASSO ICA PCA Logistic Linear Hierarchical Regression Regression Clustering K--means NMF SOM CSE 445: Học máy | Học kỳ 1, 2016-2017 3Cây quyết định(Decision tree) CSE 445: Học máy | Học kỳ 1, 2016-2017 4Cây quyết định là gì? • Học cây quyết định (Decision tree –DT– learning) • Để học (xấp xỉ) một hàm mục tiêu có giá trị rời rạc (discrete- valued target function) – hàm phân lớp • Hàm phân lớp được biểu diễn bởi một cây quyết định • Một cây quyết định có thể được biểu diễn (diễn giải) bằng một tập các luật IF-THEN (dễ đọc và dễ hiểu) • Học cây quyết định có thể thực hiện ngay cả với các dữ liệu có chứa nhiễu/lỗi (noisy data) • Được áp dụng thành công trong rất nhiều các bài toán ứng dụng thực tế nguồn: Nguyễn Nhật Quang-Học máy CSE 445: Học máy | Học kỳ 1, 2016-2017 5 Cây quyết định là gì? “sport”? is present is absent “player”? “football”? is present is absent is present is absent Interested Uninterested Interested “goal”? is present is absentVí dụ về DT: Những tin tức nào mà tôi quan tâm? Interested Uninterested • (…,“sport”,…,“player”,…) → Interested • (…,“goal”,…) → Interested • (…,“sport”,…) → Uninterested nguồn: Nguyễn Nhật Quang-Học máy CSE 445: Học máy | Học kỳ 1, 2016-2017 6Cây quyết định là gì? Outlook=? Sunny Rain Overcast Humidity=? Yes Windy=? High Normal True False No Yes No Yes • (Outlook=Overcast, Temperature=Hot, Humidity=High, Windy=False) → Yes • (Outlook=Rain, Temperature=Mild, Humidity=High, Windy=True) → No • (Outlook=Sunny, Temperature=Hot, Humidity=High, Windy=True) → No Ví dụ về DT: Một người có chơi tennis không? CSE 445: Học máy | Học kỳ 1, 2016-201 ...