Bài giảng Máy học nâng cao: Logistic regression - Trịnh Tấn Đạt

Bài giảng "Máy học nâng cao: Logistic regression" cung cấp cho người học các kiến thức: Khái niệm hồi qui logistic (Logistic Regression), mô hình hóa, sigmoid function, logistic regression và bài toán phân loại 2 lớp,... Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Bài giảng Máy học nâng cao: Logistic regression - Trịnh Tấn ĐạtTrịnh Tấn ĐạtKhoa CNTT – Đại Học Sài GònEmail: trinhtandat@sgu.edu.vnWebsite: https://sites.google.com/site/ttdat88/Nội dung Khái niệm hồi qui logistic (Logistic Regression) Mô hình hóa Sigmoid function Logistic Regression và bài toán phân loại 2 lớp  Logistic Regression dùng SGD Mở rộng Bài TậpLogistic Regression Phương pháp hồi quy logistic là một mô hình hồi quy nhằm dự đoán output rời rạc (discrete target variable) y ứng với một vector input x. Việc này tương đương với chuyện phân loại các x vào các nhóm y tương ứng. Thường dùng trong binary classification. Có thể mở rộng cho multiclass (softmax regression) Logistic Regression  Ví dụ: Ngân hàng có chương trình cho vay ưu đãi cho các đối tượng mua chung cư. Số lượng hồ sơ gửi về 1000-2000 hồ sơ mỗi ngày.  Input: mức lương và thời gian công tác  Output: cho vay hoặc từ chốithời kỳ khó khăn nên việc cho vay bị thắt lại, chỉ những hồ sơnào chắc chắn trên 80% mới được vay. cần tìm xác xuất nên cho hồ sơ ấy vay là bao nhiêuLogistic Regression Modeling:Linear Regression:Output của logistic regression thường được viết chung dưới dạng: Trong đó θ được gọi là logistic function Tổng quát θ(.) được gọi là một activation function (hàm kích hoạt)Logistic Regression Ví dụ: Một số activation function phổ biếnLogistic Regression Sigmoid function Ví dụ: cần tìm xác xuất của hồ sơ mới nên cho vay. Hay giá trị của hàm cần trong khoảng [0,1]. Rõ ràng là giá trị của phương trình đường thẳng như bài trước có thể ra ngoài khoảng [0,1] nên cần một hàm mới luôn có giá trị trong khoảng [0,1]Logistic Regression Sigmoid function  bị chặn trong khoảng (0,1)  có đạo hàm tại mọi điểm (có thể áp dụng gradient descent)Logistic Regression❑ Modeling: Xem xét bài toán binary classification (phân loại 2 lớp, 0 và 1) Giả sử rằng xác suất để một điểm dữ liệu x rơi vào  class 1 là  class 0 là Dựa vào dữ liệu training (đã biết output y và input x), ta có thể viết như sau được hiểu là xác suất xảy ra sự kiện đầu ra yi=1 khi biết tham số mô hình w và dữ liệu đầu vào xiLogistic Regression❑ Modeling: Goal: tìm các hệ số w sao cho f(wTxi) càng gần với 1 càng tốt với các điểm dữ liệu thuộc class 1 và càng gần với 0 càng tốt với những điểm thuộc class 0. Ví dụ : Nếu f(wTxi)   thì xi  class 1 Nếu f(wTxi) <  thì xi  class 0Logistic Regression Modeling: Giả sử Xem xét toàn bộ mẫu trong tập huấn luyện (training data)cần tìm w để biểu thức sau đây đạt giá trị lớn nhất:Logistic Regression Vấn đề trên được gọi là bài toán maximum likelihood estimation với hàm số phía sau argmax được gọi là likelihood function. Giả sử các điểm dữ liệu được sinh ra một cách ngẫu nhiên độc lập với nhau (independent)Logistic Regression❑ Modeling: Quan sát:  N >> : tích của NN số nhỏ hơn 1 có thể dẫn tới sai số trong tính toán (numerial error) vì tích là một số quá nhỏ.  Dùng logarit likelihood function tránh việc số quá nhỏ.Logistic Regression❑ Modeling: Loss function (hàm chi phí, hàm mất mát) được định nghĩa bởi zi là một hàm số của w,  Dấu “ - ” để chuyển bài toán maximum likelihood estimation và dạng miniminze loss functionLogistic Regression Ví dụyi =1 thì J = - log(zi) loss function trong trường hợp yi = 1 loss function trong trường hợp yi = 0Logistic Regression Optimize loss function: sử dụng phương pháp Stochastic Gradient Descent (SGD) Xem xét : Loss function với chỉ một điểm dữ liệu (xi,yi) là Đạo hàm theo w: (dựa vào chain rule)Logistic Regression Dựa vào sigmoid function Khi đó: 1 zizi = = zi (1 − zi ) 1+ e − wT xi wLogistic Regression Công thức cập nhật (theo thuật toán Stochastic Gradient Descent (SGD) cho logistic regression là Trong đó: 1 zi = − wT xi 1+ eLogistic Regression dùng SGD Khởi tạo ngẫu nhiên giá trị w0: Tính loss function Lặp (cho đến khi loss hội tụ hoặc số lượng vòng lặp vượt quá một ngưỡng) { Đối với mỗi sample trong training data Cập nhật }Logistic Regression❑ Tính chất: Logistic Regression được sử dụng nhiều trong các bài toán Classification. Việc xác định class y cho một điểm dữ liệu x được xác định bằng việc so sánh hai biểu thức xác suất Nếu biết xi và w , công thức xác suất được tính dựa vào sigmoid function 1 P( yi = 1 | w; xi ) = f ( w xi ) = T − wT xi ...