Learning rate là gì

     

Bài 7: Thuật Toán Gradient Descent

Bài này sẽ lý giải bạn mày mò thuật toán Gradient Descent, một thuật toán có không ít ứng dụng trong các nghành nghề khoa học, đặc biệt là Machine Learning.Bạn đang xem: Learning rate là gì

Bạn sẽ xem: Learning Rate Là Gì

Thuật toán Gradient Descent bao gồm ưu thế trong những bài toán Machine Learning mà số lượng dữ liệu đào tạo và giảng dạy rất lớn.

Bạn đang xem: Learning rate là gì

Bạn sẽ được vận dụng thuật toán này cùng rất Linear Regression ở bài bác tiếp theo.

Vấn đề đối với các thuật toán Machine Learning

Cho đến thời gian này, bạn đã được học tập 3 thuật toán Machine Learning là Linear Regression một biến, Linear Regression nhiều vươn lên là và Nonlinear Regression.

Qua những bài thực hành, bạn đã được áp dụng những thuật toán này để giải quyết các bài toán thực tế. Xin chúc mừng các bạn đã đi được một đoạn đường dài. Tôi tin rằng bởi sự kiên trì, bất cứ ai cũng có thể làm nên những điều bự lao.

Hãy thuộc xem lại thuật toán Linear Regression những biến.

Hàm mất non của thuật toán là

$J(w) = frac12m sum_i=1^m ( widehaty^(i) – y^(i)) ^2$

$= frac12m sum_i=1^m ( wx^(i) – y^(i)) ^2$

$= frac12m parallel Xw – y parallel ^2$

với w = $beginbmatrixw_0 w_1 … w_n endbmatrix $, X = $beginbmatrix1 và x_1^(1) & … & x_n^(1) 1 & x_1^(2) và … và x_n^(2) … và … & … và … 1 & x_1^(m) & … & x_n^(m)endbmatrix$ với y = $beginbmatrixy^(1) y^(2) … y^(m) endbmatrix$

Nhiệm vụ của ta là tìm vector w sao để cho hàm mất mát J(w) nhỏ dại nhất.

Bằng cách thức của Giải tích, ta tính đạo hàm riêng rẽ theo từng biến $w_0, w_1, …, w_n$, giải hệ những đạo hàm riêng bởi 0 và kiếm được nghiệm

$w = (X^TX)^+X^Ty$

Ở đây tất cả hai vụ việc cần xem xét

Thứ hai, khi điều tra hàm mất mát, nhằm tìm điểm rất tiểu ta giải hệ các đạo hàm riêng bởi 0. Đối với phương trình tuyến tính vấn đề này rất dễ dàng và đơn giản và ta tìm thấy được nghiệm như trên. Nhưng trong không ít thuật toán, hàm mất mát tinh vi hơn và bí quyết giải kia trở đề xuất quá cạnh tranh hoặc bất khả thi. Ta cần cách thức tổng quát hơn để tìm điểm rất trị của hàm bất kỳ, tuyệt trong trường vừa lòng này là tìm rất tiểu.

Xem thêm: Người Tuổi Dậu Hợp Với Tuổi Nào, Màu Gì, Nghề Gì, Hướng Nào Theo Phong Thủy

Thuật toán Gradient Descent giải quyết cả hai sự việc trên.

Thuật toán Gradient Descent

Thuật toán Gradient Descent dùng để tìm điểm rất trị của hàm số.

Đối với tương đối nhiều hàm số, bài toán khảo sát bằng cách tính đạo hàm rất khó khăn hoặc bất khả thi, Gradient Descent hỗ trợ một phương thức bao quát cho phần đa trường hòa hợp này.

Gradient Descent cùng với hàm một biến

Ta xem xét hiện tượng sau


*

Quả bóng đã lăn xuống dốc. Trong một môi trường thiên nhiên vật lý mà ta trả định thì trái bóng lăn xuống càng cấp tốc khi dốc càng đứng (mặc dù chưa hẳn vậy) và khi xuống đến chân dốc thì trái bóng ngừng lại.

Hiện tượng này vô cùng dễ tưởng tượng và khiến cho bạn hiểu bốn tưởng của Gradient Descent.

Xét hàm số y = f(x) và ta nên tìm điểm cực tiểu của hàm số.

Xuất phát từ điểm x bất kỳ, ta cần điều chỉnh x nhằm nó có xu hướng tiến về điểm mà hàm số đạt rất tiểu. Điều này hoàn toàn có thể đạt được bằng cách lặp lại tiếp tục phép đổi thay đổi

x := x – αf’(x)

với cam kết hiệu := mượn từ ngôn từ Pascal tức là gán quý hiếm vế cần cho biến bên trái.

Một giải pháp hình ảnh, lúc f’(x) > 0 thì đồ thị dốc lịch sự trái, x có xu thế giảm nhằm “xuống dốc”; lúc f’(x)