1. Hồi quy k-NN:

a. Bài toán hồi quy tổng quát:

Giả sử có hàm thực y = f(x) xác định trong không gian Rn, ta ko biết hàm này nhưng đo được giá trị trên tập D = {xj} : yi = f(xi) + epsilon i , trong đó epsilon i là các đại lượng ngẫu nhiên độc lập cùng phân phối có kỳ vọng bằng không. Ta cần xác định hàm g(x) để tính xấp xỉ f(x) với  mọi x thuộc Rn tanois g là hàm hồi quy của các biến x1, .. xn. Nhờ tập dữ liệu {xj, yj}

b. Thuật toán nghịch đảo khoảng cách.

- là phương pháp học dựa trên mẫu đơn giản nhưng thông dụng nhất.

- giả sử tập mẫu đang xét có n đặc trưng, mỗi mẫu tương ứng với một điểm trong không gian n chiều nên ta đồng nhất các mẫu với các điểm trong Rn. Khoảng cách Euclide dùng để xác định các láng giêngf gần nhất của một mẫu . d(x,y) = ...

xét một hàm f: Rn ->R chưa biết nhưngx đã viết giá trị của nó trên tập mẫu huấn luyện D ={xj} tương ứng là {f(xj)}. Với k cho trước, để xác định giá trị f(x) cho mẫu mới x người ta tìm k điểm trong tập D gần với x nhất và dùng giá trị của hàm tại các điểm này với trọng số khoảng cách nghịch đảo để xác định giá trị của nó.

2. Hồi quy trọng số địa phương:

Cụm từ "hồi quy trọng số địa phương" được hiểu như sau: gọi là địa phương bởi vì hàm này được xấp xỉ chỉ dựa trên dữ liệu lân cận của điểm truy vấn đó, gọi là trọng số bởi vì sự đóng góp của mỗi mẫu huấn luyện được gán trọng số bởi khoảng cách của nó đến điểm truy vấn, và hồi quy vì đây là một khái niệm này được sử sụng rộng rãi trong học thống kêcho vấn đề xấp xỉ các hàm nhận giá trị thực