Tại sao phương pháp bình phương tối thiểu thông thường được sử dụng trong hồi quy tuyến tính?

Câu trả lời:

Nếu các giả định Gauss-Markof giữ thì OLS cung cấp lỗi tiêu chuẩn thấp nhất của bất kỳ công cụ ước tính tuyến tính nào để công cụ ước tính không thiên vị tuyến tính tốt nhất

Giải trình:

Đưa ra những giả định

1. Các hệ số tham số là tuyến tính, điều này chỉ có nghĩa là # beta_0 và beta_1 # là tuyến tính nhưng # x # biến không phải là tuyến tính nó có thể được # x ^ 2 #

2. Dữ liệu được lấy từ một mẫu ngẫu nhiên

3. Không có đa cộng tuyến hoàn hảo nên hai biến không tương quan hoàn hảo.

4. #EU#/#x_j) = 0 # có nghĩa là giả định có điều kiện bằng không, có nghĩa là # x_j # các biến không cung cấp thông tin về giá trị trung bình của các biến không quan sát được.

5. Phương sai bằng nhau cho bất kỳ mức nào # x # I E. #var (u) = sigma ^ 2 #

Sau đó, OLS là công cụ ước tính tuyến tính tốt nhất trong quần thể các công cụ ước tính tuyến tính hoặc (Công cụ ước tính không thiên vị tuyến tính tốt nhất) BLUE.

Nếu bạn có giả định bổ sung này:

1. Phương sai thường được phân phối

Sau đó, công cụ ước tính OLS trở thành công cụ ước tính tốt nhất bất kể đó là công cụ ước tính tuyến tính hay phi tuyến tính.

Điều này thực chất có nghĩa là nếu các giả định giữ 1-5 thì OLS cung cấp sai số chuẩn thấp nhất của bất kỳ công cụ ước tính tuyến tính nào và nếu 1-6 giữ thì nó cung cấp sai số chuẩn thấp nhất của bất kỳ công cụ ước tính nào.