Ước lượng các hệ số của mô hình hồi quy theo phương pháp bình phương tối thiểu
Science and TechnologyCác giả định của mô hình hồi quy tuyến tính cổ điển
Các giả định về sai số hồi quy như sau đảm bảo cho các ước lượng hệ số hàm hồi quy tổng thể dựa trên mẫu theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không chệch tốt nhất(BLUE).
Giá trị kỳ vọng bằng 0:
Phương sai không đổi:
Không tự tương quan:
Không tương quan với X:
Có phân phối chuẩn:
Ở chương 5 chúng ta sẽ khảo sát hậu quả khi các giả thiết trên bị vi phạm.
Phương pháp bình phương tối thiểu:
Ý tưởng của phương pháp bình phương tối thiểu là tìm và sao cho tổng bình phương phần dư có giá trị nhỏ nhất.
Từ hàm hồi quy (3.5)
Vậy (3.6)
Điều kiện để (3.6) đạt cực trị là:
Từ (3.7) và (3.8) chúng ta rút ra
Các phương trình (3.9) và (3.10) được gọi là các phương trình chuẩn. Giải hệ phương trình chuẩn ta được
Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có
Đặt và ta nhận được
Tính chất của hàm hồi quy mẫu theo OLS
Tính chất của tham số ước lượng
và là duy nhất ứng với một mẫu xác định gồm n quan sát (Xi,Yi).
và là các ước lượng điểm của 1 và . Giá trị của và thay đổi theo mẫu dùng để ước lượng.
Tính chất của hàm hồi quy mẫu
Hàm hồi quy mẫu đi qua giá trị trung bình của dữ liệu
Thật vậy, từ (3.11) ta có
Thu nhập X (XD)
Hình 3.4. Đường hồi quy mẫu đi qua giá trị trung bình của dữ liệu
Giá trị trung bình của ước lượng bằng giá trị trung bình của quan sát đối với biến phụ thuộc: .
Giá trị trung bình của phần dư bằng 0:
Các phần dư ei và Yi không tương quan với nhau:
Các phần dư ei và Xi không tương quan với nhau:
Phân phối của và
Ước lượng
Kỳ vọng
Phương sai
Sai số chuẩn
Phân phối
Hiệp phương sai của hai hệ số ước lượng
Trong các biểu thức trên với giả định