Khoảng tin cậy cho các hệ số hồi quy

Thực sự chúng ta không biết ${\sigma }^2$ nên ta dùng ước lượng không chệch của nó là

Sai số chuẩn của hệ số hồi quy cho độ dốc

Từ

với

ta có

(3.14)

Từ tính chất của phương sai mẫu ta có

(3.15)

Từ (3.14) và (3.15) Ta xây dựng trị thống kê

(3.16)

Biến đổi vế trái chúng ta được

Thay vào (3.16) ta được

(3.17)

Chứng minh tương tự ta có

(3.18)

Ước lượng khoảng cho hệ số hồi quy với mức ý nghĩa $\alpha$ như sau

(3.19)

(3.20)

Kiểm định giả thiết về hệ số hồi quy

Chúng ta quan tâm nhiều đến ý nghĩa thống kê độ dốc ( $\beta$₂) của phương trình hồi quy hơn là tung độ gốc ( $\beta$₁). Cho nên từ đây đến cuối chương chủ yếu chúng ta kiểm định giả thiết thống kê về độ dốc.

Giả thiết

Phát biểu mệnh đề xác suất

Quy tắc quyết định

Nếu

hoặc

thì bác bỏ H₀.

Nếu

thì ta không thể bác bỏ H₀.

Quy tắc thực hành-Trị thống kê t trong các phần mềm kinh tế lượng

Trong thực tế chúng ta thường xét xem biến độc lập X có tác động lên biến phụ thuộc Y hay không. Vậy khi thực hiện hồi quy chúng ta kỳ vọng 0. Mức ý nghĩa hay được dùng trong phân tích hồi quy là $\beta$=5%.

Giả thiết

Trị thống kê trở thành

Quy tắc quyết định

Nếu

thì bác bỏ H₀.

Nếu

thì không thể bác bỏ H_0.

Tra bảng phân phối Student chúng ta thấy khi bậc tự do n trên 20 thì trị thống kê t_97,5% thì xấp xỉ 2.

Quy tắc thực hành

Nếu /t-stat/ > 2 thì bác bỏ giả thiết $\beta$₂ = 0.

Nếu /t-stat/≤ 2 thì ta không thể bác bỏ giả thiết $\beta$₂=0.

Trong các phần mềm bảng tính có tính toán hồi quy, người ta mặc định mức ý nghĩa α=5% và giả thiết H₀: $\beta$_i=0. Thủ tục tính toán hồi quy của Excel cung cấp cho ta các hệ số hồi quy, trị thống kê t, ước lượng khoảng của hệ số hồi quy và giá trị p

.Sau đây là kết quả hồi quy được tính toán bằng thủ tục hồi quy của một vài phần mềm thông dụng.

Excel

Kết quả Regresstion cho dữ liệu của ví dụ 3.1. (Chỉ trích phần hệ số hồi quy)

Intercept: Tung độ gốc

Coefficients : Hệ số hồi quy

Standard Error : Sai số chuẩn của ước lượng hệ số

t Stat : Trị thống kê t_(n-2)

P-value : Giá trị p

Lower95%: Giá trị tới hạn dưới của khoảng ước lượng với độ tin cậy 95%.

Upper95% : Giá trị tới hạn trên của khoảng ước lượng với độ tin cậy 95%.

Bác bỏ H₀ khi /t-stat/ > 2 hoặc p-value < 0,05 hoặc khoảng (Lower;Upper) không chứa 0.

Eviews

Thủ tục Make Equation cho kết quả như sau(chỉ trích phần hệ số hồi quy):

C : Tung độ gốc

Coefficient : Hệ số hồi quy

Std. Error : Sai số chuẩn của ước lượng hệ số

t – Statistic : Trị thống kê t_(n-2)

Prob: Giá trị p.Bác bỏ H₀ khi /t-Statistic/ > 2 hoặc Prob < 0,05.

SPSS

Thủ tục Regression->Linear. (Chỉ trích phần hệ số hồi quy).

Constant: Tung độ gốc

Unstandardized Coefficients: Các hệ số hồi quy

Standardized Coefficients: Các hệ số hồi quy chuẩn hoá

.

t: t-StatSig: Giá trị p.

Bác bỏ H₀ khi /t/ >2 hoặc Sig < 0,05

Định lý Gauss-Markov

Với các giả định của mô hình hồi quy tuyến tính cổ điển, hàm hồi quy tuyến tính theo phương pháp bình phương tối thiểu là ước lượng tuyến tính không thiên lệch tốt nhất.

Chúng ta sẽ không chứng minh đinh lý này.

Độ thích hợp của hàm hồi quy – R 2

Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R². Để có cái nhìn trực quan về R², chúng ta xem xét đồ thị sau

Hình 3.5. Phân tích độ thích hợp của hồi quy

$Y_i-\bar{Y}$: biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá trị trung bình $\bar{Y}\text{.}$

${\hat{Y}}_i-\bar{Y}$: biến thiên của Y được giải thích bởi hàm hồi quy

$e_i=Y_i-{\hat{Y}}_i$: biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi quy.

Trên mỗi Xi chúng ta kỳ vọng e_i nhỏ nhất, hay phần lớn biến thiên của biến phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất.

Ta có

Với $y_i=Y{}_i-\bar{Y}$ và ${\hat{y}}_i=\hat{Y}-\bar{Y}$

Vậy

(3.21)

Số hạng cuối cùng của (3.21) bằng 0.

Vậy

Đặt

TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y.

ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích được bằng hàm hồi quy của Y.

RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:

TSS = ESS + RSS

Đặt

Mặt khác ta có

Vậy

(3.22)

Vậy đối với hồi quy hai biến R² là bình phương của hệ số tương quan.

Tính chất của R²

0≤ R² ≤1. Với R²=0 thể hiện X và Y độc lập thống kê. R² =1 thể hiện X và Y phụ thuộc tuyến tính hoàn hảo.

R² không xét đến quan hệ nhân quả.

Dự báo bằng mô hình hồi quy hai biến

Dựa trên X₀ xác định chúng ta dự báo Y_0.

Ước lượng điểm cho Y₀ là :

.

Để ước lượng khoảng chúng ta phải tìm phân phối xác suất của ${\hat{Y}}_i$.

Dự báo giá trị trung bình

Từ

Suy ra

(3.23)

Thay biểu thức của

ở mục 3.3.4 vào (3.23) và rút gọn

Dự báo giá trị cụ thể của Y₀

Từ

Ta có

và

(3.25)

Số hạng cuối cùng

. Vậy

(3.26)

Sai số chuẩn của dự báo

Cho giá trị của Y₀

Khoảng tin cậy cho dự báo

Nhận xét: X 0 càng lệch ra khỏi giá trị trung bình thì dự sai số của dự báo càng lớn. Chúng ta sẽ thấy rõ điều này qua đồ thị sau.

Ước lượng khoảng cho Y₀ trung bìnhY trung bìnhƯớc lượng khoảng cho Y₀X trung bình

Hình 3.6. Ước lượng khoảng cho Y₀.