Tài liệu

Giới thiệu một số vấn đề liên quan đến mô hình hồi quy

Science and Technology

Giới thiệu

Đa cộng tuyến

Bản chất của đa cộng tuyến

Đa cộng tuyến hoàn hảo: Các biến X1, X2,…,Xk được gọi là đa cộng tuyến hoàn hảo nếu tồn tại β size 12{β} {}1, β size 12{β} {}2, …, β size 12{β} {}k không đồng thời bằng không sao cho

β size 12{β} {}X1 + β size 12{β} {}2X2 + + β size 12{β} {}kXk =0(5.1)

Hiện tượng đa cộng tuyến hoàn hảo thường xảy do nhầm lẫn của nhà kinh tế lượng như trường hợp cái bẩy của biến giả mà chúng ta đã xem xét ở mục 4.7.3 chương 4.

Hiện tượng đa cộng tuyến mà chúng ta xét trong kinh tế lượng được hiểu với nghĩa rộng hơn đa cộng tuyến hoàn hảo như điều kiện (5.1). Các biến X1, X2,…,Xk được gọi là đa cộng tuyến không hoàn hảo nếu tồn tại β size 12{β} {}1, β size 12{β} {}2, …, β size 12{β} {}k sao cho

β size 12{β} {}X1 + β size 12{β} {}2X2 + + β size 12{β} {}kXk + β size 12{β} {} =0(5.2)

với β size 12{β} {} là sai số ngẫu nhiên.

Chúng ta có thể biểu diễn biến Xi theo các biến còn lại như sau

với β size 12{β} {}i ≠ 0.(5.3)

Vậy hiện tượng đa cộng tuyến xảy ra khi một biến là sự kết hợp tuyến tính của các biến còn lại và một nhiễu ngẫu nhiên.

Một số nguyên nhân gây ra hiện tượng đa cộng tuyến

Khi chọn các biến độc lập mối quan có quan hệ nhân quả hay có tương quan cao vì đồng phụ thuộc vào một điều kiện khác. Ví dụ số giường bệnh và số bác sĩ nếu đồng thời là biến độc lập của một hồi quy thì sẽ gây ra hiện tượng đa cộng tuyến gần hoàn hảo.

Khi số quan sát nhỏ hơn số biến độc lập. Một ví dụ điển hình là một nghiên cứu y khoa trên một số lượng nhỏ bệnh nhân nhưng lại khảo sát quá nhiều nhân tố tác động lên hiệu quả điều trị.

Cách thu thập mẫu. Ví dụ chỉ thu thập mẫu trên một số lớp giới hạn của tổng thể.

Chọn biến Xi có độ biến thiên nhỏ.

Hệ quả của đa cộng tuyến

Ví dụ 5.1

Ví dụ này lấy từ William E.Griffiths et al, Learning and Practicing Econometrics, John Wiley&Sons Inc, 1998, trang 433.
. Nghiên cứu của Klein và Golberger(1995) về quan hệ giữa tiêu dùng nội địa C, thu nhập từ lương W, thu nhập khác phi nông nghiệp P và thu nhập từ nông nghiệp A của nền kinh tế Hoa Kỳ từ năm 1928 đến 1950, với số liệu của các năm 1942 đến 1944 bị loại ra khỏi dữ liệu. Klein và Golberger thực hiện hồi quy tiêu dùng nội địa theo ba loại thu nhập như sau

Ct = β size 12{β} {}1 + β size 12{β} {}2Wt + β size 12{β} {}3Pt + β size 12{β} {}4A + β size 12{β} {}t(5.4)

Hồi quy này có thể gặp phải hiện tượng đa cộng tuyến vì các loại thu nhập có xu hướng cùng tăng theo sự phát triển của nền kinh tế.

Bảng 5.1. Số liệu thu nhập và tiêu dùng của nền kinh tế Hoa Kỳ

Kết quả hồi quy như sau

Cˆ size 12{ { hat {C}}} {} =8,133 +1,059W +0,452P +0,121A(5.5)

t-Stat(0,91)(6,10)(0,69)(0,11)

Khoảng 95%(-10,78;27,04)(0,69;1,73)(-0,94;1,84)(-2,18;2,43)

R2 = 0,95F = 107,07 > F(3,16,99%) = 5,29.

Mô hình này có tính giải thích cao thể hiện qua R2 rất cao và thống kê F cao. Tuy nhiên một số hệ số lại không khác không với ý nghĩa thống kê thể hiện qua t-stat thấp, nghĩa là ước lượng khoảng cho các hệ số chứa 0. W với hệ số có t-stat lớn thì ý nghĩa kinh tế lại rất lạ: nếu thu nhập từ lương tăng 1 USD thì tiêu dùng tăng 1,059 USD. Để tìm hiểu lý do gây ra hiện tượng trên chúng ta phải dùng lý thuyết của đại số ma trận, ở đây chỉ minh hoạ bằng mô hình hồi quy ba biến. Phương sai của ước lượng hệ số β size 12{β} {}2 là

Khi X2 và X3 có hiện tượng cộng tuyến thì

cao làm cho phương sai của ước lượng β size 12{β} {}2 cao. Ước lượng b2 theo phương pháp bình phương tối thiểu trở nên không hiệu quả.

Hệ quả của đa cộng tuyến

Ước lượng các hệ số không hiệu quả do phương sai của ước lượng lớn. Mô hình có đa cộng tuyến có t-stat nhỏ và một số hệ số của thể có dấu trái với lý thuyết hay có giá trị không phù hợp. R2 thể hiện độ phù hợp của dữ liệu và F thể hiện ý nghĩa chung của các hệ số có thể rất cao.

Giá trị ước lượng của các hệ số rất nhạy cảm đối với việc tăng hoặc bớt một hoặc quan sát hoặc loại bỏ biến có mức ý nghĩa thấp.

Mặc dù việc phân tích tác động riêng phần của một biến khó khăn nhưng tính chính xác của dự báo có thể vẫn cao khi bản chất của đa cộng tuyến vẫn không đổi đối với quan sát mới.

Biện pháp khắc phục

Nếu mục tiêu của phân tích hồi quy là dự báo thì trong một số trường hợp chúng ta không cần khắc phục hiện tượng đa cộng tuyến.

Nếu mục tiêu của phân tích là xét tác động riêng phần của từng biến số lên biến phụ thuộc để quyết định chính sách thì đa cộng tuyến trở thành một vấn đề nghiêm trọng. Sau đây là một số biện pháp khắc phục.

Dùng thông tin tiên nghiệm. Ví dụ khi hồi quy hàm sản xuất Cobb-Douglas

Ln(Yi)= β size 12{β} {}1 + β size 12{β} {}2ln(Ki)+ β size 12{β} {}3ln(Li) + β size 12{β} {}i (5.6)

Chúng ta có thể gặp hiện tượng đa cộng tuyến do K và L cùng tăng theo quy mô sản xuất. Nếu ta biết là hiệu suất không đổi theo quy mô thì ta có thêm thông tin β size 12{β} {}2+ β size 12{β} {}3=1. Với thông tin tiên nghiệm này chúng ta chuyển mô hình hồi quy (5.6) thành

Ln(Yi)= β size 12{β} {}1 + β size 12{β} {}2ln(Ki)+ (1- β size 12{β} {}2)ln(Li) + β size 12{β} {}i (5.7)

Bỏ đi một biến có đa cộng tuyến. Đây là cách làm đơn giản nhất. Ví dụ trong mô hình có biến giải thích là số bác sĩ và số giường bệnh thì ta có thể bỏ đi biến số giường bệnh. Nếu biến bị bỏ đi thực sự cần phải có trong mô hình thì chúng ta lại gặp phải một vấn đề khác, đó là ước lượng chệch đối với các hệ số còn lại. Vấn đề này chúng ta sẽ tiếp tục xem xét ở cuối chương.

Chuyển dạng dữ liệu

Giả sử chúng ta hồi quy trên dữ liệu chuỗi thời gian

Yt = β size 12{β} {}1 + β size 12{β} {}2X2t + β size 12{β} {}3X3t + β size 12{β} {}t(5.8)

Và chúng ta gặp phải hiện tượng đa cộng tuyến do X1t và X3t có thể cùng tăng hoặc giảm theo từng năm. Ta có thể tối thiểu tác động đa cộng tuyến này bằng kỹ thuật hồi quy trên sai phân bậc nhất như sau:

Ta có

Yt-1 = β size 12{β} {}1 + β size 12{β} {}2X2,t-1 + β size 12{β} {}3X3,t-1 + β size 12{β} {}t-1(5.9)

Từ (5.8) và (5.9) ta xây dựng mô hình hồi quy

(Yt -Yt-1 )= β size 12{β} {}2(X2t-X2,t-1) + β size 12{β} {}3(X3t- 3X3,t-1 )+ β size 12{β} {}t(5.10)

Với β size 12{β} {}t= β size 12{β} {}t- β size 12{β} {}t-1.

Một vấn đề mới nảy sinh là β size 12{β} {}t có thể có tính tương quan chuỗi, và như thế không tuân theo giả định của mô hình hồi quy tuyến tính cổ điển. Nếu hiện tượng tương quan chuỗi là nghiêm trọng thì mô hình (5.10) còn kém hơn cả mô hình (5.8).

Tăng thêm quan sát. Giải pháp này thích hợp cho hiện tượng đa cộng tuyến do cỡ mẫu nhỏ. Đôi khi chỉ cần tăng thêm một số quan sát là ta khắc phục được hiện tượng đa cộng tuyến. Một lần nữa chúng ta lại có sự đánh đổi. Tăng dữ liệu đôi khi đồng nghĩa với việc tăng chi phí, nhất là đối với dữ liệu sơ cấp. Mặt khác nếu là dữ liệu không có kiểm soát, chúng ta phải biết chắc rằng các điều kiện khác tương tự với khi ta thu thập dữ liệu gốc.

Khắc phục hiện tượng đa cộng tuyến đòi hỏi các kỹ thuật phức tạp và đôi khi cũng không mang lại hiệu quả như ta mong muốn. Mặt khác, hầu hết các mô hình hồi quy bội đều có tính cộng tuyến nhất định nên chúng ta phải cẩn thận trong việc xây dựng mô hình và giải thích kết quả. Chúng ta sẽ nghiên cứu nguyên tắc xây dựng mô hình ở cuối chương.

Phương sai của sai số thay đổi - HETEROSKEDASTICITY

Bản chất của phương sai của sai số thay đổi

Giả định của mô hình hồi quy tuyến tính cổ điển là phương sai của sai số hồi quy không đổi qua các quan sát. Trong thực tế sai số hồi quy có thể tăng lên hoặc giảm đi khi giá trị biến độc lập X tăng lên. Tổng quát, thay cho giả định

chúng ta giả định

(5.11)

Thường gặp phương sai không đồng nhất ở dữ liệu chéo và dữ liệu bảng. Nguyên nhân phương sai không đồng nhất rất đa dạng, sau đây là một số trường hợp điển hình:

Gọi Y là số phế phẩm trong 100 sản phẩm của một thợ học việc, X là số giờ thực hành. Khi số giờ thực hành càng lớn thì số phế phẩm càng nhỏ và càng ít biến động. Chúng ta có trường hợp phương sai giảm dần khi X tăng dần.

Khi thu nhập(X) tăng thì chi tiêu cho các mặt hàng xa xỉ tăng và mức biến động càng lớn. Chúng ta có trường hợp phương sai tăng dần khi X tăng dần.

Khi cải thiện phương pháp thu thập số liệu thì phương sai giảm.

Phương sai của sai số tăng do sự xuất hiện của điểm nằm ngoài, đó là các trường hợp bất thường với dữ liệu rất khác biệt(rất lớn hoặc rất nhỏ so với các quan sát khác).

Phương sai thay đổi khi không xác đúng dạng mô hình, nếu một biến quan trọng bị bỏ sót thì phương sai của sai số lớn và thay đổi. Tình trạng này giảm hẳn khi đưa biến bị bỏ sót vào mô hình.

Hệ quả của phương sai thay đổi khi sử dụng ước lượng OLS

Xét hồi quy

Yi = β size 12{β} {}1 + β size 12{β} {}2X i+ β size 12{β} {}i(5.12)

với

Sử dụng phương pháp bình phương tối thiểu thông thường (OLS) chúng ta có

vậy ước lượng theo OLS không chệch.

Chúng ta không chưa rõ là OLS có cho ước lượng hiệu quả hay không.

Ước lượng bình phương tối thiểu có trọng số (WLS)

Đặt

, chia hai vế của (5,12) cho wi chúng ta có mô hình hồi quy

Ta viết lại mô hình (5.13) như sau

Mô hình (5.14) không có tung độ gốc và phương sai đồng nhất.

Vậy ước lượng hệ số của (5.15) theo OLS là ước lượng hiệu quả(BLUE).

Kết quả ước lượng β size 12{β} {}2 của (5.15) theo OLS như sau

(5.16)

Ước lượng (5.16) hoàn toàn khác với (5.13). Chúng ta biết ước lượng theo WLS (5.16) là ước lượng hiệu quả vậy ước lượng theo OLS (5.13) là không hiệu quả.

Phương sai đúng của hệ số ước lượng β size 12{β} {}2

nhưng các phần mềm máy tính báo cáo phương sai là
.

Từ phương sai của sai số bị tính sai này các trị thống kê t-stat và sai số chuẩn của hệ số ước lượng phần mềm cung cấp là vô dụng.

Tóm lại, với sự hiện diện của phương sai của sai số thay đổi mặc dù ước lượng các hệ số theo OLS vẫn không chệch nhưng ước lượng không hiệu quả và các trị thống kê như t-stat không chính xác.

Phát hiện và khắc phục

Phát hiện phương sai của sai số thay đổi.

Phương pháp đồ thị. Xét đồ thị của phần dư theo giá trị Y và X.

Hình 5.1. Đồ thị phân tán phần dư ei theo Yˆi size 12{ { hat {Y}} rSub { size 8{i} } } {}.

Hình 5.2. Đồ thị phân tán phần dư ei theo Xi

Theo các đồ thị trên thì khi giá trị dự báo Y tăng (hoặc khi X tăng) thì phần dư có xu hướng tăng, hay mô hình có phương sai của sai số thay đổi.

Các phép thử chính thức

Xét hồi quy bội

(5.17)

Trong (k-1) biến độc lập trên ta trích ra (p-1) biến làm biến độc lập cho một hồi quy phụ. Trong hồi quy phụ này phần dư từ hồi quy mô hình(5.17) làm hồi quy biến phụ thuộc.

Các dạng hồi quy phụ thường sử dụng là

Kiểm định Breusch-Pagan căn cứ vào hồi quy phụ (5.18), kiểm định Glejser căn cứ vào (5.19) và kiểm định Harvey-Godfrey căn cứ vào (5.20).

Giả thiết không là không có phương sai không đồng nhất

H0 : β size 12{β} {}2 = β size 12{β} {}3 = … = β size 12{β} {}p = 0

H1 : Không phải tất cả các hệ số trên đều bằng 0.

R2 xác định từ hồi quy phụ, n là cỡ mẫu dùng để xây dựng hồi quy phụ, với cỡ mẫu lớn thì nR2 tuân theo phân phối Chi bình phương với (p-1) bậc tự do.

Quy tắc quyết định

Nếu χ(p1,1α)2nR2 size 12{χ rSub { size 8{ \( p - 1,1 - α \) } } rSup { size 8{2} } <= ital "nR" rSup { size 8{2} } } {} thì bác bỏ H0.

Nếu bác bỏ được H0 thì chúng ta chấp nhận mô hình có phương sai của sai số thay đổi và thực hiện kỹ thuật ước lượng mô hình như sau:

Đối với kiểm định Breusch-Pagan

Đối với kiểm định Glejser

Đối với kiểm định Harvey-Godfrey

Ta có wˆi=wˆi2 size 12{ { hat {w}} rSub { size 8{i} } = sqrt { { hat {w}} rSub { size 8{i} } rSup { size 8{2} } } } {}. Đến đây chúng ta có thể chuyển dạng hồi quy theo OLS thông thường sang hồi quy theo bình phương tối thiểu có trọng số WLS.

Tự tương quan (tương quan chuỗi)

Trong mô hình hồi quy tuyến tính cổ điển chúng ta giả định không có tương quan giữa các phần dư hay E( ε size 12{ε} {}iε size 12{ε} {}j) = 0 với mọi i, j.

Trong thực tế đối với dữ liệu chuỗi thời gian, giả định này hay bị vi phạm. Một lý do nôm na là biến số kinh tế có một quán tính(sức ỳ) nhất định. Ví dụ sự tăng cầu một loại hàng hóa của năm nay sẽ làm tăng lượng cung nội địa của hàng hoá đó vào năm sau, đây là tác động trễ của biến độc lập hay biến phụ thuộc thời kỳ t chịu tác động của biến độc lập ở thời kỳ t-1.

Đôi khi nền kinh tế lại phản ứng quá nhạy với sự thay đổi. Ví dụ giá mía cao ở năm nay sẽ làm cho nông dân đổ xô trồng mía, sản lượng mía năm sau tăng vọt làm giảm giá mía ở năm sau, đây là tác động trễ của biến phụ thuộc hay giá trị biến phụ thuộc thời kỳ t chịu ảnh hưởng của giá trị biến phụ thuộc thời kỳ t-1.

Hiện tượng tự tương quan làm cho E( ε size 12{ε} {}iε size 12{ε} {}j) ≠ 0 và gây ra các hậu quả sau

Ước lượng theo OLS không chệch nhưng không hiệu quả

Các trị thống kê tính theo OLS không hữu ích trong việc nhận định mô hình.

Chúng ta có thể phát hiện hiện tượng tự tương quan bằng cách quan sát đồ thị phần dư của mô hình trên dữ liệu chuỗi thời gian.

Hình 5.3. Tương quan chuỗi nghịch

Hình 5.4. Tương quan chuỗi thuận

Chúng ta sẽ tiếp tục làm việc với dữ liệu chuỗi và xử lý hiện tượng tự tương quan ở phần sau của giáo trình liên quan đến các mô hình dự báo.

Lựa chọn mô hình

Một yếu tố quan trọng đầu tiên để chọn đúng mô hình hồi quy là chọn đúng dạng hàm. Để chọn đúng dạng hàm chúng ta phải hiểu ý nghĩa và mối quan hệ kinh tế của các biến số. Ý nghĩa của một số loại hàm thông dụng đã được trình bày ở mục 3.8.2 chương 3. Ở phần này chúng ta xét hậu quả của một số dạng xây dựng mô hình sai và chiến lược xây dựng mô hình kinh tế lượng. Chúng ta cũng không đi sâu vào chứng minh các kết quả.

Thiếu biến có liên quan và chứa biến không liên quan.

Xét hai hồi quy sau

(5.21)

(5.22)

Mô hình (5.21) có các trị thông kê tương ứng có ký hiệu R và mô hình (5.22) có các trị thống kê tương ứng có ký hiệu U.

Có hai trường hợp xảy ra:

Trường hợp 1: Nếu mô hình (5.22) là đúng nhưng chúng ta chọn mô hình (5.21) nghĩa là chúng ta bỏ sót L biến quan trọng (XK+1,..XK+L). Hậu quả là ước lượng các hệ số cho K-1 biến độc lập còn lại bị chệch, mô hình kém tính giải thích cho cả mục tiêu dự báo vào phân tích chính sách.

Trường hợp 2: Nếu mô hình (5.21) là đúng nhưng chúng ta chọn mô hình (5.22), nghĩa là chúng ta đưa vào mô hình các biến không liên quan. Hậu quả là ước lượng hệ số cho các biến quan trọng vẫn không chệch nhưng không hiệu quả.

Kiểm định so sánh mô hình (5.21) và (5.22) - Kiểm định Wald

Chúng ta muốn kiểm định xem L biến (XK+1,..XK+L) có đáng được đưa vào mô hình hay không.

H0:

Trị thống kê

Quy tắc quyết dịnh: Nếu

thì ta bác bỏ H0 hay chấp nhận L biến (XK+1,..XK+L) xứng đáng được đưa vào mô hình.

Hai chiến lược xây dựng mô hình

Có hai chiến lược xây dựng mô hình kinh tế lượng là:

Xây dựng mô hình từ đơn giản đến tổng quát: chứa tất cả các biến có liên quan trong mô hình và loại bỏ dần những biến ít ý nghĩa thống kê nhất cho đến khi nhận được mô hình “tốt nhất”.

Xây dựng mô hình tổng quát đến đơn giản : Xuất phát từ biến độc lập có quan hệ kinh tế trực tiếp nhất với biến phụ thuộc, tiếp tục bổ sung biến mới cho đến khi nhận được mô hình “tốt nhất”.

Mỗi cách làm đều có những ưu và nhược điểm. Hiện nay với công cụ máy vi tính, người ta không còn ngại tính toán trên mô hình lớn và nhiều nhà kinh tế lượng cho rằng xây dựng mô hình từ tổng quát đến đơn giản thì hiệu quả hơn từ đơn giản đến tổng quát. Nét chung của cả hai chiến lược này là ở từng bước đều phải thực hiện kiểm định Wald.

Đánh giá:
0 dựa trên 0 đánh giá

Tuyển tập sử dụng module này

Nội dung cùng tác giả
 
Nội dung tương tự