Tự tương quan (Autocorrelation)

Tự tương quan (Autocorrelation)  Bản chất và nguyên nhân của hiện tượng tự tương quan  Ước lượng bình phương nhỏ nhất khi có tự tương quan  Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan  Hậu quả của việc sử dụng phương pháp OLS khi có tự tương quan  Phát hiện tự tương quan  Các biện pháp khắc phục Bản chất và nguyên nhân của hiện tượng tự tương quan 1. Tự tương quan là gì ? Trong mô hình hồi qui tuyến tính cổ điển, ta giả định rằng không có tương quan giữa các sai số ngẫu nhiên ui, nghĩa là: cov(ui, uj) = 0 (i  j) Nói một cách khác, mô hình cổ điển giả định rằng sai số ứng với quan sát nào đó không bị ảnh hưởng bởi sai số ứng với một quan sát khác. Bản chất và nguyên nhân của hiện tượng tự tương quan  Tuy nhiên trong thực tế có thể xảy ra hiện tượng mà sai số của các quan sát lại phụ thuộc nhau, nghĩa là: cov(ui, uj)  0 (i  j) Khi đó xảy ra hiện tượng tự tương quan.  Sự tương quan xảy ra đối với những quan sát “cắt ngang” đgl “tự tương quan không gian”.  Sự tương quan xảy ra đối với những quan sát “chuổi thời gian” đgl “tự tương quan thời gian”.                   t (a)             t (b)             t (c)             t (d)                t (e)            ui, ei ui, ei ui, ei ui, ei ui, ei 2. Nguyên nhân của tự tương quan  Quán tính: mang tính chu kỳ, VD: các chuổi số liệu thời gian về: GDP, chỉ số giá, sản lượng, thất nghiệp, …  Sai lệch do lập mô hình: bỏ sót biến, dạng hàm sai.  Hiện tượng mạng nhện: phản ứng của cung của nông sản đối với giá thường có một khoảng trễ về thời gian: QSt = 1 + 2Pt-1 + ut  Độ trễ: một hộ chi tiêu nhiều trong khoảng thời gian t có thể do chi tiêu ít trong giai đoạn t-1 Ct = 1 + 2It + 3Ct-1 + ut  Hiệu chỉnh số liệu: do việc “làm trơn” số liệu  loại bỏ những quan sát “gai góc”.  … Bản chất (tt)  Dạng mô hình sai                                q MC Ước lượng OLS khi có tự tương quan  Giả sử tất cả các giả định đối với mô hình hồi qui tuyến tính cổ điển đều thoả mãn trừ giả định không tương quan giữa các sai số ngẫu nhiên ut.  và không còn là ước lượng hiệu quả nữa, do đó nó không còn là ước lượng không chệch tốt nhất. ^ 1 2ˆ Ước lượng bình phương nhỏ nhất khi có tự tương quan  Xét mô hình với số liệu chuổi thời gian: Yt = 1 + 2Xt + ut  Ta giả thuyết: ut được tạo ra theo cách sau: ut = ut-1 + et (-1 <  < 1) (*) : hệ số tự tương quan; et: sai số ngẫu nhiên, thỏa mãn những giả định của OLS (et còn đgl sai số trắng): E(et) = 0; Var(et) = 2; Cov(et, et+s) = 0 (*): phương trình tự hồi quy bậc nhất Markov, ký hiệu: AR(1)  Nếu ut = 1ut-1 + 2ut-2 + et : tự hồi quy bậc hai: AR(2) Ước lượng bình phương nhỏ nhất khi có tự tương quan  Với mô hình AR(1), ta có thể chứng minh được:  Nếu =0, thì phương sai sai số của AR(1) bằng phương sai sai số của OLS.  Nếu sự tương quan giữa các ut và ut-1 rất nhỏ, thì phương sai sai số của AR(1) cũng bằng phương sai sai số của OLS.  Vậy nếu  tương đối lớn, các ước lượng của  vẫn không chệch nhưng không còn hiệu quả nữa nên chúng không là “BLUE”. Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan  Ước lượng bình phương tổng quát (GLS) của 1 phối hợp được tham số tự tương quan  vào công thức ước lượng. Đó chính là lý do vì sao ước lượng bình phương nhỏ nhất tổng quát là ước lượng tuyến tính không chệch tốt nhất. và Ước lượng tuyến tính không chệch tốt nhất khi có tự tương quan  C và D là các nhân tố điều chỉnh, có thể được bỏ qua trong phân tích thực tế.  Khi  = 0, không có thông tin bổ sung cần được xem xét và vì vậy cả hai hàm ước lượng GLS và OLS là như nhau. Hậu quả của việc sử dụng OLS khi có tự tương quan 1. Các ước lượng OLS vẫn là các ước lượng tuyến tính, không chệch, nhưng chúng không phải là ước lượng hiệu quả nữa. 2. Phương sai ước lượng được của các ước lượng OLS thường là chệch. Kiểm định t và F không còn tin cậy nữa. Ví dụ  Giả sử hãy xem xét khoảng tin cậy 95% từ các ước lượng OLS[AR(1)] và GLS, giả sử giá trị đúng của 2 = 0.  Xem xét một giá trị ước lượng cụ thể của 2, chẳng hạn b2.  Chúng ta chấp nhận giả thuyết H0: 2 = 0, nếu dùng khoảng tin cậy OLS; nhưng bác bỏ H0, nếu dùng khoảng tin cậy GLS. Ví dụ Hậu quả của việc sử dụng OLS khi có tự tương quan 3. = RSS/df là ước lượng chệch của 2 và trong một số trường hợp là chệch về phía dưới (underestimate). 4. Giá trị ước lượng R2 có thể bị ước lượng cao hơn (overestimate) và không tin cậy khi dùng để thay thế cho giá trị thực của R2. 5. Phương sai và sai số chuẩn của các giá trị dự báo không được tin cậy (không hiệu quả). 2ˆ Phát hiện tự tương quan 1. Phương pháp đồ thị 2. Kiểm định d của Durbin – Watson 3. Kiểm định 2 về tính độc lập của các phần dư Phương pháp đồ thị  Giả định về sự tự tương quan liên quan đến các giá trị ut của tổng thể, tuy nhiên, các giá trị này không thể quan sát được.  Ta quan sát et, hình ảnh của et có thể cung cấp những gợi ý về sự tự tương quan.  Ta có thể chạy OLS cho mô hình gốc và thu thập et từ đó. Vẽ đường et theo thời gian và quan sát.                   t (a)             t (b)             t (c)             t (d)                t (e) Không có tự tương quan            1. PP đồ thịet et et et et Phát hiện tự tương quan 2. Kiểm định d của Durbin – Watson Thống kê d. Durbin – Watson được định nghĩa như sau: d là tỷ số giữa tổng bình phương của chênh lệch giữa 2 sai số liên tiếp với RSS Do et2 và et-12 chỉ khác nhau có một quan sát, nên ta có thể xem chúng bằng nhau. d có thể được viết lại:               2 1 2 1 2 1 2 2 2 1 2 t tttt n t t n t tt e eeee e )ee( d             2 112 t tt e ee d Kiểm định d của Durbin – Watson Tức là: 0  d 4. Nếud khác các giá trị ta cần tra bảng tìm dU và dL và áp dụng quy tắc kiểm định sau: Giá trị  Giá trị (gần đúng) của d  = - 1 (tương quan hoàn hảo, âm)  =0 (không có tự tương quan)  =1 (tương quan hoàn hảo, dương) d = 4 d = 2 d = 0 Kiểm định d của Durbin – Watson Kiểm định d của Durbin – Watson Trong đó dU và dL là các giá trị tra bảng giá trị d (phần phụ lục) Giả thuyết H0 Quyết định nếu Không có tự tương quan dương Không có tự tương quan dương Không có tự tương quan âm Không có tự tương quan âm Không có tự tương quan âm hoặc dương Bác bỏ Không qđ Bác bỏ Không qđ Chấp nhận 0 < d < dL dL  d dU 4 - dL < d <4 4 -dU d 4 - dL dU  d 4 - dU Kiểm định d của Durbin – Watson  Nếu giá trị của d thuộc miền không có quyết định, => một số cải biên kiểm định d:  H0:  = 0; H1:  >0. Nếu d < dU thì bác bỏ H0 và chấ nhận H1 (với mức ý nghĩa ), nghĩa là có tự tương quan dương.  H0:  = 0; H1: <0. Nếu (4 - d) < dU thì bác bỏ giả thuyết H0, nghĩa là có tự tquan âm.  H0:  = 0; H1:   0. Nếu d < dU hoặc (4 - d) < dU thì bác bỏ giả thuyết H0, chấp nhận H1 (với mức ý nghĩa 2) tức có tự tương quan (dương hoặc âm). Kiểm định d của Durbin – Watson Những lưu ý quan trọng khi áp dụng kiểm định d:  Mô hình hồi quy không có chứa biến trễ Yt-1.  Không có quan sát bị thiếu (missing). Kiểm định d của Durbin – Watson Các bước thực hiện:  Chạy mô hình OLS và thu thập phần sai số et.  Tính d theo công thức trên.  Với cở mẫu n và số biến giải thích k, tìm giá trị tra bảng dL và dU.  Dựa vào các quy tắc kiểm định trên để ra kết luận. Kiểm định Breusch-Godfrey (BG)  Kiểm định này cho phép các biến ước lượng không ngẫu nhiên là các biến trễ của Yt, các mối tương quan bậc cao AR(2), AR(3), … và những trung bình di động bậc cao của sai số “trắng”, t trong mô hình.  Giả sử có mô hình hồi quy hai biến Yt = 1 + 2Xt + ut, Lưu ý: Xt có thể là biến trễ của Yt.  Giả sử ut có sự tự tương quan bậc p, AR(p): ut = 1ut-1 + 2ut-2 + … + put-p + t,  Kiểm định giả thuyết H0: 1= 2 = … = p=0 Kiểm định Breusch-Godfrey (BG) Các bước thực hiện kiểm định BG: 1. Ước lượng OLS mô hình gốc và thu thập sai số et, et-1, et-2, …, et-p. 2. Hồi quy et theo các biến Xt, và các biến et-1, et-2, …, et-p. Ví dụ, p = 3, thì ta thêm 3 biến trễ vào mô hình. Lưu ý, khi chạy mô hình này, ta chỉ có (n-p) quan sát. et = 1 + 2Xt + 1et-1 + 2et-2 + … + pet-p + t, Thu thập R2 từ mô hình ước lượng này. 3. Nếu cở mẫu lớn, BG chứng minh rằng: (n – p)R2 ~ p2. Nếu (n – p)R2 > p2 tra bảng ở một mức ý nghĩa cho trước, ta bác bỏ giả thuyết H0.   Kiểm định 2 về tính độc lập của các phần dư  R1 = A11 + A12; R2 = A21 + A22; C1 = A11 + A21; C2 = A12 + A22; n là tổng số phần dư ở t và t – 1; n = R1 + R2 = C1 + C2.  Eij là tần số lý thuyết ở ô chứa Aij (i, j = 1, 2) Số phần dư dương tại t Số phần dư âm tại t Tổng Số phần dư dương tại t - 1 A11 (E11) A12 (E12) R1 Số phần dư âm tại t - 1 A21 (E21) A22 (E22) R2 Tổng C1 C2 n Kiểm định 2 về tính độc lập của các phần dư  Trong đó: A11 là số phần dư dương tại t – 1 và t A12 là số phần dư dương tại t – 1 và âm tại t. A21 là số phần dư âm tại t – 1 và dương tại t A22 là số phần dư âm tại t – 1 và âm tại t. Kiểm định 2 về tính độc lập của các phần dư  Để kiểm định giả thuyết về tính độc lập của các phần dư ta có thể tiến hành kiểm định giả thuyết H0: Các hàng và cột độc lập với nhau; với giả thuyết đối: H1: Các hàng và cột không độc lập với nhau.  Để kiểm định giả thuyết H0 nêu trên ta dùng tiêu chuẩn kiểm định 2:      2 1 2 1 2 2 )( i i ij ijij E EA  Kiểm định 2 về tính độc lập của các phần dư Eij là tần số lý thuyết ở ô chứa Aij (i, j = 1, 2) Eij = (i, j =1, 2) Vậy qui tắc quyết định là: nếu giá trị của thống kê 2 tính được vượt quá giá trị tới hạn (với mức ý nghĩa ) thì ta có thể bác bỏ giả thuyết H0 về tính độc lập của các phần dư. Nếu xảy ra trường hợp trái lại thì ta chấp nhận giả thuyết H0. n CR ji Các biện pháp khắc phục Những việc cần làm khi phát hiện sự tự tương quan: 1. Hãy xem xét xem hiện tượng này có phải là tự tương quan thuần túy (pure autocorrelation) hay là do xác định dạng mô hình sai. 2. Nếu là tự tương quan thuần túy, ta dùng những cách chuyển đổi mô hình thích hợp. 3. Đối với mẫu lớn, ta có thể dùng phương pháp Newey-West để thu thập s.e. của các ước lượng OLS đã được điều chỉnh cho tự tương quan. 4. Trong một số trường hợp, ta có thể tiếp tục dùng OLS. Các biện pháp khắc phục 1. Trường hợp đã biết cấu trúc của tự tương quan: Phương pháp GLS: Trong thực hành, người ta thường giả sử rằng ut theo mô hình tự hồi qui bậc nhất, nghĩa là: ut = ut-1 + et (*) Trong đó  < 1 và et thoả mãn các giả định của phương pháp OLS. Giả sử (*) là đúng thì vấn đề tương quan chuỗi có thể được giải quyết thoả đáng nếu hệ số tương quan  đã biết. ta xét mô hình hai biến: yt = 1 + 1xt + ut (4.23) Nếu (4.23) đúng với t thì cũng đúng với t – 1 nên: yt-1 = 1 + 1xt - 1 + ut - 1 (4.24) Nhân hai vế của (4.24) với  ta được: yt-1 = 1 + 1xt - 1 + ut - 1 (4.25) Trừ (4.23) cho (4.25) ta được: yt - yt-1 = 1(1 - ) + 1 (xt - xt – 1) + (ut - ut – 1) = 1(1 - ) + 1 (xt - xt – 1) + et (4.26) Đặt: 1* = 1 (1 - ); 1* = 1 yt* = yt - yt – 1; xt* = xt - xt – 1 Khi đó (4.26) có thể viết lại dưới dạng: yt* = 1* + 1*xt* + et (**)Vì et thoả mãn các giả định của phương pháp OLS đối với các biến y* và x* nên các ước lượng tìm được sẽ là các ước lượng tuyến tính không chệch tốt nhất.  Phương trình hồi qui (**) được gọi là phương trình sai phân tổng quát (Generalized Least Square – GLS).  Để tránh mất mát một quan sát này, quan sát đầu của y và x được biến đổi như sau:  11 * 1 yy  111 xx * 2. Trường hợp  chưa biết: Thông thường cấu trúc của tự tương quan là không biết nên GLS khó thực hiện. 2. 1 Phương pháp sai phân cấp 1  Nếu  = 1 thì phương trình sai phân tổng quát (4.27) quy về phương trình sai phân cấp 1: yt – yt – 1 = 1(xt – xt – 1) + (ut – ut – 1) = 1(xt – xt – 1) + et Hay: yt = 1  xt + et (4.28) Trong đó:  là toán tử sai phân cấp 1. Để ước lượng hồi qui (4.28) ta sẽ sử dụng mô hình hồi qui qua gốc toạ độ. Giả sử mô hình ban đầu là: yt = 1 + 1xt + 2t + ut (4.29) Trong đó t là biến xu thế còn ut theo sơ đồ tự hồi qui bậc nhất. Thực hiện phép biến đổi sai phân cấp 1 đối với (4.29) ta được: yt = 1xt + 2 + e (4.30) trong đó: yt = yt – yt – 1 và xt = xt – xt – 1 * Phương pháp này thường được áp dụng khi hệ số tương quan cao, chẳng hạn,  Nếu  = -1 nghĩa là có tương quan âm hoàn toàn. Phương trình sai phân tổng quát bây giờ có dạng: (suy ra từ 4.27) yt + yt – 1 = 21 + 1(xt + xt – 1) + et Hay: 1 + 1 + Mô hình này được gọi là mô hình hồi qui trung bình trượt (2 thời kỳ) vì chúng ta hồi qui giá trị của một trung bình trượt đối với một trung bình trượt khác.    2 1tt yy 2 1 tt xx 2 te 2. 2 Ước lượng  dựa trên thống kê d- Durbin-Watson d  2(1 - ) hay => xấp xỉ và có thể không đúng với mẫu nhỏ. Đối với các mẫu nhỏ có thể sử dụng thống kê d cải biên của Theil – Nagar. ˆ 2 d  1ˆ 22 22 21 kn k)/d(n^    Một khi có được giá trị của , ta có thể dùng các chuyển đổi như đã nêu ở trên ˆ 2. 3 Thủ tục lặp Cochrance – Orcutt để ước lượng  Phương pháp này sử dụng các phần dư et đã được ước lượng để thu được thông tin về  chưa biết. Ta xét phương pháp này dựa trên mô hình hai biến sau: yt = 1 + 1xt + ut (4.34) Giả sử ut được sinh ra từ phương trình AR(1): ut = ut – 1 + et (4.35) Các bước ước lượng  được tiến hành như sau: Các bước ước lượng  được tiến hành như sau: Bước 1: Ước lượng mô hình (4.34) bằng phương pháp OLS và thu được các phần dư et. Bước 2: Sử dụng các phần dư để ước lượng hồi qui: et = et – 1 + vt (4.36) Lưu ý đây là hồi quy qua gốc. Do et là ước lượng vững của ut thực nên ước lượng  có thể thay cho  thực. Bước 3: sử dụng thu được từ (4.36) để ước lượng phương trình sai phân tổng quát (4.26). Tức phương trình: yt - yt – 1 = 1 (1 - ) + 1(xt - xt –1) + (ut – ut –1) Hay yt* = 1* + 1* xt* + vt ˆ ˆ ˆ ˆ ˆ  Bước 4: Vì chúng ta chưa biết trước rằng thu được từ (4.36) có phải là ước lượng tốt nhất của  hay không. Ta thế giá trị ước lượng của 1* và 1* thu được từ (4.37) vào hồi qui gốc (4.34) và thu được các phần dư mới et*: et* = yt – (1* + 1* xt) (4.38) Ước lượng phương trình hồi qui tương tự với (4.36). et* =  e*t – 1 + wt (4.39) là ước lượng vòng 2 của . Thủ tục này tiế tục cho đến khi các ước lượng kế tiếp nhau của  khác nhau một lượng rất nhỏ, chẳng hạn nhỏ hơn 0,05 ˆ ˆ 2. 4 Phương pháp Durbin – Watson 2 bước để ước lượng  Để minh hoạ phương pháp này, chúng ta viết lại phương trình sai phân tổng quát dưới dạng sau: yt = 1(1 - ) + 1 xt – 1xt – 1 + yt – 1 + et (4.40) Durbin đã đề xuất thủ tục 2 bước như sau để ước lượng : Bước 1: Coi (4.40) như là một mô hình hồi qui bội, hồi qui yt theo xt, xt – 1 và yt – 1 và coi giá trị ước lượng được đối với hệ số hồi qui của yt – 1 (= ) là ước lượng của . Mặc dầu là ước lượng chệch nhưng ta có ˆ 2. 4 Phương pháp Durbin – Watson 2 bước để ước lượng  Bước 2: Sau khi thu được , hãy biến đổi yt* = yt - yt – 1 và xt* = xt - xt –1 và ước lượng hồi qui (4.27) với các biến đã được biến đổi như trên. Như vậy, theo phương pháp này thì bước 1 là để ước lượng  còn bước 2 là để thu được các tham số. ˆ ˆ ˆ Ví dụ: Cho các số liệu về thu nhập (Y) và tiêu dùng (C) trong khoảng thời gian từ 1975-2005 cho ở bảng (4.5). Hồi qui C theo Y ta được kết quả: = -161,5117 + 0,6841864Yt Durbin – Watson d – statistic (2,31) = 0,6838804. Tra bảng với n = 31; k = 1; Ta được dL = 1,363; dU = 1,496. Vì d < dL do đó có tự tương quan dương. Cˆ Ví dụ: (tt) Áp dụng phương pháp Durbin –Watson 2 bước: Ước lượng : = -2,1583 + 0,361183 Yt – 0,33515 Yt - 1 + 0,97472 Ct – 1 Durbin – Watson d-statistic (4,30) = 1,724628 Từ kết quả trên, ta thấy = 0,97472. Dùng để ước lượng phương trình sai phân tổng quát, ta được kết quả: = 31,53429 + 0,41511Yt* Durbin – Watson d-statistic (2,30) = tCˆ *ˆ tC  ˆ  Phương pháp Newey-West để điều chỉnh sai số chuẩn của ước lượng OLS  Các phương pháp trước chủ yếu tiến hành qua 2 bước: 1) ước lượng giá trị , và 2) dùng giá trị  vừa được ước lượng để chuyển đổi mô hình hồi quy.  Phương pháp Newey-West dựa trên các ước lượng OLS nhưng điều chỉnh sai số chuẩn để khắc phục sự tự tương quan.  Thuật toán để điều chỉnh s.e. này không được trình bày ở đây vì rất phức tạp, các phần mềm máy tính mới đều tính được các s.e. điều chỉnh này.  Sai số chuẩn đã được điều chỉnh đgl “sai số chuẩn HAC” hay “sai số chuẩn Newey West”.