Bài giảng Kinh tế lượng - Chương 1 Mô hình hồi quy tuyến tính hai biến

8/21/2013 1 CHƢƠNG 1 MÔ HÌNH HỒI QUY TUYẾN TÍNH HAI BIẾN 1 NỘI DUNG CHƢƠNG 1 I. Mô hình hồi quy và một số khái niệm II. Phương pháp ước lượng OLS III. Tính không chệch và độ chính xác của các ước lượng OLS IV. Độ phù hợp của hàm hồi quy mẫu – Hệ số xác định R2 V. Một số vấn đề bổ sung 2 8/21/2013 2 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM 1. Mô hình hồi quy  Mô hình hồi quy hai biến (mô hình hồi quy đơn) là mô hình có một biến phụ thuộc và một biến độc lập.  Tổng quát Giả sử Y và X là hai biến số thể hiện một tổng thể nào đó, mô hình hồi quy tuyến tính hai biến thể hiện mối quan hệ phụ thuộc giữa biến Y và biến X có dạng như sau: (1.1) 3 1 2 Y X u    Các thành phần của mô hình hồi quy:  Các biến số: mô hình hồi quy gồm hai loại biến số:  Biến phụ thuộc: là biến số mà ta đang quan tâm đến giá trị của nó, thường ký hiệu là Y và nằm ở vế trái của phương trình.  Biến độc lập: là biến số được cho là có tác động đến biến phụ thuộc, thường ký hiệu là X và nằm ở vế phải của phương trình. 4 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM 8/21/2013 3  Sai số ngẫu nhiên: • Sai số ngẫu nhiên, thƣờng đƣợc ký hiệu là u, là yếu tố đại diện cho các yếu tố có tác động đến biến Y, ngoài X. • Thành phần này chỉ mang tính ký hiệu mà không được xem như là biến số. • Không có các quan sát về u => còn được gọi là sai số ngẫu nhiên không quan sát được. • Giả thiết rằng tại mỗi giá trị của X thì kỳ vọng của u bằng 0 E(u/X) = 0 (1.2) 5 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM  Các hệ số hồi quy: Bao gồm β1 và β2 , thể hiện mối quan hệ giữa biến X và Y khi các yếu tố bao hàm trong u là không đổi. 6 8/21/2013 4 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM 2. Hàm hồi quy tổng thể • Với giả thiết (1.2); có thể viết lại (1.1) như sau: (1.3) E(Y|X) là kỳ vọng của biến Y khi biết giá trị của biến X, hay còn gọi là kỳ vọng của Y với điều kiện X • (1.3) còn được gọi là hàm hồi quy tổng thể (PRF – population regression function) 7 1 2( | )XE Y X   I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM • Hàm hồi quy có một biến độc lập được gọi là hàm hồi quy đơn (hàm hồi quy hai biến) • Hàm hồi quy có từ hai biến độc lập trở lên được gọi là hàm hồi quy bội (hàm hồi quy đa biến) 8 8/21/2013 5  Các hệ số hồi quy β1 và β2 còn được gọi là các tham số của tổng thể. • β1 : đƣợc gọi là hệ số chặn, Ý nghĩa: Khi biến độc lập X nhận giá trị bằng 0 thì giá trị trung bình của biến phụ thuộc Y bằng β1 đơn vị. • β2 :đƣợc gọi là hệ số góc, thể hiện quan hệ giữa biến độc lập và giá trị trung bình của biến phụ thuộc Ý nghĩa: Khi biến độc lập X tăng (giảm) 1 đơn vị thì giá trị trung bình của biến phụ thuộc Y tăng (giảm) β2 đơn vị. Dấu của hệ số góc thể hiện chiều của mối quan hệ (cùng chiều/ ngược chiều) 9 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM 3. Hàm hồi quy mẫu Nếu có toàn bộ tổng thể => thu được giá trị đúng của βj Tuy nhiên thường không thu thập được toàn tổng thể => Thu được số liệu mẫu => Hàm hồi quy mẫu Mẫu ngẫu nhiên kích thước n: (Yi, Xi), i = 1,2,.., n thu được giá trị ước lượng của β1 và β2 ; ký hiệu là và ^ 1 ^ 2 10 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM pp ƢL 8/21/2013 6  ≠ E(Y/X) Giá trị ước lượng của E(Y/X) từ mẫu, ký hiệu là => (1.4)  (1.4) gọi là hàm hồi quy mẫu (SRF: sample regression function) cho hàm hồi quy tổng thể (1.3) Có thể viết chi tiết cho từng quan sát như sau: , (i = 1,2,.., n) (1.4)’ X ^ 2 ^ 1   ^ Y 1 2 ˆ ˆYˆ X   1 2 ˆ ˆˆ i iY X   11 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Ký hiệu mũ trên đầu ngụ ý rằng đây là giá trị ước lượng từ mẫu chứ không phải là giá trị thực của tổng thể.  được gọi là các hệ số hồi quy mẫu, hay các hệ số ƣớc lƣợng.  là giá trị ước lượng của hệ số chặn β1  là giá trị ước lượng của hệ số góc β2 1 2 ˆ ˆ,  ^ 1 ^ 2 12 I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM 8/21/2013 7 4. Tính tuyến tính trong mô hình hồi quy  Tính tuyến tính của hàm hồi quy được hiểu là tuyến tính theo tham số (theo các hệ số hồi quy), và nó có thể tuyến tính hoặc phi tuyến theo biến X hoặc biến Y.  Ví dụ về mô hình hồi quy tuyến tính:  Ví dụ về mô hình hồi quy dạng phi tuyến: ; 2 1 2Y X u    uXLnYLn  )()( 21  13 0 1 2 1 Y u X        1 2XY e u    I. MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM • Xét mô hình hồi quy tổng thể: • Giả sử có mẫu ngẫu nhiên kích thước n thu được từ tổng thể: (Yi, Xi) (i = 1,2,.., n) Hàm hồi quy mẫu: 1 2 ˆ ˆˆ i iY X   1 2i i iY X u    14 pp ƢL II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 8/21/2013 8 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS  Gọi sai lệch giữa giá trị thực tế Yi và giá trị ước lượng của nó từ hàm hồi quy mẫu là phần dƣ (residuals), ký hiệu là ei:  Lưu ý: Khi đó 𝒀𝒊 = 𝜷 𝟏 + 𝜷 𝟐𝑿𝒊 + 𝒆𝒊 được gọi là Mô hình hồi quy mẫu  Mục tiêu: tìm các giá trị ước lượng sao cho sai lệch tổng hợp giữa các giá trị thực tế Yi và giá trị ước lượng tương ứng từ hàm hồi quy mẫu là nhỏ nhất có thể được. 15 1 2 ˆ ˆ;  ˆ i i ie Y Y  Hàm hồi quy mẫu và phần dƣ e 1 1 2 ˆ ˆˆ i iY X   Xn X2 X1 X e1 e2 en • Y Y1 • Y2 • • 1 ^ Y • Yn 16 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 8/21/2013 9 Sai lệch tổng hợp có thể được định nghĩa bởi: (1) Tổng các phần dư (2) Tổng các giá trị tuyệt đối của phần dư (3) Tổng bình phương các phần dư => Phương pháp bình phương bé nhất (Odinary Least Squares): Phương pháp xác định dựa trên tiêu chuẩn cực tiểu tổng bình phương các phần dư. 1 2 ˆ ˆ;  1 n i i e   1 | | n i i e   2 1 n i i e   17 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS => Bài toán cực trị: Tìm sao cho: với là các số thực bất kỳ 1 2 2 2 2 1 2 1 2, 1 1 1 ˆ ˆ( ) min ( ) n n n i i i i i i i i e Y X Y X                  1 2 ˆ ˆ,  1 2,  18 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 8/21/2013 10 => là nghiệm của hệ phương trình: 1 2 ˆ ˆ,  2 2 1 2 1 1 1 ˆ ˆ( ) 0 ˆ ˆ n i i i i Y X e               2 2 1 2 1 2 2 ˆ ˆ( ) 0 ˆ ˆ n i i i i Y X e               1 2 1 1 ˆ ˆ n n i i i i n X Y        2 1 2 1 1 1 ˆ ˆ n n n i i i i i i i X X X Y         19 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS => Kết quả: (1.5) (1.6) với và là trung bình mẫu của X và Y => được gọi là các ước lượng bình phương nhỏ nhất (ước lượng OLS) 1 2 2 1 ˆ n i i i n i i x y x       1 2 ˆ ˆY X   ;i i i ix X X y Y Y    ;X Y 1 2 ˆ ˆ,  20 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 8/21/2013 11 Các hàm hồi quy mẫu từ các mẫu khác nhau và hàm hồi quy tổng thể SRF2 SRFm E(Y|X) X PRF SRF1 21 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Nhận xét:  được xác định một cách duy nhất ứng với n cặp quan sát (Xi;Yi)  là các ƣớc lƣợng điểm của β1 ; β2  là các biến ngẫu nhiên, nhận các giá trị khác nhau với các mẫu khác nhau. (Lưu ý: Các hệ số tổng thể β1 ; β2 - là các tham số, nhận giá trị duy nhất cho mỗi tổng thể). 1 2 ˆ ˆ,  1 2 ˆ ˆ,  1 2 ˆ ˆ,  22 II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 8/21/2013 12 => Các giá trị ước lượng thu được từ các mẫu khác nhau của cùng một tổng thể nói chung sẽ khác nhau, do đó có thể khá khác biệt so với các hệ số hồi quy tổng thể. Vậy: (1) Khi nào thì là các ước lượng đáng tin cậy cho các giá trị chưa biết β1 ; β2 ? (2) Nếu các ước lượng là đáng tin cậy thì mức độ chính xác của các ước lượng này là thế nào ? 1 2 ˆ ˆ,  1 2 ˆ ˆ,  23 1 2 ˆ ˆ,  II. PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 1. Các giả thiết của phƣơng pháp OLS  Giả thiết 1: Mô hình được ước lượng trên cơ sở mẫu ngẫu nhiên kích thước n: {(Xi,Yi), i = 1,2,..,n} 24 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 13  Giả thiết 2: Kỳ vọng của sai số ngẫu nhiên với điều kiện X bằng 0. E(ui| Xi) = 0  Nếu giả thiết 2 thỏa mãn thì sẽ có:  E(u) = 0  cov(X, u) = 0 25 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Minh họa giả thiết 2: Trung bình sai số ngẫu nhiên tại mỗi giá trị Xi: E(u/X=Xi)=0 26 1 2( | )i i iE Y X X   • • • • Xn Xi X1 Y X • • • ui: E(ui|Xi) =0 u1: E(u1|X1) =0 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 14  Giả thiết 3: Phương sai của sai số ngẫu nhiên là bằng nhau tại mọi giá trị Xi 𝑉𝑎𝑟 𝑢 𝑋𝑖 = 𝜎 2, với mọi i  Minh họa: 27 1 2( | )i i iE Y X X   Xn X2 X1 f(u|X) X Y Phân phối của u tại X1 Phân phối của u tại Xn Phân phối của u tại X2 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS  Giả thiết 3 bị vi phạm: 28 1 2( | )i i iE Y X X   Xn X2 X1 f(u|X) X Y Phân phối của u tại X1 Phân phối của u tại Xn Phân phối của u tại X2 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 15 2. Tính không chệch của các ƣớc lƣợng OLS  Định lý 1.1: Khi giả thiết 2 thỏa mãn thì các ước lượng là các ước lượng không chệch của β1 ; β2 , nghĩa là:  => Khi lấy các mẫu khác nhau, các nhận được tuy là khác nhau nhưng trung bình của chúng sẽ xấp xỉ các giá trị cần tìm βj 1 1 2 2 ˆ ˆ( ) ; ( )E E     1 2 ˆ ˆ,  ˆ j 29 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 3. Độ chính xác của các ƣớc lƣợng OLS • Độ chính xác của ước lượng có thể được đo bằng độ phân tán của các xung quanh βj tương ứng, nghĩa là: • Khi thì độ chính xác này chính là phương sai của các ước lượng: ˆ j 2ˆ( )j jE   ˆ( )j jE  2 2ˆ ˆ ˆ ˆ( ) [( ( )) ] ar( )j j j j jE E E v        30 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 16 • Định lý 1.2: Khi các giả thiết 1 → 3 được thỏa mãn thì phương sai của các hệ số ước lượng bằng: (1.7) (1.8) 2 2 2 1 ˆar( ) n i i v x      2 21 1 2 1 ˆar( ) n i i n i i X v n x       31 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Ƣớc lƣợng điểm phƣơng sai sai số ngẫu nhiên:  Trong công thức (1.7) và (1.8) thì σ2 = Var(ui)  σ2 chưa biết; giá trị ước lượng điểm của σ2 là: ;  là ước lượng không chệch của σ2  được gọi là sai số chuẩn của hồi quy (standard error of regression) 2 ˆ 1 2 2     n e n i i  2ˆˆ   2ˆ ˆ 32 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 17 • Khi σ2 trong công thức (1.7) & (1.8) được thay thế bằng ước lượng của nó là thì nhận được giá trị ƣớc lƣợng của phƣơng sai hệ số ƣớc lƣợng. • Sai số chuẩn (standard error) của hệ số ƣớc lƣợng: bằng căn bậc hai của với σ2 được thay bởi giá trị ước lượng của nó là ; 2ˆ ˆar( )jv  2ˆ    n i ix se 1 2 2 ˆ )ˆ(    ˆ)ˆ( 1 2 1 2 1     n i i n i i xn X se 33 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Một số tính chất đại số của hàm hồi quy mẫu: Khi mô hình có hệ số chặn, hàm hồi quy mẫu thỏa mãn một số tính chất sau:  TC1: Tổng các phần dư bằng 0, tức là  TC2: Hiệp phương sai mẫu giữa biến độc lập và phần dư bằng 0 ; trong đó e = (e1,..., en) và X = (X1,..., Xn)  TC3. Đường hồi quy mẫu luôn đi qua giá trị trung bình mẫu  TC4: Trung bình của giá trị ước lượng của biến phụ thuộc bằng trung bình mẫu của nó: 1 0 n i i e   cov( , ) 0X e  ( , )X Y Yˆ Y 34 III. TÍNH KHÔNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS 8/21/2013 18 (a) (b) Độ phù hợp của hàm hồi quy mẫu với số liệu mẫu 35 IV. ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 Ký hiệu: • TSS (Total Sum of Squares): Tổng bình phương tất cả các sai lệch giữa giá trị quan sát và giá trị trung bình mẫu của biến phụ thuộc. • ESS (Explained Sum of Squares): Tổng bình phương tất cả các sai lệch giữa giá trị ước lượng của biến phụ thuộc và giá trị trung bình của nó. • RSS (Residual Sum of Squares): Tổng bình phương tất cả các sai lệch giữa giá trị quan sát và giá trị ước lượng của biến phụ thuộc. 2 1 ( ) n i i TSS Y Y    36 IV. ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 𝐸𝑆𝑆 = (𝑌𝑖 − 𝑌 )2 𝑛 𝑖=1 = 𝛽2 2 𝑥𝑖 2 𝑛 𝑖=1 𝑅𝑆𝑆 = (𝑌𝑖 − 𝑌𝑖 ) 2 𝑛 𝑖=1 = 𝑒𝑖 2 𝑛 𝑖=1 8/21/2013 19  Chứng minh được: TSS = ESS + RSS =>  Hệ số xác định của hàm hồi quy: ES 1 S RSS TSS TSS   37 IV. ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 2 ES 1 S RSS R TSS TSS    20 1R   Ý nghĩa của R2 : R2 cho biết % sự biến đổi của biến phụ thuộc đƣợc giải thích bởi mô hình  R2 = 1: Mô hình giải thích được 100% cho sự biến động của biến phụ thuộc => Mô hình hồi quy phù hợp hoàn hảo  R2 = 0: Mô hình hoàn toàn không giải thích được gì cho sự thay đổi của biến phụ thuộc Y => Giữa Y và X không có mối liên hệ gì => Mô hình không phù hợp 38 IV. ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 8/21/2013 20 Nhận xét: • Cùng một nhóm biến giải thích, dạng hàm nào có hệ số xác định lớn hơn thì được coi là phù hợp hơn. • Với mô hình hồi quy hai biến, có chứa hệ số chặn thì hệ số xác định R2 cũng chính bằng bình phương của hệ số tương quan mẫu giữa biến độc lập và biến phụ thuộc: • Nếu mô hình không có hệ số chặn thì các phát biểu về R2 có thể không đúng nữa; R2 có thể nhận giá trị âm. 2 12 2 , 2 2 1 1 n i i i X Yn n i i i i x y R r x y                       39 IV. ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 V. MỘT SỐ VẤN ĐỀ BỔ SUNG (*) 1. Đơn vị đo lƣờng trong phân tích hồi quy • Khi thay đổi đơn vị đo lường, độ lớn của các hệ số ước lượng nói chung sẽ thay đổi • Độ lớn của các hệ số có thể thay đổi khi thay đổi đơn vị đo lường của các biến số, nhưng ý nghĩa của các con số này vẫn không thay đổi • Phân tích hồi quy quan tâm đến ý nghĩa của các hệ số chứ không phải độ lớn của các hệ số này, => phân tích hồi quy không bị tác động của đơn vị đo lường 40 8/21/2013 21 2. Hệ số chặn và mô hình hồi quy • Ý nghĩa của hệ số chặn trong mô hình hồi quy: chính là giá trị trung bình của biến Y khi X bằng 0. => Hệ số chặn có ý nghĩa như trên chỉ khi biến độc lập có nhận giá trị 0. • Ví dụ: 1) TN = β1 + β2 KN + u 2) TN = β1 + β2 Age + u 41 V. MỘT SỐ VẤN ĐỀ BỔ SUNG (*) • Dù trong nhiều mô hình, hệ số chặn không có ý nghĩa thực tế thì vẫn phải giữ nó ở trong mô hình nhằm đảm bảo yêu cầu về mặt kỹ thuật cho mô hình hồi quy. • Trong phân tích hồi quy, không quan tâm nhiều đến ý nghĩa của hệ số chặn mà quan tâm chủ yếu đến hệ số góc. 42 V. MỘT SỐ VẤN ĐỀ BỔ SUNG (*)