Bài giảng Kinh tế lượng - Chương 2 Mô hình hồi quy bội

9/5/2013 1 CHƢƠNG 2 MÔ HÌNH HỒI QUY BỘI 1 NỘI DUNG CHƢƠNG 2 I. Sự cần thiết của mô hình hồi quy bội II. Mô hình hồi quy bội và phương pháp ước lượng OLS III. Một số dạng của mô hình hồi quy IV. Tính vững của các ước lượng OLS 2 9/5/2013 2 1. Mô hình hai biến – vấn đề về kỳ vọng sai số khác 0  Nếu sai số ngẫu nhiên trong mô hình mà có tương quan với biến độc lập (cov(X,u) ≠ 0) thì giả thiết 2 sẽ bị vi phạm.  Biến độc lập nội sinh: là biến độc lập có tương quan với sai số ngẫu nhiên trong mô hình. => Khi mô hình có biến độc lập nội sinh => giả thiết 2 bị vi phạm => các ước lượng OLS sẽ bị chệch.  Trong mô hình hồi quy đơn, giả thiết 2 thường bị vi phạm. I. SỰ CẦN THIẾT CỦA MÔ HÌNH HỒI QUY BỘI (*) 3 2. Một số ƣu việt khác của mô hình hồi quy bội Mô hình hồi quy bội thường có chất lượng dự báo tốt hơn.  Mô hình hồi quy bội cung cấp các dự báo hữu ích hơn.  Mô hình hồi quy bội cho phép sử dụng dạng hàm phong phú hơn.  Mô hình hồi quy bội cho phép thực hiện các phân tích phong phú hơn. I. SỰ CẦN THIẾT CỦA MÔ HÌNH HỒI QUY BỘI (*) 4 9/5/2013 3 1. Mô hình và các giả thiết  Mô hình hồi quy tuyến tính k biến: (2.1)  Y là biến phụ thuộc  Các Xj (j = 2,3,.., k) là các biến độc lập  u là sai số ngẫu nhiên, đại diện cho các yếu tố ngoài các biến Xj (j = 2 ÷ k), có tác động đến Y nhưng không đưa vào mô hình. II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 1 2 2 .. k kY X X u       5 Các giả thiết của mô hình:  Giả thiết 1: Mô hình được ước lượng trên cơ sở mẫu ngẫu nhiên kích thước n: {(Xi,Yi), i = 1,2,..,n}  Giả thiết 2:Kỳ vọng của sai số ngẫu nhiên tại mỗi giá trị (X2i,.., Xki) bằng 0:  Giả thiết 3: Phương sai của sai số ngẫu nhiên tại các giá trị X2i,.., Xki đều bằng nhau 6 2 ,.., ( | ) 0 i kiX X E u  2 2 ,..,ar( | )i kiX Xv u  II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 4  Giả thiết 4: Giữa các biến độc lập Xj (j = 2 ÷ k) không có mối quan hệ đa cộng tuyến hoàn hảo, (nghĩa là không tồn tại các hằng số không đồng thời bằng 0 sao cho λ2X2 + + λkXk = 0) 2 ,.., k  7 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Ý nghĩa của các hệ số hồi quy:  Với giả thiết 2, => Hàm hồi quy tổng thể của mô hình (2.1) như sau: (2.2)  Hệ số chặn β1: chính là giá trị trung bình của biến phụ thuộc khi tất cả các biến độc lập trong mô hình đồng thời bằng 0 2 ,.., 1 2 2 ( | ) .. kX X k k E Y X X      8 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 5  Các hệ số góc βj (j = 2 ÷ k): Có , (j = 2 ÷ k) => hệ số góc βj (j = 2 ÷ k) thể hiện tác động riêng phần của biến Xj lên giá trị trung bình của biến phụ thuộc, khi các yếu tố Xs (s ≠ j) là không đổi.  Cụ thể: Khi Xj tăng (giảm) 1 đơn vị, các yếu tố khác không đổi, thì giá trị trung bình của biến phụ thuộc tăng (giảm) βj đơn vị.  Dấu của hệ số góc βj thể hiện chiều của mối quan hệ  Các hệ số góc còn được gọi là hệ số hồi quy riêng. 2 ,.., ( | ) kX X j j E Y X     9 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 2. Phƣơng pháp ƣớc lƣợng bình phƣơng nhỏ nhất (OLS)  Phƣơng pháp OLS cho mô hình hồi quy bội • Xét mô hình k biến: (2.1) • Giả sử có một mẫu quan sát với các giá trị thực tế là (Yi ; X2i ; ; Xki) (i = 1, 2, ..., n) => Hàm hồi quy mẫu của (2.1): (2.3) Và: ikikii uXXY   ...221 1 2 2 ˆ ˆ ˆˆ ..i i k kiY X X      iii YYe ˆ 10 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 6 => Phương pháp OLS: xác định các giá trị sao cho tổng bình phương các phần dư là bé nhất. => Bài toán cực trị: Tìm sao cho: ˆ ( 1, )j j k  1 2 2 1 2 2 2 1 2 2,.., ˆ ˆ ˆ( .. ) { ( .. ) } k i i k k i k k e Y X X Min Y X X                      11 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS ˆ ( 1, )j j k  Kết quả ước lượng khi k = 3: 333222 33221 2 32 2 3 2 2 322 2 23 3 2 32 2 3 2 2 323 2 32 2 ;; ˆˆˆ )())(( ))(())((ˆ )())(( ))(())((ˆ XXxXXxYYy XXY xxxx xxxyxxy xxxx xxxyxxy iiiiii iiii iiiiiii iiii iiiiiii                          12 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 7 Ví dụ: CT là chi tiêu (triệu đồng/năm), TN là thu nhập (triệu đồng/năm) và TS là giá trị tài sản (tỷ đồng) của hộ gia đình. 1) Giải thích kết quả ước lượng? 2) Các hệ số góc ước lượng có phù hợp với lý thuyết kinh tế hay không? 3) Ước lượng điểm mức gia tăng chi tiêu trung bình của hộ nếu thu nhập gia tăng 1 triệu và tài sản gia tăng thêm 500 triệu đồng? 4) Ước lượng mức chi tiêu trung bình của các hộ gia đình có mức thu nhập là 150 triệu/năm, giá trị tài sản là 2 tỷ ? ˆ 18.86 0.793 0.015 ( ) (9.56) (0.016) (0.004) CT TN TS se    13 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 3. Độ phù hợp của hàm hồi quy  Hệ số xác định của mô hình hồi quy bội: • Ký hiệu: • Khi mô hình có chứa hệ số chặn thì: TSS = ESS + RSS • Hệ số xác định bội: ; • Ý nghĩa: R2 cho biết phần trăm sự thay đổi của biến phụ thuộc đƣợc giải thích bởi các biến độc lập trong mô hình. 2 1 2 1 2 1 ( ) ˆES ( ) n i i n i i n i i TSS Y Y S Y Y RSS e            20 1R 𝑅2 = 𝐸𝑆𝑆 𝑇𝑆𝑆 = 1 − 𝑅𝑆𝑆 𝑇𝑆𝑆 14 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 8  Hệ số xác định đã hiệu chỉnh:  Việc đưa thêm một biến số bất kỳ vào mô hình nói chung sẽ làm gia tăng R2 , không kể nó có giúp giải thích thêm cho biến phụ thuộc hay không.  => R2 chưa phải là một thước đo tốt khi muốn so sánh các mô hình với số biến khác nhau.  => Hệ số xác định hiệu chỉnh, ký hiệu và được định nghĩa như sau:  Giá trị thường được sử dụng thay R2 thông thường khi so sánh các mô hình hồi quy có số lượng biến số khác nhau. 2R 2R 2 2 ( 1)1 (1 ) n R R n k      15 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 4. Tính tốt nhất của ƣớc lƣợng OLS – Định lý Gauss- Markov  Định lý Gauss – Markov: Khi các giả thiết 1 → 4 thỏa mãn thì các ước lượng thu được từ phương pháp OLS là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch (ước lượng BLUE – best linear unbiased estimator) 16 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 9 => Theo Gauss – Markov:  Khi các giả thiết 1 → 4 thỏa mãn thì ước lượng thu được từ phương pháp OLS là có phương sai bé nhất: 𝑣𝑎𝑟(𝛽𝑗 /OLS) ≤ 𝑣𝑎𝑟(𝛽𝑗 ) với 𝛽𝑗 là ước lượng tuyến tính không chệch bất kỳ  Tức là ƣớc lƣợng OLS là ƣớc lƣợng tốt nhất trong lớp các ước lượng tuyến tính không chệch.  Khi một trong các giả thiết không được thỏa mãn thì các ước lượng OLS không còn là các ước lượng tốt nhất nữa. 17 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Độ chính xác của các ƣớc lƣợng Phương sai của các hệ số góc ước lượng: (2.4) Trong đó: • là hệ số xác định của mô hình hồi quy Xj theo hệ số chặn và các biến độc lập còn lại trong mô hình. • và 18 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 2 2 2 ˆar( ) (1 ) j j ji v R x      2 jR ji ji jx X X  9/5/2013 10  Các yếu tố xác định độ chính xác của ƣớc lƣợng:  Phương sai của yếu tố ngẫu nhiên, 𝜎2  Nhân tử phóng đại phương sai:  Độ biến động trong mẫu của Xj: 19 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 2 1 IF (1 ) j j V R   2 1 n ji i x    Trong (2.4), chưa biết nên được thay bằng ước lượng không chệch của nó là  𝜎 : sai số chuẩn của hồi quy (S. E. of regression)  Sai số chuẩn của hệ số góc ước lượng: 𝑠𝑒 𝛽𝑗 = 𝜎 2 (1−𝑅𝑗 2) 𝑥𝑗𝑖 2 ; j = (2,3, , k) 20 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 2 2ˆ 2 2 1ˆ n i i e n k     9/5/2013 11 5. Mô hình hồi quy hai biến và mô hình hồi quy bội (*)  Xét mô hình: Y = β1 + β2X2 + u (2.5) và Y = α1 + α2X2 + α3Z + v (2.6)  Định lý 2.2: Hệ số ước lượng của biến X2 trong mô hình (2.5) và (2.6) là như nhau nếu: 1) Hệ số ước lượng của Z trong (2.6) là bằng 0 Hoặc: 2) Hệ số tương quan mẫu giữa X2 và Z bằng 0 21 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS  Ý nghĩa ứng dụng định lý 2.2:  Nếu biến Z là không quan sát được nhưng có lý do để cho rằng nó không tương quan với biến X trong mô hình thì việc thiếu biến Z không gây ảnh hưởng đáng kể đến kết quả ước lượng.  Nếu các biến Z1, Z2, , Zm cùng không tương quan với biến X thì việc đưa thêm các biến này vào là không làm thay đổi hệ số ước lượng của biến X. 22 II. MÔ HÌNH HỒI QUY BỘI VÀ PHƢƠNG PHÁP ƢỚC LƢỢNG OLS 9/5/2013 12 1. Mô hình dạng log – log  Tổng quát: (2.7)  Ý nghĩa của các hệ số:  Hệ số chặn β1 : Khi các biến độc lập cùng bằng 1 đơn vị thì giá trị trung bình của biến phụ thuộc bằng eβ1 đơn vị. 1 2 2ln( ) ln( ) .. ln( )k kY X X u       23 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY  Các hệ số góc βj (j = 2 ÷ k): Ta có: 𝛽𝑗 = 𝜕ln (𝑌) 𝜕ln (𝑋𝑗) = 𝜕𝑌/𝑌 𝑑𝑋𝑗/𝑋𝑗 hay: 𝜕𝑌 𝑌 = 𝛽𝑗 𝑑𝑋𝑗 𝑋𝑗 Nếu Xj tăng (giảm) 1% (các yếu tố khác trong mô hình không đổi) thì trung bình Y tăng (giảm) βj % => Các hệ số βj (j = 2 ÷ k) còn được gọi là hệ số co giãn của Y theo Xj 24 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY 9/5/2013 13 2. Mô hình dạng bán loga Dạng 1: (2.8)  Hệ số β2: Khi X2 tăng (giảm) 1 đơn vị thì Y trung bình tăng (giảm) β2 %  Ví dụ: quan hệ giữa thu nhập (TN - triệu đồng) và số năm kinh nghiệm (KN - năm): ln(TN) = 1.6 + 5.8*KN + e 1 2 2ln( )Y X u    25 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY Dạng 2: (2.9)  Hệ số β2 : Khi X2 tăng (giảm) 1% thì Y trung bình tăng (giảm) β2 đơn vị.  Ví dụ: quan hệ giữa số giờ mà người lao động muốn làm (H) và mức trả cho một giờ lao động (TL) H = 7 + 0.6ln(TL) + e 1 2 2ln( )Y X u    26 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY 9/5/2013 14 Dạng 3: (2.10) Ví dụ: Y là chi tiêu về một loại hàng hóa, X2 là thu nhập và X3 là tuổi của người tiêu dùng => Ý nghĩa của các hệ số? 1 2 2 3 3ln( ) ln( )Y X X u      27 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY 3. Mô hình dạng đa thức  Ví dụ: quan hệ giữa năng suất lao động của công nhân (Q) và số giờ lao động liên tục trong 1 ngày (H): Q = β1 + β2H + β3H 2 + u (2.11)  Việc đưa thành phần H2 vào mô hình (2.11) nhằm thể hiện quy luật cận biên giảm dần của năng suất lao động theo số giờ làm việc (ban đầu, khi H tăng thì năng suất lao động tăng, tuy nhiên mức tăng này giảm dần đi khi H càng lớn: β2 > 0; β3 < 0)  Tác động biên của H lên năng suất là thay đổi; năng suất biên là một hàm theo số giờ lao động: 𝜕𝐸(𝑄 𝐻) 𝜕𝐻 = 𝛽2 + 2𝛽3𝐻 28 III. MỘT SỐ DẠNG CỦA MÔ HÌNH HỒI QUY 9/5/2013 15 IV. TÍNH VỮNG CỦA ƢỚC LƢỢNG OLS Định lý 2.3: Khi các giả thiết 1 → 4 thỏa mãn thì các ước lượng OLS không chỉ là các ước lượng BLUE, mà còn là ước lượng vững, nghĩa là: Với mọi tùy ý thì: (2.12) Trong đó là ước lượng của với kích thước mẫu n 29 0  ( )ˆlim (| | ) 0nj j n P        ( )ˆ n j ˆ j