Mô hình hồi qui tuyến tính bội : Giới thiệu và ước lượng

Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 1 1 Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng 1) Giới thiệu mô hình hồi qui tuyến tính bội Trong mô hình hồi qui đơn những hiện tượng mà chúng ta chưa giải thích được nằm ở đâu? Chúng ta đã nghiên cứu mô hình hồi qui đơn. Trong lý thuyết cũng như trong thực tế, có nhiều trường hợp mà biến kinh tế cho không thể giải thích bằng các mô hình hồi qui đơn như vậy. Chúng ta có thể nêu ra các ví dụ sau đây Lượng cầu phụ thuộc vào giá, thu nhập, giá các hàng hoá khác v.v… Nhớ lại lý thuyết về hành vi người tiêu dùng. QD = f(P, I, Ps, Pc,Market size,Pf (giá kỳ vọng), T (thị hiếu)) Sản lượng phụ thuộc vào giá, các nhập lượng ban đầu, các nhập lượng trung gian, công nghệ v.v… Nhớ lại lý thuyết về hàm sản xuất. QS=f(K,L, TECH) Tốc độ tăng trưởng của nền kinh tế phụ thuộc vào chi tiêu đầu tư, lượng lao động, thay đổi công nghệ. Nhớ lại lý thuyết về hàm tổng sản xuất. Lương phụ thuộc vào trình độ giáo dục, kinh nghiệm, giới tính, độ tuổi . . . Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 2 2 Giá nhà ở phụ thuộc vào diện tích nhà, số phòng ngủ và số phòng tắm . . . Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 3 3 Chi tiêu của hộ gia đình về thực phẩm phụ thuộc vào qui mô hộ gia đình, thu nhập, vị trí địa lý . . . Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 4 4 Tỷ lệ từ vong trẻ em của quốc gia phụ thuộc vào thu nhập bình quân đầu người, trình độ giáo dục . . . Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 5 5 Cầu tiền phụ thuộc vào lãi suất, mức giá, GDP trong nền kinh tế. Khi chúng ta có tập hợp dữ liệu về một biến kinh tế nào đó (biến này được gọi là biến phụ thuộc) và các nhân tố ảnh hưởng đến nó (các nhân tố sảnh hưởng này được gọi là các biến giải thích) thì việc xét đến các ảnh hưởng riêng biệt (hoặc trực tiếp, ròng) của nhiều nhân tố đến một biến kinh tế có thể được giải thích bằng mô hình hồi qui bội. 2) Yêu cầu dữ liệu Một số dữ liệu được mô tả dưới dạng spreadsheet như đã mô tả ở trên 3) Hàm hồi qui tổng thể (Population Regression Function-PRF) Mô hình : iK33221 εββββ +++++= Kiiii XXXY L PRF [ ] [ ] sX' | E sX' | E iK33221 εββββ +++++= Kiiii XXXY L Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 6 6 Các hệ số β được gọi là các hệ số hồi qui riêng; mỗi hệ số được giải thích như sau: [ ] k i sX' | Y β=∂ ∂ kX E 4) Các giả định quan trọng của mô hình hồi qui tuyến tính bội PRF bao gồm hai phần: phần kiểm soát và phần nhiễu ngẫu nhiên (trong tài liệu gốc có nhiều tên gọi khác nhau như stochastic disturbance, random disturbance). εi là biến ngẫu nhiên và tuân theo phân phối chuẩn εi ≈ N(0, σ2), X’s là biến kiểm soát hay còn gọi là biến cho trước. Do Yi là tổng hợp của hai phần như vậy nên Yi cũng là một biến ngẫu nhiên. 4.1 Các giả định OLS cho mô hình hồi qui tuyến tính đơn được giải thích trong mô hình hồi qui bội: các giả định này liên quan đến thành phần nhiễu ngẫu nhiên (εi) a) Giá trị kỳ vọng của εi bằng không => E(εi | X’s) = 0 b) Không có tương quan chuỗi (không có tự tương quan) => cov(εi, εj| X’s ) = 0 với i # j c) Phương sai đồng nhất => var(εi) = σ2 d) Nhiễu ngẫu nhiên không có tương quan với các X => cov(εi, Xki ) = 0 (k:số biến giải thích trong mô hình) e) Không nhận dạng sai mô hình 4.2 Giả định bổ sung của OLS cho mô hình hồi qui bội Các biến hồi qui này không có hiện tượng đa cộng tuyến hoàn hảo (perfect multicollinearity hoặc exact linear relationship). Tức là, không tồn tại tập hợp các hệ số thỏa mãn biểu thức sau với mọi i: 0 1 K3322 =++++ Kiii XXX λλλ L Chúng ta sẽ giải thích điều kiện này rõ hơn trong mô hình hồi qui có hai biến giải thích. Tạm thời chúng ta chấp nhận giải định này ở đây. 5) Hàm hồi qui mẫu (Sample Regression Function-SRF) Chúng ta đề cập tới vấn đề ước lượng bằng cách nhận dạng hàm hồi qui mẫu (SRF): ˆ ˆ ˆ ˆ ˆ K33221 Kiiii XXXY ββββ ++++= L Các phần dư được định nghĩa giống như chúng được xác định trong phương pháp hồi qui đơn: Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 7 7 ii Yˆ - Y =ie 6) Ước lượng bình phương tối thiểu (Ordinary Least Squares Estimators- OLS ) Bằng định nghĩa này, chúng ta có thể nhớ lại nguyên tắc bình phương tối thiểu để tìm các ước lượng của các hệ số hồi qui riêng. Chọn ˆ , , ˆ , ˆ 21 Kβββ L sao cho ∑ 2ie là tối thiểu. Lưu ý là ( )∑∑ = 2K33221i2 ˆ - - ˆ - ˆ - ˆ - Y Kiiii XXXe ββββ L Chúng ta có thiết lập các điều kiện bậc nhất cho phép tính tối thiểu này như sau : ( ) ( ) ( )∑∑ ∑∑ ∑∑ ==∂ ∂ ==∂ ∂ ==∂ ∂ 0 X ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ 0 X ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ 0 ˆ - - ˆ - ˆ - ˆ - Y 2- ˆ KiK33221i 2 2iK33221i 2 2 K33221i 1 2 Kiii K i Kiii i Kiii i XXX e XXX e XXX e βββββ βββββ βββββ L M L L Hệ phương trình mà chúng ta có được gọi là hệ phương trình chuẩn. Chúng ta có thể giải K phương trình chuẩn này để tìm K hệ số beta chưa biết. Sự trình bày đơn giản nhất của lời giải này ở dưới dạng đại số ma trận. Tuy nhiên vì mục đích ứng dụng là chủ yếu và chúng ta đã có phần mềm EViews và các phần mềm phân tích dữ liệu khác do đó chúng ta có thể tìm dễ dàng các hệ số hồi qui mà không cần phải nhớ công thức. 7) Trường hợp hàm hồi qui có hai biến giải thích Chúng ta có thể tìm lời giải cho mô hình có chứa hai biến hồi qui: i33221 εβββ +++= iii XXY Trước hết chúng ta viết ra hệ phương trình chuẩn cho trường hợp này và sau đó sừ dụng phương pháp ma trận tìm ra các ước lượng. Các ước lượng tìm được từ phương pháp bình phương tối thiểu là : Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 8 8 33221 ˆ - ˆ - Y ˆ XX βββ = ( )( ) ( )( ) ( )( ) ( )232i23i22 32i3i 2 3i2i 2 x - x x y- x y ˆ ∑∑∑ ∑∑∑∑= ii iii xx xxxβ ( )( ) ( )( ) ( )( ) ( )232i23i22 32i2i 2 2i3i 3 x - x x y- x y ˆ ∑∑∑ ∑∑∑∑= ii iii xx xxxβ Chúng ta không cần nhớ các biểu thức này, nhưng chúng sẽ được sừ dụng chúng để minh họa các kết quả nào đó. Việc tính toán các ước lượng sẽ càng trở nên khó khăn nếu mô hình hồi qui của chúng ta càng có nhiều biến giải thích. Tuy nhiên với sự trợ giúp của phần mềm Eviews và các phần mềm xừ lý dữ liệu khác chúng ta hoàn toàn có thể tìm được giá trị các ước lượng của mô hình hồi qui bội một cách nhanh chóng. Giải thích khi có hiện tượng đa cộng tuyến hoàn hảo chúng ta không có nghiệm xác định cho các hệ số hồi qui. 8) Phân tích ý nghĩa của hệ số ước lượng trong mô hình hồi qui bội Tên gọi: Hệ số độ dốc riêng (partial slope coefficient) hoặc hệ số hồi qui riêng (partial regression coefficient) Ý nghĩa: hệ số độ dốc riêng của một biến hồi qui nào đó trong mô hình hồi qui bội mô tả số đơn vị thay đổi của biến phụ thuộc khi biến giải thích thay đổi một đơn vị nhưng giữ cho các biến giải thích khác không đổi. Nói cách khác hệ số độ dốc riêng phản ảnh ảnh hưởng ròng (net effect) hoặc ảnh hưởng trực tiếp (direct effect) lên khi biến phụ thuộc khi biến giải thích thay đổi một đơn vị sau khi đã loại trừ ảnh hưởng của các biến hồi qui khác. Hiệu quả của mô hình hồi qui bội: trực tiếp ước lượng ảnh hưởng trực tiếp của một biến hồi qui lên một biến phụ thuộc. Nếu chúng ta sừ dụng hồi qui đơn để ước lượng ảnh hưởng trực tiếp của một biến hồi qui lên biến biến phụ thuộc (ví dụ trong trường hợp biến phụ thuộc chịu ảnh hưởng bởi hai biến hồi qui X2 và X3). Chúng ta muốn tìm ảnh hưởng trực tiếp của X2 lên biến phụ thuộc Y Trong trường hợp này chúng ta phải thực hiện 3 phép hồi qui đơn. Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 9 9 Ví dụ: chúng ta có dữ liệu về tỉ lệ từ vong trẻ em (CM) phụ thuộc vào GNP / đầu người (PGNP) và tỉ lệ mù chữ phụ nữ (FLR). Chúng ta muốn tìm ảnh hưởng trực tiếp của PGNP lên CM nhưng phải loại bỏ ảnh hưởng của FLR lên CM và PGNP. Coi ví dụ trong bài đọc trong trang 206 và 214 bản tiếng Anh. - Hồi qui CM theo FLR = CMi = 263.8635 – 2.3905.FLRi + e1i Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 10 10 - Hồi qui PGNP theo FLR = PGNP = - 39.3033 + 28.1427 FLRi + e2i Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 11 11 - Hồi qui phần dư của hàm thứ nhất cho phần dư hàm thứ hai = e1i^= -0.0056 e2i Trong khi đó: hồi qui bội cho chúng ta biết ngay ảnh hưởng trực tiếp của PGNP lên CM với cùng một giá trị đã tính được ở bước hồi qui đơn thứ ba. Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 12 12 CM^ = 263.6416 – 0.0056 PGNPi – 2.2326 FLRi Giải thích thêm bằng sơ đồ và đồ thị. 9) Phương sai (VAR) và độ lệch chuẩn (SE) của các ước lượng SE (ước lượng) = Căn bậc hai của VAR (ước lượng) Các phương sai của hồi qui bội cũng trở nên phức tạp hơn. Chúng ta chỉ trình bày phương sai của 2βˆ và coi đó là một ví dụ: [ ] ( )( ) ( ) 2232i23i22 2 3i 2 x - x x ˆ σβ ∑∑∑ ∑= ii xx VAR Hãy nhớ lại định nghĩa của bình phương hệ số tương quan giữa X2 và X3: ( )( )( )∑∑∑= 23i22 2 32i2 23 x x i i x x r Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 13 13 Biến đổi một chút chúng ta có phương sai của 2βˆ như sau: ( ) ( ) 22 22 2 22 23 1ˆ 1 - r Ki VAR x β β σ σ∧ =   = =  ∑ Một lần nữa, nếu hai biến hồi qui này không tương quan với nhau, thì phương sai này đơn giản chỉ là phương sai của hồi qui đơn. Phân phối xác suất chọn mẫu của ước lượng bình phương tối thiểu Để có khả năng xây dựng các khoảng tin cậy đối với các tham số chưa biết và kiểm định giả thiết về chúng , chúng ta cần biết các phân phối xác suất chọn mẫu của những ước lượng này. Khi đề cập về phân phối chọn mẫu của các ước lượng, chúng ta cần biết ba nội dung sau đây: Kỳ vọng toán học Phương sai Dạng hàm của phân phối chọn mẫu Đầu tiên, hãy xét kỳ vọng của ước lượng 2βˆ : ( )( ) ( )( ) ( )( ) ( )232i23i22 32i3i 2 3i2i 2 x - x x Y- x Y ˆ ∑∑∑ ∑∑∑∑= ii iii xx xxxβ Bây giờ hãy thế i33221 εβββ +++= iii XXY vào trong biểu thức ước lượng và thực hiện vài biến đổi đại số chúng ta sẽ có: Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 14 14 ( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( )232i23i22 32i3i 2 3i2i 2 2 32i 2 3i 2 2 32i3i 2 3i2i 2 x - x x - x x - x x Y- x Y ˆ ∑∑∑ ∑∑∑∑ ∑∑∑ ∑∑∑∑ += = ii iii ii iii xx xxx xx xxx εεβ β Khi chúng ta lấy giá trị kỳ vọng của biểu thức thứ hai, chúng ta thấy ước lượng của tham số là không chệch bởi vì chúng ta có kết quả sau đây: [ ] 22 ˆ ββ =E Chúng ta hầu như đã quen với cách trình bày phương sai của ước lượng. Cuối cùng, rõ ràng từ biểu thức trên là mỗi ước lượng đều là một tổ hợp tuyến tính của của các biến ngẫu nhiên có phân phối chuẩn, vì thế mỗi ước lượng cũng đều có phân phối chuẩn. Những kết quả suy luận nêu trên cũng đúng đối với hàm hồi qui bội có K biến. Những ước lượng tham số là không chệch, và các phương sai của ước lượng tham số đã biết, và chúng tuân theo phân phối chuẩn. Tuy vậy, trên thực tế không thể biểu diễn được những kết quả này nếu không sừ dụng công cụ đại số ma trận. Chúng ta tóm tắt kết quả điển hình dưới dạng sau: ( )2ˆk , N ~ ˆ kk βσββ 10) Các tính chất của ước lượng OLS trong mô hình hồi qui bội 10.1 BLUE - Ước lượng không chệch tuyến tính tốt nhất . Tính chất này cũng giống như mô hình hồi qui đơn. Khi chúng ta đã hiểu 3 tính chất nằm trong BLUE là: - Hệ số ước lượng tuyến tính (chúng ta thấy ngay tuyến tính ở các hệ số hồi qui, hãy cho một vài ví dụ) - Hệ số ước lượng là không chệch (căn cứ vào công thức ước lượng chúng ta có thể lấy kỳ vọng hai vế). - Phương sai của hệ số ước lượng là nhỏ nhất (muốn chứng minh phải sừ dụng định lý Gauss-Markov, tuy nhiên chúng ta có thể lý giải hệ số ước lượng có VAR nhỏ nhất trực tiếp khi liên hệ hệ số tương quan giữa các biến hồi qui với giả định không có hiện tượng cộng tuyến hoàn hảo) . Chương Trình Giảng Dạy Kinh Tế Fulbright Niên Khóa 2007 - 2008 Các phương pháp phân tích Mô hình hồi qui tuyến tính bội : Giới thiệu và Ước lượng Nguyễn Trọng Hoài 15 15 10.2 Khi có hiện tượng cộng tuyến hoàn hảo (có nghĩa là không thoả giả định OLS cho mô hình hồi qui bội) thì VAR của hệ số ước lượng không còn nhỏ nhất và chúng ta cũng không thể tìm ra giá trị ước lượng của các hệ số. 10.3 Khi biến đổi của giá trị biến hồi qui càng lớn so với giá trị trung bình của nó thì phương sai hệ số ước lượng càng nhỏ, tham số ước lượng càng chính xác. Thông thường biến đổi của biến hồi qui càng lớn khi cỡ mẫu (số quan sát) của chuỗi dữ liệu càng lớn. Có thể giải thích điều này bằng đồ thị hàm mật độ xác xuất. Như vậy số quan sát nào là đủ lớn cho một bộ dữ liệu?