Phân tích hồi quy
• Phân tích hồi quy là tìm quan hệ phụ thuộc của một
biến, được gọi là biến phụ thuộc vào một hoặc nhiều
biến khác, được gọi là biến độc lập nhằm mục đích
ước lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ
thuộc khi biết trước giá trị của biến độc lập.
• Một số tên gọi khác của biến phụ thuộc và biến độc
lập như sau:
• Biến phụ thuộc: biến được giải thích, biến được dự
báo, biến được hồi quy, biến phản ứng, biến nội sinh.
• Biến độc lập: biến giải thích, biến dự báo, biến hồi
quy, biến tác nhân hay biến kiểm soát, biến ngoại sinh.
Ví dụ
• Công ty dầu ăn Tường An đang xem xét việc giảm
giá bán sản phẩm (bình 5 lít) để tăng lượng hàng
bán ra đồng thời quảng bá sản phẩm của mình đến
khách hàng. Người quản lý của công ty muốn tính
toán xem nếu sản phẩm này được giảm giá 1000
đ/l thì lượng hàng bán ra trung bình sẽ thay đổi
như thế nào.
• Nếu như giảm giá 1000 đ mà lượng hàng bán thêm
được nhiều hơn 50.000 sản phẩm thì công ty sẽ
tiến hành một chiến dịch khuyến mại trong một
tháng với mức giảm giá 10.000 đ/l
21 trang |
Chia sẻ: thanhle95 | Lượt xem: 299 | Lượt tải: 0
Bạn đang xem trước 20 trang tài liệu Bài giảng môn Toán cao cấp 1 - Chương 5c: Hồi qui và tương quan - Nguyễn Văn Tiến, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
29/05/2017
1
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
HỒI QUI VÀ TƯƠNG
QUAN
CHƯƠNG 5c
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
PHÂN TÍCH TƯƠNG QUAN
• Correlation Analysis
• Dùng để đo độ mạnh của mối quan hệ tuyến
tính giữa hai biến ngẫu nhiên
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hiệp phương sai (Covariance)
• Cho hai biến ngẫu nhiên X và Y. Hiệp phương sai
của X và Y, ký hiệu cov(X,Y), là kỳ vọng toán của
tích các sai lệch của các bnn đó và kỳ vọng toán
của chúng.
3
cov , X YX Y E X Y - -
cov , X YX Y E XY -
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số tương quan
• Hệ số tương quan của hai biến ngẫu nhiên X, Y
ký hiệu và định nghĩa bởi công thức:
• Với hai biến ngẫu nhiên bất kỳ:
4
,
cov ,
X Y
X Y
X Y
,1 1X Y-
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số tương quan mẫu
• Với mẫu ngẫu nhiên cỡ n: (Xi, Yi) i=1,2,,n. Hệ
số tương quan mẫu ký hiệu là rX,Y được xác định
như sau:
1
,
2 2
1 1
1
,
2 22 2
1 1
.
. .
.
n
i i
i
X Y n n
i i
i i
n
i i
i
X Y
n n
i i
i i
x x y y
r
x x y y
x y n x y
r
x nx y ny
- -
- -
-
- -
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Số liệu về thời gian quảng cáo trên truyền hình
và lượng sản phẩm tiêu thụ ở một công ty sản
xuất đồ chơi trẻ em như sau:
• Thời gian: phút/tuần
• Lượng tiêu thụ: 1000sp/tuần
• Hãy tính hệ số tương quan mẫu và cho kết luận
Thời gian 28 37 44 36 47 35 26 29 33 32 31 28
Lượng tiêu thụ 41 32 49 42 38 33 27 24 35 30 34 25
29/05/2017
2
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Đáp số: r=0,63882
• Kết luận: mối liên hệ tương quan giữa thời gian
quảng cáo và số sản phẩm tiêu thụ được là
tương quan thuận, ở mức trung bình.
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đánh giá hiệp phương sai
• Cov(X,Y)>0: X và Y có xu hướng thay đổi cùng
chiều
• Cov(X,Y)<0: X và Y có xu hướng thay đổi ngược
chiều
• Cov(X,Y)=0: X và Y độc lập (tuyến tính)
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đánh giá hệ số tương quan
• Miền giá trị:
• Nếu thì tương quan âm. rXY càng
gần -1 thì mối liên hệ tuyến tính nghịch giữa X,
Y càng mạnh
• Nếu thì tương quan dương. rXY càng
gần -1 thì mối liên hệ tuyến tính thuận giữa X, Y
càng mạnh
• rXY càng gần 0 thì quan hệ tuyến tính càng yếu.
,1 1X Yr-
,1 0X Yr-
,0 1X Yr
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đánh giá hệ số tương quan
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Kiểm định giả thuyết cho hệ số tương quan
• Ta cần kiểm định giả thuyết H0: không có mối
quan hệ tuyến tính giữa X và Y
• Ta có:
• Tiêu chuẩn kiểm định:
• T có phân phối Student (n-2) bậc tự do
0 : 0H
2
2
~ 2
1
n
T r t n
r
-
-
-
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Kiểm định hệ số tương quan
• Ta có các bài toán:
• Với mức ý nghĩa cho trước.
0 0 0
1 1 1
: 0 : 0 : 0
: 0 : 0 : 0
H H H
a b c
H H H
29/05/2017
3
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Các bước kiểm định
• Phát biểu giả thuyết H0 và đối thuyết H1
• Xác định mức ý nghĩa
• Tính giá trị kiểm định
• So sánh với miền bác bỏ
• Kết luận bác bỏ/không bác bỏ H0
2
2
1
qs
n
T r
r
-
-
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Miền bác bỏ
Đối thuyết Miền bác bỏ P_value
1: ≠ 0
1: > 0
1: < 0
1
/2
nT ta
-
1nT ta
-
1nT ta
- -
2 qsp P T T
qsp P T T
qsp P T T
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phân tích hồi quy
• Phân tích hồi quy là tìm quan hệ phụ thuộc của một
biến, được gọi là biến phụ thuộc vào một hoặc nhiều
biến khác, được gọi là biến độc lập nhằm mục đích
ước lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ
thuộc khi biết trước giá trị của biến độc lập.
• Một số tên gọi khác của biến phụ thuộc và biến độc
lập như sau:
• Biến phụ thuộc: biến được giải thích, biến được dự
báo, biến được hồi quy, biến phản ứng, biến nội sinh.
• Biến độc lập: biến giải thích, biến dự báo, biến hồi
quy, biến tác nhân hay biến kiểm soát, biến ngoại sinh.
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Công ty dầu ăn Tường An đang xem xét việc giảm
giá bán sản phẩm (bình 5 lít) để tăng lượng hàng
bán ra đồng thời quảng bá sản phẩm của mình đến
khách hàng. Người quản lý của công ty muốn tính
toán xem nếu sản phẩm này được giảm giá 1000
đ/l thì lượng hàng bán ra trung bình sẽ thay đổi
như thế nào.
• Nếu như giảm giá 1000 đ mà lượng hàng bán thêm
được nhiều hơn 50.000 sản phẩm thì công ty sẽ
tiến hành một chiến dịch khuyến mại trong một
tháng với mức giảm giá 10.000 đ/l
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Để tiến hành nghiên cứu này, phòng marketing của
công ty đã dựa vào số liệu bán hàng trong 15 tháng
qua (n=15 quan sát) để thu thập số liệu về giá bán P và
lượng bán Q.
• Sau khi tiến hành thống kê mô tả, nghiên cứu viên đã
quyết định dùng hàm cầu dạng tuyến tính để xem xét
ảnh hưởng của giá đến lượng bán.
• Dùng số liệu của mẫu ta được hàm hồi qui mẫu dạng:
0 1i i i
Q P
6227 30, 43i iQ P
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Câu hỏi
• Khi giá giảm 1 đơn vị thì lượng bán hàng thay
đổi như thế nào?
• Khi giá giảm 1000 đ/l thì lượng bán ra có lớn
hơn được 50.000 sản phẩm như công ty mong
muốn không
• Giá bán quyết định bao nhiêu % trong thay đổi
lượng bán
• Nếu giá bán là 150.000 đồng/bình thì lượng
bán dự báo là bao nhiêu
29/05/2017
4
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phân tích hồi quy
• Phân tích hồi quy được sử dụng để xác định
mối liên hệ giữa:
– Một biến phụ thuộc Y (biến được giải thích)
– Một hay nhiều biến độc lập X1, X2, ,Xn (còn được
gọi là biến giải thích)
• Biến phụ thuộc Y phải là biến liên tục
• Các biến độc lập X1, X2, , Xn có thể là biến liên
tục, rời rạc hay phân loại.
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hàm hồi quy tổng thể
• Hàm hồi quy tổng thể
• Đối với một quan sát cụ thể ta có:
• Mô hình chỉ có một biến phụ thuộc Y và một biến giải
thích X.
• và gọi là hệ số chặn (intercept) và hệ số góc
(slope) của đường thẳng hồi quy.
1 2
1 2
|
i
E Y X X X
Y X
1 2i i i
Y X
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đường hồi quy tổng thể
Hàm hồi quy tổng thể
Y= b1b2Xi
0
100
200
300
400
500
600
700
0 100 200 300 400 500 600 700 800 900
Thu nhập khả dụng, X (XD)
T
iê
u
d
ù
n
g
,
Y
(
X
D
)
Xi
E(Y/Xi)= b1 + b2Xi
Yi= b1 + b2Xi + i
i
Y = E(Y/Xi)
Yi
b1
b2
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hàm hồi quy mẫu SRF
• Ta ít khi có số liệu của cả tổng thể mà chỉ có số
liệu của mẫu (số liệu quan sát được)
• Ta dùng số liệu mẫu để ước lượng tổng thể
• Hàm hồi quy mẫu:
• Đối với quan sát thứ i:
1 2i i
Y X
1 2i i i
Y X e
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Y
X
23
1b
2bˆ
1bˆ
PRF
2b
SRF
Hệ số hồi quy trong hàm hồi quy PRF và SRF
PRF và SRF
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
PRF và SRF
Trong đó
• là ước lượng cho b1.
• là ước lượng cho b2.
• là ước lượng cho Y hay E(Y|Xi)
• Ta sử dụng phương pháp bình phương nhỏ
nhất thông thường (OLS) để tìm ;
24
29/05/2017
5
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương pháp OLS
• Từ hàm hồi quy mẫu ta có:
• Tổng bình phương sai số (Sum of squares for Errors
– SSE) hay tổng bình phương thặng dư cho n điểm
dữ liệu :
• Nội dung của phương pháp bình phương bé nhất là
tìm các ước lượng sao cho SSE đạt giá trị bé nhất.
1 2ii i i ie y y y x
2
2
1 2
1 1
n n
i i i
i i
SSE e y x
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương pháp OLS
• Ta lấy đạo hàm theo biến ; ta có:
1 2
1
1
1 2
1
2
2 0
2 0
n
i i
i
n
i i i
i
SSE
y x
SSE
y x x
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương pháp OLS
• Ta được hệ phương trình sau:
1 2 1 2
1 1 1
2
1 2 1 2
1 1 1 1
2
1
1 2 1 2
2 2
1 2 1 2
0 0
0 0
. .
0
. 0
n n n
i i i i
i i i
n n n n
i i i i i i i
i i i i
y x y n x
y x x x y x x
x y x xy
ny n n x x y
n xy n x n x x x xy
2
2
2 2
2
.
x x
xy x y
x x
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương pháp OLS
• Để thuận tiện ta ký hiệu như sau:
• Ta có:
2
12
1 1
1 1
1 1
n
in n
i
xx i i
i i
n n
i in n
i i
xy i i i i
i i
x
S x x x
n
x y
S x x y y x y
n
2 1 2
xy
xx
S
y x
S
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Quan sát sự biến động của nhu cầu gạo Y
(tấn/tháng) vào đơn giá X (ngàn đồng/kg) ta
được các số liệu cho ở bảng. Hãy lập mô hình
hôi quy mẫu biễu diễn mối phụ thuộc về nhu
cầu vào đơn giá gạo
Xi 1 4 2 5 5 7
Yi 10 6 9 5 4 2
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Ta lập bảng sau:
• Ta có:
Stt Xi Yi XiYi X^ 2
1 1 10 10 1
2 4 6 24 16
3 2 9 18 4
4 5 5 25 25
5 5 4 20 25
6 7 2 14 49
sum 24 36 111 120
24 36
4 6
6 6
X Y
29/05/2017
6
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Ta có:
1
2 2
2 2
1
. .
111 6.4.6ˆ 1,375
120 6.(4)
.( )
n
i i
i
n
i
i
Y X n X Y
X n X
b
-
-
-
-
-
1 2
ˆ ˆ 6 ( 1,375).4 11,5Y Xb b - - -
ii XY .375,15,11
ˆ -
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ví dụ
• Nhận xét:
• X và Y có quan hệ nghịch biến
• = 11,5 nên nhu cầu tối đa là 11,5 tấn/tháng
• = −1,375 nên khi giá tăng 1000 đồng/kg thì
nhu cầu trung bình sẽ giảm 1,375 tấn/tháng với
các yếu tố khác trên thị trường không đổi.
ii XY .375,15,11
ˆ -
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến 33
Giải hồi quy bằng máy tính
1. Bật tần số: Shift+Mode+↓ +4+1 (Freq On
2. Chọn Mode Regression: Mode+3+2(chọn
A+Bx)
3. Nhập dữ liệu theo cột
4. Kiểm tra và nhấn AC thoát
5. Xem kết quả: Shift +1+ 3,4,5 (tùy theo Sum,
Var hay Reg)
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến 34
Bài tập 1
Thu thập số liệu về điểm học tập của học sinh và
mức thu nhập hàng năm của bố mẹ ta có bảng số
liệu sau:
Hãy tìm hàm hồi quy mẫu và tính các đặc trưng
của nó
Xi: thu nhập (triệu/năm)
Yi: điểm trung bình
Xi 45 60 30 90 75 45 105 60
Yi 8,75 7,5 6,25 8,75 7,5 5,0 9,5 6,5
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ước lượng OLS
• Các ước lượng ; tìm được gọi là các ước
lượng bình phương tối thiểu
• Đường thẳng = + gọi là các ước
lượng bình phương tối thiểu.
• Gọi giá trị quan sát trung bình của y và trung
bình của x là:
• Ứng với xi ta gọi yi là giá trị quan sát thực tế và
• là giá trị ước lượng theo đường hồi quy mẫu
,y x
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ước lượng OLS
• Từ hàm hồi quy mẫu:
• Đặt:
Ta có:
ei là sự khác biệt giữa giá trị thực tế yi
và giá trị dự đoán theo phương trình hồi quy
tuyến tính SRF
1 2ii i i ie y y y x
1 2i i i
Y X e
1 2
i
i
Y X
29/05/2017
7
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ước lượng OLS
• Một số tính chất:
• A) Tổng bình phương sai số đạt giá trị nhỏ nhất
• B) Tổng các giá trị thặng dư triệt tiêu.
• SE: Sum of Errors
2
1
n
ii
i
SSE y y
1 1
0
n n
ii i
i i
SE y y e
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính chất đường hồi quy mẫu SRF
• Ứng với một mẫu cho trước thì các hệ số
; được xác định duy nhất
• Đường hồi quy mẫu SRF đi qua điểm có tọa độ
giá trị trung bình
• Giá trị trung bình của các ước lượng bằng giá
trị trung bình các quan sát
;x y
1 1
1 1n n
i i
i i
Y Y
n n
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính chất đường hồi quy mẫu SRF
• Giá trị trung bình của các phần dư ei bằng 0
• Các phần dư ei và không tương quan
• Các phần dư ei và Xi không tương quan
1
0
n
i
i
e
1
. 0
n
i i
i
e X
1
. 0
n
i i
i
e Y
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Các tổng bình phương độ lệch
• Ta có:
• Mà
• Nên ta có:
222
1 1 1 1
2
ii i i
n n n n
i ii i i i i
i i i i
y y y y y y
y y y y y y y y y y
1
0
n
i i i
i
y y y y
222
1 1 1
n n n
ii i i
i i i
y y y y y y
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đo sự biến thiên của dữ liệu a
• Tổng bình phương toàn phần (Total Sum of Squares)
• Tổng bình phương hồi quy (Regression Sum of
Squares)
• Tổng bình phương sai số (Error Sum of Squares)
2
1
n
ii
i
ESS y y
2
1
n
ii
i
TSS y y
2
1
n
i i
i
RSS y y
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Đo sự biến thiên của dữ liệu b
• Tổng bình phương toàn phần (Total Sum of Squares)
• Explained Sum of Squares - Bình phương sai số được
giải thích
• Tổng bình phương sai số (Residual Sum of Squares)
2
1
n
ii
i
SSE y y
2
1
n
ii
i
SST y y
2
1
n
i i
i
SSR y y
29/05/2017
8
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Ý nghĩa các độ đo
• SST: đo sự biến thiên của các giá trị xung
quanh giá trị trung tâm của dữ liệu
• SSR: giải thích sự biến thiên liên quan đến mối
quan hệ tuyến tính của X và Y
• SSE: giải thích sự biến thiên của các nhân tố
khác (không liên quan đến mối quan hệ tuyến
tính của X và Y)
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính các độ đo
• Ta có:
2 2
1 1
n n
iii
i i
SSE y y e
2 22
2
2
1
n
ii i i
i
SST y y x x e
2 22
2
1
n
i i i
i
SSR y y x x
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính các độ đo
• Ta có:
2 2
2 21 1;
1 1
n n
i i
i i
Y X
y y x x
S S
n n
2
22 2
2
2 22 2
i
X
Y
i
x x SSSR
R
SST S
y y
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
SSE
Tổng chênh lệch
46
SSR
SRF
Y
X
Yi
Xi
iYˆ
Ý nghĩa hình học của SST, SSR và SSE
Các tổng bình phương độ lệch
2
1
n
ii
i
SSE y y
2
1
n
ii
i
SST y y
2
1
n
i i
i
SSR y y
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định
• Coefficient of determination
• Là tỷ lệ của tổng sự biến thiên trong biến phụ
thuộc gây ra bởi sự biến thiên của các biến độc
lập (biến giải thích) so với tổng sự biến thiên
toàn phần.
• Tên gọi: R_bình phương (R squared)
• Ký hiệu:
• Dễ thấy:
2 SSRR
SST
20 1R
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định
• Hệ số xác định của một mô hình hồi quy cho
phép ta đánh giá mô hình tìm được có giải thích
tốt cho mối liên hệ giữa biến phụ thuộc Y và
biến độc lập X hay không
29/05/2017
9
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính chất của hệ số xác định R2
49
• 0≤ R2≤1
• Cho biết % sự biến động của Y được giải thích bởi
các biến số X trong mô hình.
• R2 =1: đường hồi quy phù hợp hoàn hảo
• R2 =0: X và Y không có quan hệ
• Nhược điểm: R2 tăng khi số biến X đưa vào mô hình
tăng, dù biến đưa vào không có ý nghĩa.
• => Sử dụng R2 điều chỉnh (adjusted R2 -R2) để quyết
định đưa thêm biến vào mô hình.
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định điều chỉnhR2
kn
n
)R(R
-
-
--
1
11 2
2
• Khi k > 1, R2 < R2.
• Do vậy, khi số biến X tăng,R2 sẽ tăng ít hơn R2.
• Khi đưa thêm biến vào mô hình mà làm choR2
tăng thì nên đưa biến vào và ngược lại.
50
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Hệ số xác định
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Các giả thiết của phương pháp OLS
• Giả thiết 1: Các giá trị Xi được xác định trước và không
phải là đại lượng ngẫu nhiên.
• VD: Mẫu 1 Mẫu 2
54
Chi tiêu Y Thu nhập X
70 80
65 100
90 120
95 140
110 160
115 180
120 200
140 220
155 240
150 260
Chi tiêu Y Thu nhập X
55 80
88 100
90 120
80 140
118 160
120 180
145 200
135 220
145 240
175 260
29/05/2017
10
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
• Giả thiết 2: Kỳ vọng hoặc trung bình số học của
các sai số là bằng 0 (zero conditional mean),
nghĩa là E = 0
• Giả thiết 3: Các sai số có phương sai bằng nhau
(homoscedasticity).
V = σ
2
55
Các giả thiết của phương pháp OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương
sai sai số
đồng
nhất
56
Các giả thiết của phương pháp OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phương sai sai số không đồng nhất:
var(Ui|Xi) = i
2
57
Các giả thiết của phương pháp OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
• Giả thiết 4: Các sai số không có sự tương
quan, nghĩa là
Cov( , ) = E( ) = 0, nếu i j
58
Các giả thiết của phương pháp OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
• Giả thiết 5: Các sai số độc lập với biến giải
thích. Cov( , Xi) = 0
• Giả thiết 6: Đại lượng sai số ngẫu nhiên có phân
phối chuẩn ~ N(0, σ
2 )
59
Các giả thiết của phương pháp OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Sai số chuẩn của các ước lượng OLS
• Các nhiễu (sai số) của tổng thể có phương
sai:
• Trong thực tế ta không biết được giá trị này nên
ta ước lượng bằng ước lượng không chệch của
mẫu:
2 iV
2
2ˆ
2 2
ie SSE
n n
- -
29/05/2017
11
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Sai số chuẩn của hồi quy: là
độ lệch tiêu chuẩn các giá trị
Y quanh đường hồi quy mẫu
61
2
ˆ
2
-
n
ei
Sai số chuẩn của các ước lượng OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
; là ước lượng điểm của ; tìm được
bằng phương pháp OLS có tính chất:
• ; được xác định một cách duy nhất với n
cặp giá trị quan sát (Xi , Yi)
• ; là các đại lượng ngẫu nhiên, với các mẫu
khác nhau, giá trị của chúng sẽ khác nhau
• Ta đo lường độ chính xác các ước lượng bằng sai
số chuẩn (standard error – se).
62
Tính chất của các ước lượng OLS
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Tính chất của các ước lượng OLS
• Ta có:
• A) ; có phân phối chuẩn.
• B) Kỳ vọng và phương sai của ; lần lượt là:
2
2
1 11
2
2 22
1
xx
xx
x
E V
n S
E V
S
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Sai số chuẩn của các ước lượng OLS
64
2
1
1ˆ( ) .
2 xx
SSE x
SE
n n S
b
-
1bˆ
2
/ 2ˆ( )
xx
SSE n
SE
S
b
-
2bˆ
2
2
1
1
xx
x
V
n S
b
2
2
xx
V
S
b
V: phương sai SE: UL sai số chuẩn
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Định lý Gauss-Markov
• Định lý: Với những giả thiết (từ 1 đến 5) của mô
hình hồi quy tuyến tính cổ điển, mô hình hồi quy
tuyến tính theo phương pháp bình phương tối
thiểu là ước lượng tuyến tính không chệch tốt
nhất, tức là, chúng là BLUE.
65 Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Định lý Gauss-Markov
• Một ước lượng được gọi là “ước lượng không chệch
tuyến tính tốt nhất” (BLUE) nếu thỏa các điều kiện:
– Nó là tuyến tính, có nghĩa là một hàm tuyến tính
của một biến ngẫu nhiên,
– Nó không chệch,
– Nó có phương sai nhỏ nhất, hay còn gọi là ước
lượng hiệu quả (efficient estimator).
66
jjE bb )
ˆ(
i
n
i
ij Yk
1
bˆ
min)ˆvar( jb
29/05/2017
12
Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến
Phân phối của các ước lượng OLS
• Ta có:
2
2 2
2 2 2 2
2
22
2
~ ; 0