Bài giảng Lý thuyết xác suất và thống kê toán - Bài 8: Ước lượng tham số

8.1. Ước lượng tham số tổng thể 8.2. Ước lượng điểm 8.3. Ước lượng bằng khoảng tin cậy ▪ 1] Chương 7, trang 389 – 420, 431 – 437, 440 – 445 ▪ [2] Chapter 7, pp. 306 – 309, 328 – 330 ▪ [3] Chapter 8, pp. 342 – 365 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 144 BÀI 8 - ƯỚC LƯỢNG THAM SỐ LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 145 ▪ Trong tổng thể, X đã biết qui luật nhưng tham số  (tham số tổng thể) là chưa biết. ▪ Sử dụng thông tin từ mẫu ̶˃ ước lượng tham số  (parameter estimate) ̶˃ước lượng tham số tổng thể ▪ Mẫu ngẫu nhiên: xây dựng ước lượng ngẫu nhiên (estimator) ▪ Mẫu cụ thể: tính được ước lượng cụ thể (estimate), hay giá trị quan sát (observed value) 8.1. ƯỚC LƯỢNG THAM SỐ TỔNG THỂ ▪ Khái niệm ▪ Tính chất của ước lượng điểm ▪ Ước lượng hợp lý tối đa LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 146 8.2. ƯỚC LƯỢNG ĐIỂM LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 147 ▪ Tham số tổng thể ( ) là chưa biết ̶˃ Cần ước lượng ▪ Sử dụng mẫu 𝑊 = (𝑋1, 𝑋2, , 𝑋𝑛 ) ̶˃ xác định thống kê መ𝜃 trên mẫu ▪ Dùng một giá trị của thống kê መ𝜃 để thay thế cho tham số 𝜃, giá trị kí kiệu là መ𝜃, là ước lượng điểm của 𝜽 Khái niệm ▪ Tính không chệch (unbiased) • መ𝜃 là ước lượng không chệch của   𝐸( መ𝜃) =  • Nếu 𝐸( መ𝜃)   : ước lượng chệch ▪ Tính hiệu quả (efficient) • መ𝜃1, መ𝜃2 là ước lượng không chệch • 𝑉( መ𝜃1) < 𝑉( መ𝜃2) thì መ𝜃1 là ước lượng hiệu quả hơn መ𝜃2 • 𝑉( መ𝜃1) là nhỏ nhất thì መ𝜃1 là ước lượng hiệu quả ▪ Ước lượng không chệch, hiệu quả → ước lượng tốtnhất ▪ Tính vững (consistent): khi 𝑛 tiến đến vô cùng thì ước lượng hội tụ đến tham số (theo nghĩa xác suất) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 148 Tính chất của ước lượng điểm LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 149 ▪ Ví dụ 8.1. ▪ Tổng thể X có trung bình là m, phương sai là 2 ▪ Với mẫu kích thước n = 3, trong các thống kê sau, đâu là ước lượng không chệch, hiệu quả hơn cho m: ; ; = + + = + + = + + = + + G X X X G X X X G X X X G X X X 1 1 2 3 2 1 2 3 3 1 2 3 4 1 2 3 1 1 1 1 1 1 2 2 2 2 3 6 1 1 1 1 1 1 2 4 4 3 3 3 Ví dụ ▪ Nếu BNN X có công thức tính xác suất hoặc hàm mật độ là f(x,  ) thì với mọi መ𝜃 là ước lượng không chệch của , luôn có: ▪ Do đó nếu መ𝜃∗ là ước lượng không chệch và có phương sai bằng vế phải bất đẳng thức thì nó là ước lượng hiệu quả nhất LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 150 ˆ( ) ln ( , ) 2 1 V f x nE        θ θ θ Bất đẳng thức Cramer - Rao ▪ Khi 𝑋~𝑁(𝜇, 𝜎2) thì • ത𝑋 là ước lượng không chệch, hiệu quả của  • 𝑆2 là ước lượng không chệch của σ2 • 𝑀𝑆 là ước lượng chệch của σ2 ▪ Khi 𝑋 ~ 𝐴(𝑝) thì Ƹ𝑝 là ước lượng không chệch, hiệu quả của p. ▪ Cách thay thế tham số đặc trưng tổng thể , p, σ2 bởi thống kê ഥ𝑿, ෝ𝒑, S2 tương ứng như trên là tìm ước lượng điểm theo hàm ước lượng. LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 151 Một số kết luận ▪ Mẫu 𝑊 = (𝑋1, 𝑋2, , 𝑋𝑛), tại giá trị cụ thể (𝑥1, 𝑥2, , 𝑥𝑛) ▪ Hàm hợp lý: 𝐿(𝑥1, 𝑥2, , 𝑥𝑛,  ) = 𝑓(𝑥1,  ). 𝑓(𝑥2,  ) 𝑓(𝑥𝑛,  ) ▪ 𝐿 gọi là hàm hợp lý (likelihood function) của  ▪ Giá trị መ𝜃 làm L đạt max gọi là ước lượng hợp lý tối đa của  (maximum likelihood estimator: MLE) ▪ Nếu hàm L không dễ tìm cực đại thì tính thông qua hàm logarit của L (maximum log-likelihood) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 152 Ước lượng hợp lý tối đa ▪ Khi 𝑋 ~ 𝑁(𝜇, 𝜎2) thì • ത𝑋 là ước lượng hợp lý tối đa của  • MS là ước lượng hợp lý tối đa của σ2 ▪ Khi 𝑋 ~ 𝐴(𝑝) thì ොp là ước lượng hợp lý tối đa của p LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 153 Một số kết luận ▪ Các khái niệm ▪ Ước lượng trung bình tổng thể ▪ Ước lượng phương sai tổng thể ▪ Ước lượng tần suất tổng thể LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 154 8.3. ƯỚC LƯỢNG BẰNG KHOẢNG TIN CẬY ▪ Với mẫu ngẫu nhiên, tìm khoảng ngẫu nhiên (𝐺1, 𝐺2) để khả năng khoảng đó chứa  bằng một mức xác suất cho trước: 𝑃(𝐺1 <  < 𝐺2) = 1 –  ▪ Mức xác suất (1 – ) là độ tin cậy (confidence level) ▪ (𝐺1, 𝐺2) là khoảng tin cậy (confidence interval) ▪ 𝐼 = 𝐺2 – 𝐺1 là độ dài khoảng tin cậy LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 155 Các khái niệm ▪ Xét thống kê G liên kết giữa tham số và thống kê trong mẫu, G có quy luật phân phối xác suất xác định ▪ Với 1 − 𝛼 ̶˃ xác định 𝛼1 và 𝛼2 : 𝛼1 + 𝛼2 = 𝛼 ▪ Xác định giá trị tới hạn 𝑔𝛼1và 𝑔𝛼2 sao cho: 𝑃 𝑔1−𝛼1 < 𝐺 < 𝑔𝛼2 = 1 − 𝛼 ▪ Biến đổi sẽ thu được khoảng 𝐺1, 𝐺2 thỏa mãn: 𝑃(𝐺1 <  < 𝐺2) = 1 –  LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 156 Xây dựng khoảng tin cậy ▪ 𝑋 ~ 𝑁(𝜇, 𝜎2) với  chưa biết ▪ Ước lượng khoảng cho  với độ tin cậy (1 − 𝛼) ▪ Ước lượng  cũng là ước lượng trung bình tổng thể trong qui luật chuẩn. ▪ Mẫu 𝑊 = (𝑋1, 𝑋2, , 𝑋𝑛) ▪ Chia hai trường hợp: • Khi 𝜎 là đã biết  dùng thống kê 𝑍 • Khi 𝜎 là chưa biết  Sử dụng S để thay, và dùng thống kê LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 157 ( ) ~ ( ) μ− = −1 X n T T n S Ước lượng trung bình tổng thể Ước lượng  khi biết σ2 ▪ Do với 𝛼1 + 𝛼2 = 𝛼 ▪ Có 3 khoảng tin cậy thông dụng tương ứng với: • (1) 𝛼1 = 𝛼, 𝛼2 = 0 • (2) 𝛼1 = 0, 𝛼2 = 𝛼 • (3) 𝛼1 = 𝛼2 = 𝛼/2 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 158 𝑃 𝑧1−𝛼1 < ሜ𝑋−𝜇 𝜎/ 𝑛 < 𝑧𝛼2 = 1-α 𝑃 ሜ𝑋 − 𝑧𝛼2 𝜎 𝑛 < 𝜇 < ሜ𝑋 + 𝑧𝛼1 𝜎 𝑛 = 1 − 𝛼 𝑍 = ሜ𝑋 − 𝜇 𝜎/ 𝑛 ~𝑁(0,1) Ước lượng  khi biết σ2 ▪ Khoảng tin cậy tối đa (phía trái: left-tail) ▪ Khoảng tin cậy tối thiểu (phía phải: right-tail) ▪ Khoảng tin cậy hai phía (đối xứng: two-tail) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 159 𝜇 < ሜ𝑋 + 𝑧𝛼 𝜎 𝑛 ሜ𝑋 − 𝑧𝛼 𝜎 𝑛 < 𝜇 ሜ𝑋 − 𝑧𝛼/2 𝜎 𝑛 < 𝜇 < ሜ𝑋 + 𝑧𝛼/2 𝜎 𝑛 Ước lượng  khi biết σ2 ▪ Khoảng tin cậy đối xứng có dạng: ത𝑋 ± 𝜀 hay ത𝑋 ± 𝑀𝐸 ▪ 𝜀 là sai số biên (ME: marginal error): 𝜀 = 𝑧𝛼/2𝜎/ 𝑛 ▪ Độ dài khoảng tin cậy: I = 2𝜀 = 2𝑧𝛼/2𝜎/ 𝑛 ▪ Xác định kích thước mẫu n0 thỏa mãn yêu cầu về sai số hoặc độ dài khoảng tin cậy: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 160 𝜀 ≤ 𝜀0 ⇔ 𝑛0 ≥ 𝜎2𝑧𝛼/2 2 𝜀0 2 𝐼 ≤ 𝐼0 ⇔ 𝑛0 ≥ 4𝜎2𝑧𝛼/2 2 𝐼0 2 Ước lượng  khi không biết σ2 ▪ Khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía (đối xứng) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 161 𝜇 < ሜ𝑋 + 𝑡𝛼 (𝑛−1) 𝑆 𝑛 ( )1n SX t n α μ −−  ( ) ( ) / / 1 1 2 2 n nS SX t X t n n α αμ − −−   + Ước lượng  khi không biết σ2 ▪ Khoảng tin cậy đối xứng: ത𝑋 ± 𝜀 hay : ത𝑋 ± 𝑀𝐸 ▪ Với 𝜀 = 𝑀𝐸 = 𝑡𝛼/2 (𝑛−1) 𝑆/ 𝑛 ▪ Độ dài khoảng tin cậy: I = 2𝜀 = 2𝑡𝛼/2 (𝑛−1) 𝑆/ 𝑛 ▪ Xác định kích thước mẫu n0 (đáp ứng yêu cầu về sai số hoặc độ dài khoảng tin cậy) dựa vào mẫu sơ bộ kích thước 𝑛 cho trước LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 162 ( ) / ( ) / ( ) ( ) α α ε ε ε − −       n n S t n S t I I n I 2 1 2 2 0 0 2 0 2 1 2 2 0 0 2 0 4 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 163 ▪ 𝑋 ~ 𝑁(𝜇, 𝜎2), với tham số σ2 là chưa biết ▪ Ước lượng khoảng cho σ2 với độ tin cậy (1 − 𝛼) ▪ Ước lượng σ2 cũng là ước lượng phương sai tổng thể, độ phân tán trong phân phối chuẩn. ▪ Sử dụng thống kê Khi bình phương ▪ Với 𝛼1 + 𝛼2 = 𝛼 ( ) ( )( ) 1 2 2 2 1 2 1 1 2 1 1n n n S P α αχ χ α σ − − −  −   = −    ( ) ~ ( )χ χ σ − = − 2 2 2 2 1 1 n S n Ước lượng phương sai tổng thể LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - www.mfe.neu.edu.vn 164 ▪ Khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía ( ) ( ) 22 2 1 1 1 n n S α σ χ −− −  ( ) ( ) 2 2 2 1 1 n n S α σ χ − −  ( ) ( ) / / ( ) ( )2 22 2 1 2 1 2 1 2 1 1 n n n S n S α α σ χ χ− −− − −   Ước lượng tham số σ2 ▪ 𝑋 ~ 𝐴(𝑝) với p chưa biết ▪ Ước lượng khoảng cho p với độ tin cậy (1 − 𝛼) ▪ Ước lượng p cũng là ước lượng tần suất tổng thể. ▪ Sử dụng thống kê ▪ Với 𝛼1 + 𝛼2 = 𝛼 ▪ n ≥ 100 đủ lớn thì thay p trong căn bởi ොp LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 165 𝑍 = (ොp − 𝑝) 𝑛 𝑝(1 − 𝑝) ~𝑁(0,1) P( 𝑧1−𝛼1< (ෝp−𝑝) 𝑛 𝑝(1−𝑝) < 𝑧𝛼2) = 1 − 𝛼 Ước lượng tần suất tổng thể Ước lượng tham số p ▪ Khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía (đối xứng) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 166 𝑝 < ොp + 𝑧𝛼 ොp(1 − ොp) 𝑛 ොp − 𝑧𝛼 ොp(1 − ොp) 𝑛 < 𝑝 ොp − 𝑧𝛼/2 ොp(1 − ොp) 𝑛 < 𝑝 < ොp + 𝑧𝛼/2 ොp(1 − ොp) 𝑛 Ước lượng tham số p ▪ Khoảng tin cậy đối xứng: ොp  ME hay ොp   𝑀𝐸 = 𝜀 = 𝑧𝛼/2 ොp(1 − ොp)/ 𝑛 ▪ Độ dài khoảng tin cậy: 𝐼 = 2𝑀𝐸 = 2𝜀 = 2𝑧𝛼/2 ොp(1 − ොp)/ 𝑛 ▪ Xác định kích thước mẫu n0 thỏa mãn yêu cầu về sai số hoặc độ dài KTC: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 167 𝜀 ≤ 𝜀0 ⇔ 𝑛0 ≥ ොp(1 − ොp)𝑧𝛼/2 2 𝜀0 2 𝐼 ≤ 𝐼0 ⇔ 𝑛0 ≥ 4ොp(1 − ොp)𝑧𝛼/2 2 𝐼0 2