Bài giảng Lý thuyết xác suất và thống kê toán - Chương 7: Ước lượng tham số

Chương 7. ƯỚC LƯỢNG THAM SỐ ▪ Tham số tổng thể (cũng là tham số của biến ngẫu nhiên) là chưa biết ▪ Có thông tin của mẫu, ước lượng các tham số tổng thể bằng các phương pháp ▪ Ba tham số cơ bản: • Trung bình tổng thể • Tỷ lệ tổng thể • Phương sai tổng thể LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 168 Chương 7. NỘI DUNG CỦA CHƯƠNG 7 ▪ 7.1. Khái niệm ▪ 7.2. Phương pháp ước lượng điểm ▪ 7.3. Phương pháp ước lượng khoảng ▪ 7.4. Ước lượng tham số  ▪ 7.5. Ước lượng tham số σ2 ▪ 7.6. Ước lượng tham số p LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 169 Chương 7. Ước lượng tham số 7.1. KHÁI NIỆM ▪ Trong tổng thể biến ngẫu nhiên X được đặc trưng bởi tham số  ▪ Không biết đủ thông tin tổng thể,  chưa biết, cần ước lượng tham số (parameter estimate) ▪ Sử dụng thông tin từ mẫu ▪ Mẫu ngẫu nhiên: xây dựng ước lượng ngẫu nhiên (estimator) ▪ Mẫu cụ thể: được ước lượng cụ thể (estimate), hay giá trị quan sát (observed value) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 170 Chương 7. Ước lượng tham số 7.1 7.2. PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM ▪ Dùng một giá trị መ𝜃 ước lượng cho tham số  ▪ Sử dụng mẫu W = (X1, X2, , Xn) ▪ Lập thống kê tương ứng với , là một hàm trên mẫu መ𝜃 = G(X1, X2, , Xn) ▪ Gọi là hàm ước lượng của  ▪ Có nhiều hàm ước lượng có thể sử dụng, cần có tiêu chí lựa chọn “tốt nhất” LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 171 Chương 7. Ước lượng tham số 7.2 Tiêu chí lựa chọn hàm ước lượng ▪ Tính không chệch (unbiased) • መ𝜃 là ước lượng không chệch của   E( መ𝜃) =  • Nếu E( መ𝜃)   : ước lượng chệch ▪ Tính hiệu quả (efficient) • መ𝜃1, መ𝜃2 là ước lượng không chệch • 𝑉( መ𝜃1) < 𝑉( መ𝜃2) thì መ𝜃1 là ước lượng hiệu quả hơn መ𝜃2 • 𝑉( መ𝜃1) là nhỏ nhất thì መ𝜃1 là ước lượng hiệu quả nhất ▪ Ước lượng không chệch hiệu quả nhất: tốt nhất LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 172 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Bất đẳng thức Cramer-Rao ▪ Nếu BNN X có công thức tính xác suất hoặc hàm mật độ là f(x,  ) thì với mọi መ𝜃 là ước lượng không chệch của , luôn có: ▪ Do đó nếu መ𝜃∗ là ước lượng không chệch và có phương sai bằng vế phải thì nó là ước lượng hiệu quả nhất LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 173 ˆ( ) ln ( , ) 2 1 V f x nE        θ θ θ Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Tiêu chí lựa chọn hàm ước lượng ▪ Tính vững (consistent): khi kích thước mẫu tiến đến vô cùng thì ước lượng hội tụ đến tham số (theo nghĩa xác suất) ▪ Tính đủ (sufficient): ước lượng sử dụng toàn bộ các thông tin trong mẫu LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 174 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Ước lượng điểm ▪ Khi X ~ N( , σ2) thì • ത𝑋 là ước lượng không chệch, hiệu quả của  • S*2 là ước lượng không chệch, hiệu quả của σ2 • S2 là ước lượng không chệch của σ2 • MS là ước lượng chệch của σ2 ▪ Khi X ~ A(p) thì f là ước lượng không chệch, hiệu quả của p. LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 175 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Ví dụ 7.1 ▪ Trung bình tổng thể là m, phương sai là 2 ▪ Với mẫu kích thước n = 3, trong các thống kê sau, đâu là ước lượng không chệch, hiệu quả cho m: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 176 ; ;             G X X X G X X X G X X X G X X X 1 1 2 3 2 1 2 3 3 1 2 3 4 1 2 3 1 1 1 1 1 1 2 2 2 2 3 6 1 1 1 1 1 1 2 4 4 3 3 3 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Ước lượng hợp lý tối đa ▪ Mẫu W = (X1, X2, , Xn), tại giá trị cụ thể (x1, x2, , xn) ▪ Hàm hợp lý: L(x1, x2, , xn, ) = f(x1,  ). f(x2,  ) f(xn,  ) ▪ L gọi là hàm hợp lý (likelihood function) của  ▪ Giá trị መ𝜃 làm L đạt max gọi là ước lượng hợp lý tối đa của  (maximum likelihood estimator: MLE) ▪ Nếu hàm L không dễ tìm cực đại thì tính thông qua hàm logarit của L (maximum log-likelihood) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 177 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Ví dụ 7.2 ▪ (a) Xác suất sinh viên đi làm ngoài giờ p = 0,4. Trong các mẫu sau, mẫu nào hợp lý nhất, giá trị 1 ứng với có đi làm và 0 nếu ngược lại: w1 = (1, 0, 0, 1, 1) w2 = (1, 0, 1, 1, 1) w3 = (0, 1, 0, 0, 1) w4 = (1, 0, 1, 0, 0) ▪ (b) Có mẫu (0, 1, 1, 0, 1) rút từ biến A(p). Trong các giá trị ước lượng cho p sau, giá trị nào hợp lý nhất? Ƹ𝑝1 = 0,4 Ƹ𝑝2 = 0,5 Ƹ𝑝3 = 0,6 Ƹ𝑝4 = 0,7 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 178 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm Ước lượng hợp lý tối đa ▪ Khi X ~ N(, σ2) thì • ത𝑋 là ước lượng hợp lý tối đa của  • Biết  thì S*2 là ước lượng hợp lý tối đa của σ2 • Không biết  và thay bởi ത𝑋 thì MS là ước lượng hợp lý tối đa của σ2 ▪ Khi X ~ A(p) thì f là ước lượng hợp lý tối đa của p. LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 179 Chương 7. Ước lượng tham số 7.2. Phương pháp ước lượng điểm 7.3. PHƯƠNG PHÁP ƯỚC LƯỢNG KHOẢNG ▪ Còn gọi là ước lượng bằng khoảng tin cậy ▪ Với mẫu ngẫu nhiên, tìm khoảng ngẫu nhiên để khả năng khoảng đó chứa  bằng một mức cho trước P(G1 <  < G2) = 1 –  ▪ Mức xác suất (1 – ) là độ tin cậy (confidence level) ▪ (G1, G2) là khoảng tin cậy (confidence interval) ▪ I = G2 – G1 là độ dài khoảng tin cậy LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 180 Chương 7. Ước lượng tham số 7.3. Xây dựng khoảng tin cậy ▪ Xét thống kê G liên kết giữa tham số và thống kê trong mẫu, G có quy luật phân phối xác suất xác định ▪ Với độ tin cậy (1 − 𝛼), ▪ Hai giá trị 𝛼1 và 𝛼2 sao cho: 𝛼1 + 𝛼2 = 𝛼 ▪ Hai giá trị tới hạn: 𝑔𝛼1và 𝑔𝛼2 ▪ 𝑃 𝑔1−𝛼1 < 𝐺 < 𝑔𝛼2 = 1 − 𝛼 ▪ Biến đổi sẽ thu được khoảng 𝐺1, 𝐺2 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 181 Chương 7. Ước lượng tham số 7.3. Phương pháp ước lượng khoảng 7.4. ƯỚC LƯỢNG THAM SỐ  ▪ Hay ước lượng trung bình tổng thể phân phối chuẩn ▪ X ~ N(, σ2) ▪ Ước lượng khoảng cho  với độ tin cậy (1 − 𝛼) ▪ Mẫu W = (X1, X2, , Xn) ▪ Chia hai trường hợp: • Khi σ là đã biết  dùng thống kê U • Khi σ là chưa biết  Sử dụng S để thay, và dùng thống kê T LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 182 Chương 7. Ước lượng tham số 7.4. Ước lượng  khi biết σ ▪ Do với α1 + α2 = α ▪ Có 3 khoảng tin cậy thông dụng tương ứng với: • (1) 𝛼1 = 𝛼, 𝛼2 = 0 • (2) 𝛼1 = 0, 𝛼2 = 𝛼 • (3) 𝛼1 = 𝛼2 = 𝛼/2 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 183 ~ ( , ) / μ σ  0 1 X N n / α α μ α σ           1 21 1 X P u u n α α σ σ μ α            P X u X u n n2 1 1 Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ Ước lượng  khi biết σ ▪ Khoảng tin cậy tối đa (phía trái: left-tail) ▪ Khoảng tin cậy tối thiểu (phía phải: right-tail) ▪ Khoảng tin cậy hai phía (đối xứng: two-tail) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 184 α σ μ  X u n α σ μ X u n / /α α σ σ μ   2 2X u X u n n Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ Ước lượng  khi biết σ ▪ Khoảng tin cậy đối xứng có dạng: ത𝑋 ± 𝜀 hay ത𝑋 ±𝑀𝐸 ▪ 𝜀 là sai số biên (ME: marginal error): 𝜀 = 𝑢𝛼/2𝜎/ 𝑛 ▪ Độ dài khoảng tin cậy: I = 2𝜀 = 2𝑢𝛼/2𝜎/ 𝑛 ▪ Xác định kích thước mẫu khi có yêu cầu về sai số hoặc độ dài khoảng tin cậy: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 185 / / α α σ ε ε ε σ       u n u I I n I 2 2 2 0 0 2 0 2 2 2 0 0 2 0 4 Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ Ước lượng  khi không biết σ ▪ Khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía (đối xứng) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 186 ( )1n SX t n αμ   ( )1n SX t n α μ   ( ) ( ) / / 1 1 2 2 n nS SX t X t n n α αμ      Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ Ước lượng  khi không biết σ ▪ Khoảng tin cậy đối xứng: ത𝑋 ± 𝜀 hay : ത𝑋 ±𝑀𝐸 ▪ Với 𝜀 = 𝑀𝐸 = 𝑡𝛼/2 (𝑛−1) 𝑆/ 𝑛 ▪ Độ dài khoảng tin cậy: I = 2𝜀 = 2𝑡𝛼/2 (𝑛−1) 𝑆/ 𝑛 ▪ Khi có yêu cầu về sai số hoặc độ dài khoảng tin cậy LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 187 ( ) / ( ) / ( ) ( ) α α ε ε ε         n n S t n S t I I n I 2 1 2 2 0 0 2 0 2 1 2 2 0 0 2 0 4 Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ Ví dụ 7.3 ▪ Cân ngẫu nhiên 25 sản phẩm khối lượng trung bình là 25,32g và phương sai là 5,28g2 (từ ví dụ 6.1). Giả sử khối lượng phân phối chuẩn. Với độ tin cậy 95% ▪ (a) Ước lượng khối lượng trung bình của tất cả các sản phẩm bằng khoảng tin cậy tối đa ▪ (b) Tìm khoảng tin cậy đối xứng cho khối lượng trung bình ▪ (c) Muốn sai số trong câu (b) còn không quá 0,5g thì cần cân thử thêm ít nhất bao nhiêu sản phẩm? LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 188 Chương 7. Ước lượng tham số 7.4. Ước lượng tham số µ 7.5. ƯỚC LƯỢNG THAM SỐ p ▪ Ước lượng tần suất tổng thể, ước lượng xác suất ▪ Tổng thể có dấu hiệu A (biến cố A), biến X = 1 khi A xảy ra, X = 0 khi A không xảy ra, hay X ~ A(p) ▪ Ước lượng p cũng là ước lượng xác suất A xảy ra ▪ Trong mẫu kích thước n ▪ n ≥ 100 đủ lớn thì thay p trong căn bởi f LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 189 ( ) ( ) 2 1 1 2 1 1 1 p p p p P f u p f u n n α α α α              Chương 7. Ước lượng tham số 7.5. Ước lượng tham số p ▪ Với độ tin cậy (1 – α), khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía (đối xứng) LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 190 ( )1f f p f u n α    ( )1f f f u p n α    / / ( ) ( ) 2 2 1 1f f f f f u p f u n n α α       Chương 7. Ước lượng tham số 7.5. Ước lượng tham số p Ước lượng tham số p ▪ Khoảng tin cậy đối xứng: f  ME hay f   𝑀𝐸 = 𝜀 = 𝑢𝛼/2 𝑓(1 − 𝑓)/ 𝑛 ▪ Độ dài khoảng tin cậy: 𝐼 = 2𝑀𝐸 = 2𝜀 = 2𝑢𝛼/2 𝑓(1 − 𝑓)/ 𝑛 ▪ Suy ra: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 191 / / ( ) ( ) α α ε ε ε         f f u n f f u I I n I 2 2 0 0 2 0 2 2 0 0 2 0 1 4 1 Chương 7. Ước lượng tham số 7.5. Ước lượng tham số p Ví dụ 7.4 ▪ Quan sát ngẫu nhiên 400 người vào cửa hàng thì có 144 người mua hàng. Với độ tin cậy 95%: ▪ (a) Ước lượng tỉ lệ khách mua hàng bằng khoảng tin cậy đối xứng ▪ (b) Muốn độ dài khoảng tin cậy trong câu giảm xuống còn một nửa thì cần quan sát tối thiểu bao nhiêu người? ▪ (c) Nếu trong một ngày có 5000 người vào cửa hàng thì có tối đa bao nhiêu người mua hàng? LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 192 Chương 7. Ước lượng tham số 7.5. Ước lượng tham số p 7.6. ƯỚC LƯỢNG THAM SỐ σ2 ▪ Ước lượng phương sai tổng thể phân phối chuẩn ▪ X ~ N(, σ2) ▪ Sử dụng quy luật Khi bình phương LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 193 ( ) ( )( ) 1 2 2 2 1 2 1 1 2 1 1n n n S P α αχ χ α σ             ( ) ( ) ( ) ( ) 2 1 2 2 2 2 1 2 1 1 1 1 1 n n n S n S P α α σ α χ χ              Chương 7. Ước lượng tham số 7.6. Ước lượng tham số σ2 ▪ Khoảng tin cậy tối đa ▪ Khoảng tin cậy tối thiểu ▪ Khoảng tin cậy hai phía LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 194 ( ) ( ) 22 2 1 1 1 n n S α σ χ    ( ) ( ) 2 2 2 1 1 n n S α σ χ    ( ) ( ) / / ( ) ( )2 22 2 1 2 1 2 1 2 1 1 n n n S n S α α σ χ χ      Chương 7. Ước lượng tham số 7.6. Ví dụ 7.5 ▪ Cân ngẫu nhiên 25 sản phẩm khối lượng trung bình là 25,32g và phương sai là 5,28g2. Giả sử khối lượng của sản phẩm phân phối chuẩn. ▪ Với độ tin cậy 95% ▪ (a) Độ dao động của khối lượng đo bởi phương sai tối đa là bao nhiêu? ▪ (b) Tìm khoảng tin cậy cho độ lệch chuẩn của khối lượng sản phẩm LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 195 Chương 7. Ước lượng tham số 7.6. TÓM TẮT CHƯƠNG 7 ▪ Ước lượng điểm và khoảng ▪ Tiêu chí ước lượng điểm: không chệch, hiệu quả ▪ Ước lượng hợp lý tối đa ▪ Ước lượng bằng khoảng tin cậy cho ba tham số: trung bình, phương sai, tần suất ▪ Ba loại khoảng tin cậy: tối đa, tối thiểu, hai phía (đối xứng) ▪ Xác định kích thước mẫu LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 196 Chương 7. Ước lượng tham số Bài tập cơ bản trong Giáo trình ▪ Trang 397: 7.4, 7.9, 7.10, 7.11 ▪ Trang 402: 7.12 ▪ Trang 417: 7.18, 7.20, 7.25, 7.27, ▪ Trang 437: 7.39, 7.44, 7.45 ▪ Trang 445: 7.52, 7.53, ▪ Trang 458: 7.71, 7.72, 7.73, 7.74, 7.77, 7.79, 7.80, 7.83, 7.91 LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 197 Chương 7. Ước lượng tham số Sử dụng Microsoft Excel LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN – BỘ MÔN TOÁN KINH TẾ - NEU – www.mfe.edu.vn 198 Mean 25.32 Standard Error 0.457238 Standard Deviation 2.28619 Sample Variance 5.226667 Count 25 Confidence Level (95.0%) 0.943693 ▪ Data > Data Analysis > Descriptive Statistics Chương 7. Ước lượng tham số