Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 6: Lý thuyết ước lượng - Phan Văn Tân

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Phan Văn Tân Bộ mô Khí tượng CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ. Hãy xác định θ • Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên người ta chỉ ước lượng nó thông qua tập mẫu của X • Giả sử có mẫu (X1, X2,, Xn) của X, để thay thế cho θ ta lập đại lượng thống kê ),...,,(ˆ 21 nXXXθ • Định nghĩa: Đại lượng thống kê được chọn dùng để thay thế cho tham số θ được gọi là hàm ước lượng của θ (hay ngắn gọn hơn là ước lượng của θ) ),...,,(ˆ 21 nXXXθ • Chú ý: ),...,,(ˆ 21 nXXXθ là hàm của (X1,..,Xn) Î biến ngẫu nhiên • Với mỗi (x1,,xn) thì ),...,,(ˆ 21 nXXXθ là một điểm trên trục số ),...,,(ˆ 21 nXXXθ⇒ còn gọi là ước lượng điểm của θ CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,, Xn) • Khi đó: ])[(][],[ 22 xxxx mXMXDDXMm −==≡= σ ∑ = = n i iXn X 1 1 • Nói chung, ứng với một tham số θ có thể có nhiều cách ước lượng khác nhau Î Cần chọn ước lượng nào tốt nhất là một ước lượng mx là các đặc trưng chính xác (các tham số chính xác) của X ∑ = −=≡ n i ixx XXn sD 1 22 )(1~ là một ước lượng của Dx CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Định nghĩa: Hàm ước lượng gọi là ước lượng không chệch nếu: ),...,(ˆ 1 nXXθ x n i i n i i n i i mXMXMn XM n X n MXM ===== ∑∑∑ === ][][1][1]1[][ 111 của tham số θ được • Ví dụ: Kỳ vọng mẫu là ước lượng không chệch của kỳ vọng mx ])([1])(1[][]~[ 1 2 1 22 ∑∑ == −=−=≡ n i i n i ixx XXMn XX n MsMDM • Phương sai mẫu là ước lượng chệch của phương sai Dx θθ =)],...,(ˆ[ 1 nXXM Vì Xi nhận các giá trị của X và có cùng phân bố với X nên ][][][ XMXMXM i == CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết ( ) =⎥⎦⎤⎢⎣⎡ −−−=⇒ ∑= n i iix XMXXMXMn DM 1 2 ])[(])[(1]~[ ( ) =⎥⎦⎤⎢⎣⎡ −−−−+−= ∑= n i ii XMXXMXXMXXMXMn 1 22 ])[])([(2])[(])[(1 [ ] ]])[])([([2 ]])[([1 ])[(1 1 1 2 1 2 ∑ ∑ ∑ = = = −−− −+ −= n i i n i n i i XMXXMXM n XMXM n XMXM n x n i x n i x DDn D n i === ∑∑ == 11 11 ][]])[[(]])[([1 22 XDXMXMXMXnM n =−=−= ][2]])[[(2 ])][(])[[(2 ]])[(])[[(2 2 1 XDXMXM XMXnXMXM n XMXXMXM n n i ii −=−−= =−−−= =−−−= ∑ = ][]~[ XDDDM xx −=⇒ CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết ( ) =⎥⎦⎤⎢⎣⎡ −−−=⇒ ∑= n i iix XMXXMXMn DM 1 2 ])[(])[(1]~[ ][]~[ XDDDM xx −= ⎥⎦ ⎤⎢⎣ ⎡=⎥⎦ ⎤⎢⎣ ⎡= ∑∑ == n i i n i i XDn X n DXD 1 2 1 11][ Vì các Xi là độc lập, có cùng phân bố với X nên x n i n i i n i i nDXnDXDXDXD ====⎥⎦ ⎤⎢⎣ ⎡ ∑∑∑ === ][][][ 111 xDn XD 1][ =⇒ 211]~[ σ≡≠−=−= xxxxx DDn nD n DDM CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết 2* 1 1 ]~[ 1 ]~[ σ==−−=−=⇒ xxxx DDn n n nDM n nDM • Nếu dùng 211]~[ σ n nD n nDM xx −=−= ∑ = −= n i ix XXn D 1 2)(1~thay cho∑ = −−== n i ixx XXn sD 1 22** )( 1 1~ Khi đó: xx n i ixx Dn nDXXDnDn ~ 1 ~)(~~)1( * 1 2* −=⇒−==− ∑= Tức ∑ = −−== n i ixx XXn sD 1 22** )( 1 1~ là ước lượng không chệch của Dx Đó cũng chính là lý do tại sao người ta thường dùng *~xD Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu như không sai khác nhau CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG 6.1 Hàm ước lượng của một tham số chưa biết • Độ chính xác của ước lượng không chệch 222 2 1 111)|),...,(ˆ(| εσε σεσθθ θ θ θ −=−≥<−nXXP • Giả sử • Nếu chọn ε=3 ta có: ),...,(ˆ 1 nXXθ Î Với xác suất khá lớn, chênh lệch giữa θ và ước lượng của nó không vượt quá 3 lần độ lệch chuNn là ước lượng không chệch của θ, và 2 1 )],...,(ˆ[ θσθ =nXXD Từ bất đẳng thức Tchebychev ta có: 8889.0 9 11)3|),...,(ˆ(| 1 ≈−≥<− θσθθ nXXP CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Định nghĩa: Hàm ước lượng gọi là ước lượng vững nếu với ∀ε>0 bất kỳ cho trước ta có ),...,(ˆ 1 nXXθ của tham số θ được • Định lý: N ếu 1)|),...,(ˆ(| 1 =<−+∞→ εθθ nXXPnlim thì ),...,(ˆ 1 nXXθ là hàm ước lượng của θ sao cho: a) ),...,(ˆ 1 nXXθ là ước lượng không chệch của θ hoặc 0})],...,(ˆ[{ 1 =−+∞→ θθ nXXMnlim (độ chệch tiến tới 0–không chệch) b) 0)],...,(ˆ[ 1 =+∞→ nXXD θnlim ),...,(ˆ 1 nXXθ là ước lượng vững của θ CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Chứng minh: • Áp dụng bất đẳng thức Tchebychev: 2 1 11 )],...,(ˆ[1)|)],...,(ˆ[),...,(ˆ(| ε θεθθ nnn XXDXXMXXP −≥<−+∞→nlim 0})],...,(ˆ[{ 1 =−+∞→ θθ nXXMnlim 0)],...,(ˆ[ 1 =+∞→ nXXD θnlim Viết lại: 2 1 11 )],...,(ˆ[1)|))],...,(ˆ[(),...,(ˆ(| ε θεθθθθ nnn XXDXXMXXP −≥<−−−+∞→nlim 1)|),...,(ˆ(| 1 ≥<−⇒ +∞→ εθθ nXXPnlim • Ví dụ: Kỳ vọng mẫu là ước lượng vững, vì xmXMXM == ][][ ∞→→== nkhi n DXD n XD x 0][1][ CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Định nghĩa: N ếu ),...,(ˆ 1 nXXθ là ước lượng không chệch của θ và )],...,(ˆ[ 1 nXXD θ thì • Định lý: Cho mẫu (X1,,Xn) của X có phân bố f(x,θ) thỏa mãn một số điều kiện nhất định và không lớn hơn mọi hàm ước lượng không chệch khác ),...,(ˆ 1 nXXθ được gọi là ước lượng hiệu quả của θ ),...,(ˆ 1 nXXθ là ước lượng không chệch bất kỳ của θ thì: ⎥⎥⎦ ⎤ ⎢⎢⎣ ⎡ ⎟⎠ ⎞⎜⎝ ⎛ ∂ ∂× ≥ 21 ),(ln 1)],...,(ˆ[ θ θθ xfMn XXD n Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng thức Crame–Rao CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.1 Hàm ước lượng của một tham số chưa biết • Ví dụ: Cho X có phân bố chuNn N (μ,σ). Chứng minh rằng kỳ vọng mẫu là ước lượng hiệu quả của μ=M[X] • Giải: Ta có: 2)( 2 1 2 1),( σ μ σπμ −−= x exf X 2)( 2 12ln),(ln σ μσπμ −−−=⇒ xxf 2),(ln σ μ μ μ −=∂ ∂⇒ xxf 2 2 4 2 2 2 1])[(1),(ln σμσσ μ μ μ =−=⎥⎥⎦ ⎤ ⎢⎢⎣ ⎡ ⎟⎠ ⎞⎜⎝ ⎛ −= ⎥⎥⎦ ⎤ ⎢⎢⎣ ⎡ ⎟⎟⎠ ⎞⎜⎜⎝ ⎛ ∂ ∂⇒ XMXMxfM ][ / 1 ),(ln 1 2 22 XDnnxfMn === ⎥⎥⎦ ⎤ ⎢⎢⎣ ⎡ ⎟⎠ ⎞⎜⎝ ⎛ ∂ ∂× σ σ θ θ X⇒ là ước lượng hiệu quả của μ CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng. Giả sử (X1,,Xn) là một mẫu của X. Khi đó, hàm ),...,(ˆ 1 nXXθ được gọi là hàm hợp lý của mẫu. ),(...),(),()( 21 θθθθ nXfXfXfL ×××= • Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng hàm H(θ)=lnL(θ), và Gọi là ước lượng của θ. Cần xác định ),...,(ˆ 1 nXXθ sao cho: Θ∈∀≥ θθθ víi)()),...,(ˆ( 1 LXXL n Trong đó Θ là miền giá trị của θ ),...,(ˆ 1 nXXθ được xác định từ Θ∈∀≥ θθθ víi)()),...,(ˆ( 1 HXXH n CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Khi đó, nếu tồn tại đạo hàm thì là nghiệm của phương trình 0)( =θ θ d dH ),...,(ˆ 1 nXXθN ghiệm ),...,(ˆ 1 nXXθ Phương trình này được gọi là phương trình hợp lý cực đại ước lượng hợp lý cực đại của θ của phương trình này được gọi là • N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ: – Lập hàm hợp lý L(θ) của mẫu – Tìm hàm H(θ)=ln L(θ) – Tìm nghiệm phương trình 0)( =θ θ d dH CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 1: Giả sử X∈N (μ,σ) với σ đã biết. Xác định ước lượng hợp lý cực đại của μ, biết (X1,,Xn) là một mẫu của X ( ) ⎥⎦⎤⎢⎣⎡ −−== ∑∏ == n i in n i i XXfL 1 2 2 1 )( 2 1exp 2 1),()( μσσπμμ • Giải: Lập hàm hợp lý ( )σπμσμμ 2ln)(21)(ln)( 1 22 nXLH n i i −−−==⇒ ∑ = 0)(1)( 1 2 =−=⇒ ∑ = n i iXd dH μσμ μ 0)( 1 =−⇒∑ = n i iX μ ∑∑∑ === =⇒=−⇒ n i i n i n i i XnX 111 0 μμ XX n XX n i in ==⇒ ∑ =1 1 1),...,(μˆ μσμ μ ˆ0)( 22 2 ⇒<−= n d Hd là hàm hợp lý đạt giá trị cực đại CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Ví dụ 2: Giả sử X∈N (μ,σ), trong đó cả μ và σ đều chưa biết. Tìm ước lượng hợp lý cực đại của μ, σ biết (X1,,Xn) là một mẫu của X • Giải: Coi θ=(μ,σ). Từ ví dụ trước: ( )σπμσθθ 2ln)(21)(ln)( 1 22 nXLH n i i −−−== ∑ = 00)( 1 =−⇒=∂ ∂ ∑ = μμ θ nXH n i i 0 )( 2 2 4 )(4 )( 3 1 2 4 1 2 =− − =− − =∂ ∂ ∑∑ == σσ μ σπ π σ μσ σ θ nXn X H n i i n i i Giải ra ta được: XX n XX n i in == ∑ =1 1 1),...,(μˆ ∑ = −= n i in XXn XX 1 2 1 )( 1),...,(σˆ CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.2 Ước lượng tham số theo phương pháp hợp lý cực đại • Nhận xét: – Hàm hợp lý được lập trên cơ sở tập mẫu (X1,,Xn) trong đó các Xi là độc lập có cùng phân bố với X – Mỗi nghiệm của phương trình hợp lý cực đại là một giá trị cụ thể tính được từ tập mẫu nên ước lượng của tham số được gọi là ước lượng điểm (xác định một điểm trên trục số) – N ếu có nhiều tham số cần được ước lượng (như ví dụ 2), sau khi lập hàm hợp lý cực đại, lấy đạo hàm bậc nhất ứng với từng tham số và cho bằng 0 để nhận được một hệ phương trình – Giải hệ này ta được các ước lượng tương ứng CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy • Định nghĩa: Khoảng tin cậy )ˆ,ˆ( 21 θθ của tham số θ với độ tin cậy γ và • Bài toán: Cho biến ngẫu nhiên X và mẫu (X1,,Xn) của X. Hãy xác định là một khoảng với hai đầu mút ),...,(ˆˆ),,...,(ˆˆ 122111 nn XXXX θθθθ == sao cho: γθθθ =≤≤ )),...,(ˆ),...,(ˆ( 1211 nn XXXXP ),...,(ˆˆ),,...,(ˆˆ 122111 nn XXXX θθθθ == γθθθ =≤≤ )),...,(ˆ),...,(ˆ( 1211 nn XXXXP với γ là một hằng số cho trước • Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng càng nhỏ thì ước lượng của θ càng chính xác )ˆ,ˆ( 21 θθ • Giải: Xét một số ví dụ CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy • Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1,,Xn) là một mẫu của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ • Giải: Xét biến ngẫu nhiên Khi đó U∈N (0,1) n XU /σ μ−= γπ γ γ γγγ ==≤≤−=≤⇒ ∫ − −u u x dxeuUuPuUP 2 2 1 2 1)()|(| γσμσσ μ γγγγ =⎟⎠ ⎞⎜⎝ ⎛ +≤≤−=≤−≤−⇒ n uX n uXPu n XuP ) / ( ⎥⎦ ⎤⎢⎣ ⎡ +−∈⇒ n uX n uX σσμ γγ , với độ tin cậy γ Với γ cho trước, giải ra tìm được uγ γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58; CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.3 Ước lượng tham số bằng khoảng tin cậy • Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1,,Xn) là một mẫu của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ • Giải: Ở đây ta xét biến ngẫu nhiên Khi đó t∈St(n–1) ns Xt x / * μ−= γ γ γ γγγ =−=≤≤−=≤⇒ ∫ − t t dxnxftttPttP )1,()()|(| γμμ γγγγ =⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ +≤≤−=≤−≤−⇒ n stX n stXPt ns XtP xx x ** * )/ ( ⎥⎦ ⎤⎢⎣ ⎡ +−∈⇒ n stX n stX xx ** , γγμ với độ tin cậy γ Với γ cho trước, giải ra tìm được uγ ∑ = −−= n i ix XXn s 1 22* )( 1 1với CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu • Bài toán: Cho mẫu (Y1,,Yn) của biến ngẫu nhiên Y. Giả sử đã biết: Trong đó: xij (i=1..n, j=1..m) là các hằng số đã biết còn β1, β2,.., βm và σ là các tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n). Yêu cầu xác định các ước lượng ),...,2,1(,][ ...][ 2 2211 niYD xxxYM i mimiii == +++= σ βββ mβββ ˆ,...,ˆ,ˆ 21 (là các hàm của (Y1,,Yn)) sao cho:∑ = +++−= n i mimiii xxxYR 1 2 2211 2 ))...(( βββ đạt giá trị nhỏ nhất Tức cần tìm mβββ ˆ,...,ˆ,ˆ 21 thỏa mãn ∑ ∑∑ ∑ = == = ⎟ ⎟ ⎠ ⎞ ⎜⎜⎝ ⎛ −=⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ − n i m j jiji n i m j jiji xYxY 1 2 1,..,1 2 1 ˆ ββ ββ m1min • Giải: 2][ ][ σ β IYD XYM = = Hay CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu là đạo hàm R2 theo các βk phải bằng 0: mkxxYR ik n i m j jiji k ,...,2,1,02 1 1 2 ==⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ −−=∂ ∂ ∑ ∑ = = ββ Điều kiện cần để thỏa mãn ∑ ∑∑ ∑ = == = ⎟ ⎟ ⎠ ⎞ ⎜⎜⎝ ⎛ −=⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ − n i m j jiji n i m j jiji xYxY 1 2 1,..,1 2 1 ˆ ββ ββ m1min Dưới dạng ma trận: ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ = ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ = ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ = mnmn m n xx xx X Y Y Y β β β ..., ... ......... ... ,... 1 1 1111 )()(2 ββ XYXYR T −−=⇒ 0)(2 2 =−−=∂ ∂⇒ ββ XYX R T YXXX TT =⇒ β )()(ˆ 1 YXXX TT −=⇒ β Phương trình chính tắc CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G 6.4 Ước lượng theo phương pháp bình phương tối thiểu Kỳ vọng và phương sai của ước lượng là ước lượng không chệch của β )()(ˆ 1 YXXX TT −=ββˆ ][)()]()[(]ˆ[ 11 YMXXXYXXXMM TTTT −− ==β βXYM =][Vì βββ ==⇒ − )()(]ˆ[ 1 XXXXM TT βˆ⇒ Tương tự, có thể tính được: 12 )(]ˆ[ −= XXD Tσβ HẾT CHƯƠNG 6