Bài giảng Thống kê học ứng dụng trong quản lý xây dựng - Phần 6: Mô hình phân phối mẫu và khoảng tin chắc cho các phần

9/8/2010 1 Phần 06 Nguyễn Duy Long, Tiến Sỹ Bộ môn Thi Công và QLXD ©2010, Nguyễn Duy Long, Tiến Sỹ 1  Các mô hình phân phối mẫu  Các khoảng tin chắc cho các phần ©2010, Nguyễn Duy Long, Tiến Sỹ 2 9/8/2010 2 Sampling Distribution Models 3©2010, Nguyễn Duy Long, Tiến Sỹ  Các khảo sát luôn biểu thị sự biến đổi vì lấy mẫu bởi các cá thể khác nhau. Chú t ẽ d bá biế đổi à Th ì lặ l i hiề ẫ ng a s ự o sự n n y. ay v p ạ n u m u thực, chúng ta sẽ tưởng tượng điều gì sẽ xảy ra nếu ta thực sự thực hiện nhiều mẫu.  Hãy tưởng tượng: 1. 25% độc giả VnExpress ủng hộ thu phí ôtô vào trung tâm. 2. 64 sinh viên lớp này mỗi người lấy khảo sát 100 thị dân, hỏi họ có ủng hộ phương án thu phí không ◦ Điều gì xảy ra nếu ta xem biểu đồ tần suất tất cả các phần ủ ẫ h á khả á àc a m u c o c c o s t n y. ◦ Bạn nghĩ gì về biểu đồ tần suất của tất cả các phần của mẫu này? 4©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 3  Ta kỳ vọng biểu đồ tần suất của các phần trong mẫu tập trung ở phần (proportion) thực p trong quần , , thể.  Ta có thể mô phỏng các mẫu ngẫu nhiên mà không thật sự lấy mẫu.  Biểu đồ tần suất là một mốt, đối xứng, và trung tâm là p. 5©2010, Nguyễn Duy Long, Tiến Sỹ  Dưới đây là hình dạng của phân phối.  Phân phối này nhắc bạn điều gì? 6©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 4  Dùng mô hình chuẩn là hợp lý!  Với các phần, biết trị trung bình thì sẽ có độ lệch h ẩc u n:  Phân phối của các phần trong mẫu được mô phỏng với mô hình xác suất: pq  pq n ,N p n    7©2010, Nguyễn Duy Long, Tiến Sỹ  Mô hình chuẩn càng tốt hơn cho phân phối của các phần khi kích thước mẫu càng lớn hơn.  Ta cần kích thước mẫu ra sao? Sẽ trình bày sau 8©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 5  Các mô hình chỉ hữu ích khi các giả định của chúng là thật.  Hai giả định trong trường hợp mô hình cho phân phối của các phần trong mẫu: 1. Các giá trị được lấy mẫu là độc lập nhau. 2. Kích thước mẫu, n, phải đủ lớn.  Các giả định là rất khó để kiểm tra.  Cần kiểm tra các giả định là hợp lý bằng cách ể ề ế ềki m tra các đi u kiện cho bi t thông tin v các giả định. 9©2010, Nguyễn Duy Long, Tiến Sỹ 1. Điều kiện 10% (10% condition): Nếu mẫu không được lấy cùng với sự thay thế, thì kích thước ẫ ầ ểm u, n, phải không lớn hơn 10% qu n th . 2. Điều kiện thành công/thất bại (Success/failure condition): Kích thước mẫu phải đủ lớn để cả np và nq lớn hơn 10. 10©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 6  Ứng viên A có 55% quần thể thích hơn ứng viên còn lại (B), nhưng chỉ kỳ vọng 100 người đi bầu. Ta có thể xác định xác suất ứng viên A có 50% hay ít hơn phiếu bầu, hay thua cuộc. ◦ Trị trung bình: = 0.55 ◦ Độ lệch chuẩn: = 0.049 ◦ z = (0.50 - 0.55)/0.049 = -1.005 ◦ Pr(bầu < 0.50) = 0.157 Có kh ả 16% hội ứ iê B hắ dù hầ ( )pˆ p  ( )ˆ pqSD p n  o ng cơ ng v n t ng, p n lớn thích ứng viên A hơn. 11©2010, Nguyễn Duy Long, Tiến Sỹ  Một phần không chỉ là sự tính toán từ tập hợp của dữ liệu. Nó có thể là một lượng ngẫu nhiên có phân phối. ◦ Phân phối này được gọi là mô hình phân phối mẫu (sampling distribution model) cho các phần.  Dù ta phụ thuộc vào các mô hình phân phối mẫu, chúng ta không bao giờ thật sự thấy nó.  Các mô hình phân phối mẫu là quan trọng vì: ◦ Chúng đóng vai trò như cầu nối từ thế giới thực của dữ liệu đến thế giới tưởng tượng của thống kê và... ◦ Cho ta biết gì đó về quần thể khi tất cả những gì ta có là dữ liệu từ thế giới thực. 12©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 7  Các phần (proportions) tóm tắt các biến định tính.  Ta có thể làm điều tương tự với các dữ liệu định tính? 13©2010, Nguyễn Duy Long, Tiến Sỹ  Như bất cứ trị thống kê nào được tính từ mẫu ngẫu nhiên, trị trung bình của mẫu cũng có một phân phối ẫm u.  Có thể dùng mô phỏng để xem phân phối mẫu của trị trung bình mẫu ra sao  Ví dụ, mô phỏng một con súc sắc 10,000 lần: un g Số lần tu Số nút 14©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 8  Trung bình số nút của 2 súc sắc của mô ầ  Trung bình số nút của 3 súc sắc của mô phỏng 10,000 l n tung: phỏng 10,000 lần tung: lần tu ng lần tu ng Số Số nút trung bình của 2 súc sắc Số nút trung bình của 3 súc sắc Số ©2010, Nguyễn Duy Long, Tiến Sỹ 15  Trung bình số nút của 5 súc sắc của mô ầ  Trung bình số nút của 20 súc sắc của mô hỏ 10 000 lầphỏng10,000 l n tung: p ng , n tung: ần tu ng ần tu ng Số lầ Số nút trung bình của 5 súc sắc Số lầ Số nút trung bình của 20 súc sắc ©2010, Nguyễn Duy Long, Tiến Sỹ 16 9/8/2010 9  Khi mẫu càng lớn (số súc sắc), bình quân của mẫu có khả năng càng gần trị trung bình của quần thể. ◦ Ta sẽ thấy tiếp tục gần 3.5  Phân phối mẫu của trị trung bình trở thành phân phối chuẩn. 17©2010, Nguyễn Duy Long, Tiến Sỹ  Định lý giới hạn trung tâm (Central Limit Theorem, CLT) phát biểu rằng trị trung bình của mẫu ngẫu nhiên có phân phối mẫu có hình dạng xấp xỉ mô hình chuẩn. Mẫu càng lớn, việc xấp xỉ càng tốt.  Phân phối mẫu của bất cứ trị trung bình nào trở thành phân phối chuẩn khi kích thước mẫu lớn.  CLT tốt hơn nếu ◦ Kích thước mẫu lớn ◦ Mô hình quần thể gần với mô hình chuẩn. 18©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 10 Mô hình quần thể 3 mẫu khác nhau, gồm các trị trung bình Biểu đồ tần suất của các trị trung bình từ tất cả các mẫu Biểu đồ tần suất tương tự với phân phối này 19©2010, Nguyễn Duy Long, Tiến Sỹ  CLT nói rằng phân phối mẫu của bất cứ trị trung bình hay phần nào đều xấp xỉ mô hình chuẩn  Mô hình chuẩn của phần phối mẫu của phần:  Mô hình chuẩn của phân phối mẫu của trị trung bình:  SD y n   ˆ pqSD p n ( )pˆ p  ( )y  σ độ lệch chuẩn của quần thể. 20©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 11  Dùng CLT đòi hỏi kiểm tra các điều sau: 1. Điều kiện lấy mẫu ngẫu nhiên (Random Sampling Condition): Các giá trị dữ liệu phải lấy mẫu một cách ngẫu nhiên nếu không khái niệm phân phối mẫu không có ý nghĩa. 2. Giả định tính độc lập (Independence Assumption): Các giá trị của mẫu phải độc lập nhau. (Khi mẫu lấy ra mà không có sự thay thế, kiểm tra điều kiện 10%)  CLT không tốt cho các mẫu nhỏ, hay khi dữ liệu bị lệch lớn.  Cho các phần (proportions) điều này có nghĩa là kỳ vọng có ít nhất 10 thành công và 10 thất bại trong mẫu  Không có qui tắc cho các trị trung bình – kinh nghiệm cho các biến cố rời rạc là có ít nhất 10 lần xuất hiện được kỳ vọng cho mỗi biến cố. 21©2010, Nguyễn Duy Long, Tiến Sỹ  Giả định trọng lượng trung bình của của người Việt Nam là 60 kg và độ lệch chuẩn là 10 kg. Thang máy ốở trường ĐH Bách Khoa có giới hạn t i đa 15 người hay 1000 kg. Xác suất nếu 15 người dùng thang máy và vượt tải trọng cho phép? ◦ Bạn cần biết trọng lượng của tất cả 15 người hay chỉ cần trọng lượng trung bình của nhóm? ◦ Bạn có cần biết trọng lượng là phân phối chuẩn? ◦ Các giả định của ta là thỏa để có thể dùng CLT? ◦ Hãy tính xác suất 22©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 12  Độ lệch chuẩn của phân phối mẫu giảm chỉ với căn bậc hai của kích thước mẫu. T khi t l ô ố ó ẫ lớ hơ ă bậ rong a u n mu n c m u n n, c n c hai giới hạn mẫu có thể nói về quần thể . (Một ví dụ của qui tắc sự thu lại giảm (Law of Diminishing Returns)  Trở lại với ví dụ kế hoạch thu phí xe hơi vào thành phố ở TP.HCM 23©2010, Nguyễn Duy Long, Tiến Sỹ  Có thể dùng các trị thống kê của mẫu để ước lượng các thông số của quần thể.  Bất cứ khi nào ta ước lượng độ lệch chuẩn của phân phối mẫu ta gọi nó là sai số chuẩn (standard error), . ◦ Với phần của mẫu, sai số chuẩn là ◦ Với trị trung bình của mẫu, sai số chuẩn là   ˆ ˆˆ pqSE p n    sSE y n  ◦ Với s là độ lệch chuẩn của mẫu.  Tính sai số chuẩn giống với tính độ lệch chuẩn chỉ khác ký hiệu! 24©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 13 Confidence Intervals for Proportions 25©2010, Nguyễn Duy Long, Tiến Sỹ  Mô hình phân phối mẫu của có trung tâm p, và đ l h h ẩ là pˆ ộ ệc c u n  Vì không biết p, ta không thể tìm độ lệch chuẩn thực của mô hình phân phối mẫu, cần tìm sai số chuẩn: pq n ˆ ˆ( )ˆ pqSE p n 26©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 14  Từ qui tắc 68-95-99.7%, ta biết: ◦ Khoảng 68% của tất cả các mẫu có trong 1 SE của p ấ ẫ pˆ ◦ Khoảng 95% của t t cả các m u có trong 2 SE của p ◦ Khoảng 99.7% của tất cả các mẫu trong 3 SE của p  Từ , thường ước tính phần thực p với một mẫu đã cho pˆ pˆ pˆ 27©2010, Nguyễn Duy Long, Tiến Sỹ  Xem xét mức 95%: ◦ Có khoảng 95% cơ hộ p không lớn hơn 2 lần sai số chuẩn (SE) từ . ◦ Nếu vươn ra 2 lầnSE, ta có 95% chắc chắn rằng p sẽ trong khoảng đó. Nói cách khác, nếu vươn ra 2 lần SE theo hai hướng của , ta có 95% tin rằng khoảng này chứa phần thực. ◦ Phần còn lại hoặc quá lớn (khoảng 2.5% cơ hội) ấ pˆ pˆ hay quá th p (khoảng 2.5% cơ hội).  Điều này được gọi là khoảng tin chắc 95% (95% confidence interval). * Hay chính xác hơn là 95.45% cơ hội 28©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 15 Vươn ra 2 lần SE theo hai bên của cho ta 95% tin ta sẽ “bẫy” được phần thực p pˆ Nguồn: De Veaux, 2006, tr.429) 29©2010, Nguyễn Duy Long, Tiến Sỹ  Mỗi khoảng tin chắc dùng một trị số thống kê của mẫu để ước lượng tham số của quần thể.  Nhưng vì các mẫu biến đổi, các trị số thống kê ta dùng, và các khoảng tin chắc ta xây dựng cũng biến đổi. 30©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 16  Hình bên chỉ một số khoảng tin chắc thu nạp được phần thực (đường màu xanh nằm ngang), trong khi một số on ) không:  Độ tin chắc là quá trình xây dựng khoảng, chứ không phải một khoảng nào đó.  Vì vậy, ta kỳ vọng 95% của tất cả các khoảng tin chắc 95% chứa tham số quần thể Ph ần (p ro po rti o thực đang ước lượng. Nguồn: De Veaux, 2006, tr.431 Mẫu số 31©2010, Nguyễn Duy Long, Tiến Sỹ Ta có thể tuyên bố với khoảng 95% tin chắc, khoảng chứa phần thực. Tầm của khoảng cho mỗi bên được gọi là biên 2* ( )ˆ ˆp SE p pˆ◦ sai số (lỗi) (margin of error (ME)).  Tổng quát, các khoảng tin chắc có dạng: ước lượng (estimate) ± ME.  Càng muốn độ tin chắc lớn, ME càng cần lớn.  Tổng quát, dạng biên sai số (ME), với z* là giá trị tới h ( i i l l )ạn cr t ca va ue  ˆME z SE p   32©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 17 • Bây giờ ta tin chắc hơn, nhưng chúng ta thiệt gì? Nguồn: De Veaux, 2006, tr.432) 33©2010, Nguyễn Duy Long, Tiến Sỹ  Càng tin chắc (confident), càng ít chính xác (precise).  Mọi khoảng tin chắc là sự cân bằng giữa sự chắc chắn (certainty) và chính xác (precision). ◦ Trong hầu hết trường hợp ta có thể vừa chắn chắn một cách đầy đủ và chính xác một cách đầy đủ để có các phát biểu hữu ích.  Lựa chọn mức tin chắc là khá tùy tiện, nhưng nhớ rằng “sức căng” giữa chắc chắn và chính xác khi chọn mức tin chắc.  Các mức tin chắc hay dùng là 90%, 95%, và 99%, nhưng có thể dùng bất cứ phần trăm nào. 34©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 18 Sự cân bằng giữa chắc chắn (certainty) và chính xác (precision), đây là một thái cực... Nguồn: De Veaux, 2006, tr.433) 35©2010, Nguyễn Duy Long, Tiến Sỹ  Bạn làm việc với phòng tiếp thị của một cửa hiệu bán giầy dép trực tuyến và khảo sát ngẫu nhiên ề ế ố ẫ100 người v ý ki n của họ đ i với m u website mới. 60% người được khảo sát thích website mới so với website củ. ◦ Khoảng tin chắc 95% cho phần thực của người mua thích website mới hơn? Biên sai số bao nhiêu? ◦ Khoảng tin chắc 99.7% cho phần thực của người mua thích website mới hơn? Biên sai số bây giờ bao nhiêu? ◦ Nếu muốn cả tin chắc và chính xác hơn, theo bạn cần phải làm gì? 36©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 19  ‘2’ trong (khoảng tin chắc 95%) là từ qui tắc 68- 95-99.7%.  Bảng z cho giá trị chính xác hơn cho khoảng tin chắc 95% là 1 96 thay vì 2 2* ( )ˆ ˆp SE p . . ◦ Ta gọi 1.96 là giá trị tới hạn (critical value) ký hiệu z*.  Cho mỗi mức tin chắc, có thể tìm giá trị tới hạn tương ứng. 37©2010, Nguyễn Duy Long, Tiến Sỹ  Với khoảng tin chắc 90%, giá trị tới hạn là 1.645.  Chú ý tính đối xứng! 38©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 20  Tất cả các mô hình xác suất phụ thuộc và các giả định (assumptions). ◦ Mô hình khác nhau phụ thuộc vào các giả định khác nhau. ◦ Nếu các giả định là không đúng, mô hình có thể không thích hợp và các kết luận dựa vào mô hình có thể sai.  Ta không bao giờ chắc chắn giả định là đúng, nhưng ta thường quyết định giả định có hợp lý không bằng cách kiểm tra điều kiện liên quan. 39©2010, Nguyễn Duy Long, Tiến Sỹ  Trước khi tạo khoảng tin chắc cho phần, cần kiểm tra  Giả đinh độc lập (independence assumption): Giá trị dữ liệuđược giả định độc lập nhau. 1 Điề kiệ độ lậ h lý (Pl ibl I d d. u n c p ợp aus e n epen ence Condition): Có lý do gì để tin rằng giá trị dữ liệu ảnh hưởng nhau? 2. Với lấy mẫu không thay thế, kiểm tra điều kiện 10% 3. Điều kiện ngẫu nhiên hóa  Giả định kích thước mẫu (Sample Size Assumption): Mẫu cần khá lớn để có thể dùng CLT. 4. Điều kiện thành công/thất bại (Success/Failure Condition) 40©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 21  Khoảng z một phần (one-proportion z-interval) còn được gọi là khoảng tin chắc cho một phần (the confidence interval for a proportion)  Khi các điều kiện thỏa, có thể tìm khoảng tin chắn (CI) cho hầ ủ ầ hểp n c a qu n t , p.  Khoảng tin chắc là ± biên sai số (ME) với ˆ ˆ( )ˆ pqSE p n  ˆ ˆCI p z SE p  pˆ  Giá trị tới hạn, z*, phụ thuộc vào mức tin chắc tương ứng, C. 41©2010, Nguyễn Duy Long, Tiến Sỹ  Từ phương trình của ME để xác định kích thước mẫu cần thiết để tạo ra khoảng tin chắc với ME đã cho và với một mức tin chắc đã cho: với z* là giá trị tới hạn cho mức tin chắc đã cho  2 2 ˆ ˆz pq n ME   . 42©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 22  Sếp bạn nghĩ rằng khảo sát trước (60% thích, 100 người) là quá miên man không thể hữu ích. Sếp muốn tăng sự chính xác Tính số người bạn cần. có trong khảo sát... 1. Bạn muốn có 95% tin chắc rằng phần thực của người mua sắm thích website mới hơn là từ 55% đến 65%? 2. Nếu bạn muốn có 99.7% tin chắn cho cùng khoảng? 43©2010, Nguyễn Duy Long, Tiến Sỹ  Chủ tịch một xã nhỏ (5000 người) đề nghị huyện xây một nhà sinh hoạt cộng đồng, lập luận rằng ốviệc xây dựng sẽ cải thiện đời s ng văn hóa của dân. Tổng cộng 183 dân trong xã tham gia buổi tham vấn cộng đồng về đề án, và việc biểu quyết đưa tay chỉ có 31 người ủng hộ đề án. ◦ Bạn có thể kết luận gì về ý kiến người dân trong xã về đề án? ◦ Ta có nên xây dựng khoảng tin chắc 95% ? 44©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 23 ©2010, Nguyễn Duy Long, Tiến Sỹ 45