Chương 6: Phân tích dữ liệu

1Chương 6: Phân tích dữ liệu ThS. Trần Trí Dũng 2Nội dung 1. Xử lý dữ liệu 2. Phân tích đơn biến 3. Phân tích nhị biến 4. Tổng quát về phân tích đa biến 31. Xử lý dữ liệu z Hiệu chỉnh z Mã hóa z Tạo tập tin dữ liệu 41. Xử lý dữ liệu (tt) z Hiệu chỉnh: – Mục đích nhằm đảm bảo: z Đúng thủ tục/đối tượng phỏng vấn (legibility) z Xử lý các phỏng vấn/trả lời không hoàn chỉnh (completeness) z Tính nhất quán của các trả lời (consistency) z Sự chính xác của các trả lời (accuracy) z Sự rõ ràng của các trả lời (clarification) 51. Xử lý dữ liệu (tt) z Hiệu chỉnh (tt): – Quá trình: z Hiệu chỉnh sơ bộ (field editing): – Thực hiện bởi interviewer – Càng sớm càng tốt sau khi phỏng vấn xong z Hiệu chỉnh cuối cùng (office editing): – Thực hiện bởi editor – Sau khi thu thập xong data – Đòi hỏi người hiệu chỉnh phải có nhiều kinh nghiệm, kiến thức. 61. Xử lý dữ liệu (tt) z Hiệu chỉnh (tt): – Xử lý khi phát hiện lỗi: z Liên lạc trở lại để bổ sung hoặc làm rõ z Hiệu chỉnh, làm rõ hoặc bổ sung theo trí nhớ hoặc các cứ liệu/suy luận khác z Hủy bỏ một số câu trả lời (missing value) z Hủy hoàn toàn cuộc phỏng vấn/questionnaire 71. Xử lý dữ liệu (tt) z Mã hóa: – Khái niệm: z Là quá trình gán mã số (số hoặc nhãn) cho các biến và các trả lời. z Thang đo của biến tùy thuộc vào cách hỏi và bản chất của biến được hỏi. 81. Xử lý dữ liệu (tt) z Mã hóa (tt): – Các bước mã hoá: z Đặt tên biến cho các câu hỏi: – Câu hỏi 1 chọn lựa – Câu hỏi nhiều chọn lựa z Chuyển tập các chọn lựa trả lời của mỗi câu hỏi thành tập các số/nhãn phù hợp, có ý nghĩa. – Câu hỏi đóng – Câu hỏi mở – Câu hỏi có chọn lựa: “Khác” 91. Xử lý dữ liệu (tt) z Mã hóa (tt): – Bốn nguyên tắc khi mã hóa: z Tính phù hợp (appropriateness): Cách phân loại/nhóm phải phù hợp với vấn đề/mục tiêu nghiên cứu. – TD: Thông tin cá nhân hoặc doanh nghiệp. – Tuổi <18 18-30 …. ? – Tuổi <16 16-25 …. ? 10 1. Xử lý dữ liệu (tt) z Mã hóa (tt): – Bốn nguyên tắc khi mã hóa (tt): z Tính toàn diện (exhaustiveness): Các mã số cần thể hiện các loại cần NC. – Loại “trả lời khác” nên chiếm tỉ lệ nhỏ nhất. – TD: Tuổi 30 ?? 11 1. Xử lý dữ liệu (tt) z Mã hóa (tt): – Bốn nguyên tắc khi mã hóa (tt): z Tính loại trừ nhau (mutual exclusivity): Mỗi trả lời chỉ tương ứng với một mã số. – TD: quốc doanh, tư nhân, TNHH, cổ phần ?? z Tính đơn nguyên (unidimensionality): Mỗi câu trả lời ứng với một thứ nguyên duy nhất. 12 1. Xử lý dữ liệu (tt) z Tạo tập tin dữ liệu: – Nhập dữ liệu vào file (SPSS) – Cải biến tập dữ liệu – Tạo biến mới, biến trung gian, v.v. – Xử lý missing value 13 2. Phân tích đơn biến z Tổng quan về phân tích dữ liệu: – Mục tiêu phân tích chỉ là mô tả hay suy đóan tổng thể – Chọn phương pháp tùy thuộc vào: z Có bao nhiêu biến được phân tích đồng thời z Các biến được đo bằng thước đo gì: chỉ danh, thứ tự, khỏang hay tỷ lệ 14 2. Phân tích đơn biến (tt) z Tổng quan về phân tích dữ liệu (tt): – Các phương pháp phân tích dữ liệu: 15 2. Phân tích đơn biến (tt) z Phân tích đơn biến: 16 2. Phân tích đơn biến (tt) z Thống kê mô tả: – Biến chỉ danh, thứ tự 17 2. Phân tích đơn biến (tt) z Thống kê mô tả (tt): – Biến chỉ danh, thứ tự (tt) 18 2. Phân tích đơn biến (tt) z Thống kê mô tả (tt): – Lợi ích: z Trình bày phân phối dữ liệu của một biến có thang đo nominal hoặc ordinal. z Phát hiện một số dạng sai sót khi mã hoá. z So sánh với các phân phối/dữ liệu có liên quan. z Đề nghị những phương pháp biến đổi các biến z Kiểm tra sampling. 19 2. Phân tích đơn biến (tt) z Thống kê mô tả (tt): – Biến khỏang (interval): 20 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến: – Kiểm chứng xem những phát biểu nào đó có thích hợp cho tổng thể nghiên cứu hay không. z Ví dụ: Bình quân tuổi của 100 SV trong mẫu là 24 (s=5). Nhà NC muốn kiểm chứng cho tổng thể: – Null hypothesis Ho: ì = 23 – Alternative hypothesis H1: ì ≠ 23 – Các phân tích liên quan đến kiểm nghiệm giả thuyết gọi là phân tích suy luận (inferential analysis). 21 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Các bước kiểm nghiệm giả thuyết đơn biến: z B1: Thiết lập giả thuyết H0 và H1 z B2: Xác định phương pháp test phù hợp (statistical test). z B3: Chọn trước mức ý nghĩa α(significance level) z B4: Tính (tra bảng) giá trị test tới hạn (critical value) ứng với α(one/two tailed) z B5: Tính giá trị kiểm nghiệm thống kê từ tập số liệu. z B6: Nếu giá trị tính được ở B5 lớn hơn giá trị tới hạnÎ loại Ho. 22 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo khoảng: z Có thể dùng t Test hoặc Z Test để test giá trị trung bình của tổng thể khi biết giá trị trung bình của mẫu: z Z TEST: – Sử dụng khi: – Biết phương sai sigma của tổng thể và cở mẫu bất kỳ. – Không biết phương sai sigma của tổng thể và cở mẫu > 30 23 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo khoảng (tt): z t TEST: z Sử dụng khi – Không biết phương sai sigma của tổng thể và cở mẫu bất kỳ. – Khi cở mẫu n > 30 thì phân phối t = phân phối z – Lưu ý: khi tra bảng tc thì dF = n-1 xS x t µ−= 24 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo khoảng (tt): 25 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo thứ tự: 26 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo thứ tự (tt): 27 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo thứ tự (tt): 28 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo thứ tự (tt): z Ví dụ: Khảo sát 100 người đang sử dụng internet ở HCMC 29 2. Phân tích đơn biến (tt) z Kiểm nghiệm giả thuyết đơn biến (tt): – Biến đo bằng thang đo thứ tự (tt): z Ví dụ: Khảo sát 100 người đang sử dụng internet ở HCMC 30 3. Phân tích nhị biến z Bảng 2 chiều (two – way tabulation) z Các lọai test nhị biến z Chi – Square contingency test z Hệ số tương quan Spearman và Pearson z Phân tích hồi quy tuyến tính đơn 31 3. Phân tích nhị biến (tt) z Bảng 2 chiều (two – way tabulation) 32 3. Phân tích nhị biến (tt) z Bảng 2 chiều (two – way tabulation): – Khảo sát mức độ và các mối liên hệ (có thể có) giữa các cặp biến. – Thích hợp cho các trường hợp số loại trong mỗi biến không lớn, thang đo nominal hoặc ordinal. – Chỉ định hướng, không kết luận về mối quan hệ nhân quả giữa các biến. – Kết quả có thể bị lệch nếu các ô có giá trị nhỏ. 33 3. Phân tích nhị biến (tt) z Các lọai test nhị biến: 34 3. Phân tích nhị biến (tt) z Chi – Square contingency test: – Hạn chế: z Chỉ xác định có quan hệ hay không, không cho biết mức độ quan hệ. z Do đó thường dùng hệ số Contingency bổ sung vào kiểm nghiệm Chi-Square để biết mức độ quan hệ giữa 2 biến. 35 3. Phân tích nhị biến (tt) z Chi – Square contingency test (tt): – Thí dụ: Kết quả khảo sát nhãn hiệu Bia ưa thích nhất phân theo mức thu nhập – Ghi chú: Con số trong ngoặc chỉ giá trị kỳ vọng của mỗi ô trong bảng. Chúng được xác định theo tỉ lệ với tổng về thu nhập và loại bia ưa thích. – (Ô 1-1 có giá trị kỳ vọng = 350 x 375 / 1200 = 109.38) 36 3. Phân tích nhị biến (tt) z Chi – Square contingency test (tt): – Thí dụ: Kết quả khảo sát nhãn hiệu Bia ưa thích nhất phân theo mức thu nhập 37 3. Phân tích nhị biến (tt) z Hệ số tương quan Spearman và Pearson – Spearman: tương quan giữa 2 biến thứ tự (ordinal). – Pearson: tương quan giữa các biến khoảng/ tỉ lệ. – Hệ số tương quan r = 0 Æ 1 (không kể dấu +/-) z r > 0.8 rất mạnh z r = 0.6 – 0.8 mạnh z r = 0.4 – 0.6 có tương quan z r = 0.2 – 0.4 tương quan yếu z r < 0.2 không tương quan 38 3. Phân tích nhị biến (tt) z Hệ số tương quan Spearman và Pearson (tt) – Lưu ý: Hai biến phải có phân phối chuẩn nhị biến. z Phương sai của 1 biến tại bất kỳ giá trị nào của biến kia cũng phải bằng nhau. z Khi r nhỏ không có nghĩa là không tương quan, mà chỉ không tương quan tuyến tính. z Khi |r| lớn chỉ cho thấy mối tương quan, nhưng không xác định quan hệ nhân quả. 39 3. Phân tích nhị biến (tt) z Phân tích hồi quy tuyến tính đơn – Phân tích 2 biến khoảng/tỉ lệ: Hồi quy tuyến tính đơn: Y = aX + b – Sự khác biệt giữa hồi quy và tương quan: 40 4. Phân tích đa biến z Phân tích đa biến có thể chia thành 2 nhóm: – Phân tích phụ thuộc: Xác định được biến nào là phụ thuộc, biến nào là độc lập. z Bao gồm các pp: Phân tích hồi quy đa biến, ANOVA, Conjoint, Discriminant, Canonical analysis... – Phân tích tương tác (interdependent): Không xác định trước biến nào là phụ thuộc, biến nào là độc lập, chủ yếu là tìm kiếm các mô thức tương quan. z Bao gồm các pp: Factor analaysis, Cluster, Multi- dimensional Scaling. 41 4. Phân tích đa biến z Các phương pháp phân tích phụ thuộc: Yêu cầu về thang đo 42 4. Phân tích đa biến (tt) z Các phương pháp phân tích phụ thuộc: Yêu cầu về thang đo (tt) 43 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến: – Dạng mở rộng của hồi quy đơn. – Một biến phụ thuộc, nhiều biến độc lập – Tất cả được đo bằng thang interval (ngoại lệ: dummy-variable multiple regression) 44 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Đánh giá mô hình và kết quả hồi quy theo 3 phần: z Mức độ phù hợp của phương trình hồi quy: – Dùng hệ số r2 (coefficient of determination) – r2 = 0 ÷ 1 Î đặc trưng cho % của biến thiên trong biến phụ thuộc được giải thích do sự biến thiên của biến độc lập. 45 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Đánh giá mô hình và kết quả hồi quy theo 3 phần: z Kiểm nghiệm mức ý nghĩa của r2: – Dùng F – test (Với độ tự do: df = n – k – 1 cho mẫu số và df = k cho tử số) – (n: cỡ mẫu, k: số biến độc lập) z Kiểm nghiệm mức ý nghĩa của các độ dốc ai: – Dùng t – test với độ tự do df = n – k – 1 46 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Kiểm nghiệm các giả thuyết của pp hồi qui: z Linearity: Có mối quan hệ tuyến tính giữa biến phụ thuộc và các biến độc lập – Test: quan sát scatter diagram hoặc ma trận tương quan 47 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Kiểm nghiệm các giả thuyết của pp hồi qui (tt): z Đa cộng tuyến (Multicolinearity) – Giả thuyết: các biến độc lập không có tương quan tuyến tính với nhau. – Khi bị vi phạmÆ Có hiện tượng đa cộng tuyến, nghĩa là hiện hữu mối tương quan tuyến tính giữa ≥ 2 biến độc lập. – Đa cộng tuyến gây ra: z Hạn chế giá trị r2, z Sai lệch/đổi dấu các hệ số hồi quy – Test đa cộng tuyến: hệ số Tolerance hoặc VIF 48 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Kiểm nghiệm các giả thuyết của pp hồi qui (tt): z Phân phối chuẩn (Normality) của sai số và của mỗi biến z Sai số hồi quy có variance không đổi (Constant Variance of the Error Term hay Homoscedasticity) z Tính độc lập của các sai số hồi quy (Independence of the Error Terms) 49 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Một số lưu ý khi sử dụng multiple regression: z Phân tích hồi quy tuyến tính chỉ có nghĩa khi có tương quan TUYẾN TÍNH giữa các biến. z r2 không nói lên được quan hệ nhân quả giữa các biến z Có thể dự đoán sai nếu nằm ngoài khoản tính toán 50 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Một số lưu ý khi sử dụng multiple regression (tt): z Để đảm bảo độ tin cậy phải có nhiều hơn 10 điểm cho mỗi biến độc lập đưa vào phương trình (Æ yêu cầu cở mẫu) z Khoảng dao động (range) các biến có thể ảnh hưởng đến ý nghĩa phương trình hồi quy. z Trường hợp biến độc lập là nominal thì có thể sử dụng dummy-variable. Khi đó: – số biến dummy = k-1 ; – với k = số loại của biến nominal – mỗi biến dummy chỉ nhận giá trị 0 hoặc 1 51 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Thí dụ: – Bài toán tìm các yếu tố quyết định sự thỏa mãn của nhân viên trong Cty XYZ. – Biến phụ thuộc: sự thỏa mãn của nhân viên Cty. z Biến độc lập: thu nhập, điều kiện làm việc, sự quan tâm của cấp trên, quan hệ với đồng nghiệp, cơ hội thăng tiến, cơ hội học tập,… 52 4. Phân tích đa biến (tt) z Hồi qui tuyến tính đa biến (tt): – Thí dụ: 53 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Mục đích: Khảo sát mối quan hệ giữa các biến độc lập và phụ thuộc. – Đặc điểm: Tương tự như phân tích hồi quy, nhưng các biến độc lập là biến nonmetric (nominal/ordinal). 54 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Áp dụng: So sánh giá trị trung bình của một thuộc tính (biến phụ thuộc/thang metric) thể hiện ảnh hưởng của một hay nhiều thuộc tính khác (biến độc lập/thang nonmetric). – Nếu có nhiều biến độc lập với thang chỉ danh gọi là Factorial ANOVA. – Nguyên tắc: z Nếu có sự khác biệt đáng kể giữa các nhóm thì “between-group variance > within-group variance” 55 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Ví dụ về ANOVA: – Khảo sát 200 doanh nghiệp thuộc 3 ngành May mặc, Mỹ phẩm và Nhựa gia dụng về chi phí dành cho khuyến mãi hằng năm. – Mục đích phân tích nhằm tìm xem có sự khác nhau đáng kể/ có ý nghĩa thống kê giữa 3 ngành này về chi phí khuyến mãi không? 56 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Ví dụ về ANOVA: 57 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Ví dụ về ANOVA: – Bài toán này có thể so sánh giá trị trung bình của chi phí khuyến mãi theo từng cặp ngành (dùng t – test). Tuy nhiên, khi số treatment lớnÎ số lượng so sánh sẽ rất lớn. – Khi đó nên dùng ANOVA: – H0 : µ1 = µ2 = ... = µk = µ – Ha : có ít nhất 1 giá trị µi khác những giá trị kia. Với µ là trung bình của tổng thể 58 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Ví dụ về ANOVA: – Bài toán này có thể so sánh giá trị trung bình của chi phí khuyến mãi theo từng cặp ngành (dùng t – test). Tuy nhiên, khi số treatment lớnÎ số lượng so sánh sẽ rất lớn. – Khi đó nên dùng ANOVA: – H0 : µ1 = µ2 = ... = µk = µ – Ha : có ít nhất 1 giá trị µi khác những giá trị kia. Với µ là trung bình của tổng thể 59 4. Phân tích đa biến (tt) z Phân tích ANOVA: – Ví dụ về ANOVA: – Bài toán này có thể so sánh giá trị trung bình của chi phí khuyến mãi theo từng cặp ngành (dùng t – test). Tuy nhiên, khi số treatment lớnÎ số lượng so sánh sẽ rất lớn. – Khi đó nên dùng ANOVA: – H0 : µ1 = µ2 = ... = µk = µ – Ha : có ít nhất 1 giá trị µi khác những giá trị kia. Với µ là trung bình của tổng thể 60 4. Phân tích đa biến (tt) z Phân tích nhân tố (FA – Factor Analysis) – Là phép rút gọn dữ liệu và biến bằng cách nhóm chúng lại với các nhân tố đại diện – Điều kiện: các biến phải có thang đo metric – Ứng dụng: z Xây dựng bộ thang đo Multiple – item z Xác định cấu trúc bộ dữ liệu z Giảm thứ nguyên trong tập dữ liệu, rút gọn dữ liệu 61 4. Phân tích đa biến (tt) z Phân tích nhân tố (FA – Factor Analysis) – Ví dụ: 62 The End