Báo cáo Nhận dạng mặt người bằng phân loại Bayes

Nhận dạng mặt người bằng phân loại Bayes Xử lý đa chiều - 2009 [Giáo viên hướng dẫn : Thạc sĩ Phạm Thế Bảo] [Nhóm thực hiện] Nguyễn Thanh Phong 0611156 Hồ Sỹ Mạnh Trường 0611235 Nguyễn Thị Trang 0511234 Đinh Phương Thảo 0611205 2009 Trường Đại Học Khoa Học Tự Nhiên TPHCM Khoa Toán – Tin Học Bài báo cáo này sẽ trình bày về việc sử dụng một framework Bayes để nhận dạng mặt người. Framework này kết hợp các phương pháp phổ biến để nhận dạng mặt người như eigenface và Fisherface. Và từ framework này có thể tạo ra 2 mô hình suy luận xác suất mới (Probabilistic Reasoning Model) với sự thực thi tốt hơn. Đầu tiên thì framework Bayes sẽ ứng dụng phương pháp PCA (Principal Component Analysis) để làm giảm số chiều, giảm nhiễu cho các ảnh, góp phần tăng cường cho việc phân loại. Với các dữ liệu nén, phân loại Bayes để tính được xác suất xảy ra lỗi nhỏ nhất dựa trên hàm mật độ xác suất đã biết (pdf – Probabilistic Density Function), dùng để nhận dạng trên không gian con (sau khi đã giảm số chiều bằng PCA) theo luật Maximum A Posteriori (MAP). Luật này là tiêu chuẩn tối ưu cho sự phân loại, bởi vì nó đo được các lớp rời nhau. Các mô hình PRM được mô tả bằng framework Bayes kết hợp này và thực hiện tốt hơn dựa trên cả 2 phương pháp eigenface và Fisherface Giới thiệu : Nhận dạng mặt người là một dạng cơ bản của bài toán phân loại mẫu. Việc nhận dạng này không chỉ chú trọng vào các đặc trưng của mặt người, mà còn dựa trên phương pháp phân loại được sử dụng. Sự lựa chọn đặc trưng trong phân loại mẫu bao gồm: nguồn gốc của các đặc trưng nhô ra từ dữ liệu thô đầu vào để mà làm giảm lượng dữ liệu cho việc phân loại và đồng thời cung cấp các lũy thừa phân biệt được tăng cường. Sự lựa chọn một tập hợp xấp xỉ của các đặc trưng thường khai thác được tiêu chuẩn thiết kế như (A) phần thừa bé nhất và decorrelation, (B) sự phục hồi lỗi bé nhất, (C) biến đổi thông tin lớn nhất, và (D) sự thưa thớt của mã neural. Hay nói cách khác, phân loại Bayes tính được xác suất xảy ra lỗi bé nhất dựa trên hàm mật độ xác suất đã cho sẵn. Lỗi này còn được gọi là tổn thất Bayes, đây là phép đo tối ưu cho các đặc trưng một cách có hiệu quả khi sự phân loại của sự quan hệ, bởi vì nó là một phép đo sự phân biệt lớp. Trong bài báo cáo này chúng tôi sẽ trình bày một framework Bayes thống nhất bằng việc kết hợp các kỹ thuật lựa chọn đặc trưng (PCA) và phân loại Bayes, và chỉ ra rằng framework này là hợp nhất các phương pháp phổ biến để nhận dạng mặt người và tạo ra được 2 mô hình với sự thực thi tốt hơn. Hai mô hình đó được gọi là mô hình suy diễn xác suất (PRM1 và PRM2), sự ước lượng đầu tiên pdf có điều kiện cùng với sự phân tán lớp, và sau đó ứng dụng luật quyết định MAP như một tiêu chuẩn để phân loại. Với sự phân tán lớp và luật MAP tối ưu hóa sự phân tách lớp trong hướng của tổn thất Bayes và nên phát triển dựa trên các phương pháp PCA và biệt thức tuyến tính Fisher (Discriminant Linear Fisher). Các phương pháp này dùng tiêu chuẩn không liên quan tới tổn thất này. Nghiên cứu liên quan Sirovich và Kirby là 2 trong số các nhà nghiên cứu ứng dụng PCA để thể hiện ảnh khuôn mặt người. Họ nhận xét rằng bất kỳ một khuôn mặt nào cũng có thể được biểu diễn theo không gian tọa độ eigenpictures, và từ đó khuôn mặt nào cũng có thể được tái lập một cách xấp xỉ bằng cách sử dụng một tập hợp nhỏ các eigenpictures và phép chiếu tương ứng với eigenpicture đó. Turk và Pentland đã ứng dụng PCA để nhận dạng mặt người và phát triển một phương pháp nổi tiếng được gọi là eigenfaces. Eigenfaces tương ứng với các eigenvectors kết hợp với các eigenvalues trội của ma trận hiệp phương sai của khuôn mặt. Eigenfaces định nghĩa một không gian đặc trưng hay còn gọi là “face space” . Không gian này giúp giảm số chiều của không gian gốc đi khá nhiều. Và việc phát hiện và nhận dạng mặt người sẽ được thực hiện trên không gian đã giảm số chiều. Những thuận lợi khi sử dụng phương pháp PCA trực tiếp cho việc nhận dạng mặt người là khả năng khái quát của phương pháp. PCA cho ta phương của phép chiếu đựa trên sự thay đổi của các mẫu huấn luyện, do đó các phương này công bằng rõ ràng trong việc thể hiện các ảnh huấn luyện và ảnh kiểm tra. Bất lợi của hướng tiếp cận dùng PCA đó là nó không nhận biết được các vai trò khác khau của các thay đổi, và xem chúng là như nhau. Điều này sẽ dẫn đến những thực thi kém, khi phân phối của các lớp khuôn mặt không được phân biệt bởi nghĩa khác nhau, mà là phân biệt bởi hiệp phương sai khác nhau. Để phát triển việc thực thi theo hướng tiếp cận PCA, Belhumire, Hespanha, và Kriegman đã phát triển một phương pháp gọi là Fisherfaces bằng cách: trước hết dùng phương pháp PCA để làm giảm số chiều của không gian tính toán, và sau đó ứng dụng Fisher’s Linear Discriminant (FLD) để phân tích discriminant. Bằng cách sử dụng cách tiếp cận tương tự, Swets and Weng đã chỉ ra rằng eigenfaces được suy ra bằng PCA chỉ là những đặc trưng ý nghĩa nhất (MEF). MEF không liên quan đến nhận dạng mặt người, và do đó để suy ra được đặc trưng discriminant nhất (MDF), ta cần một phép chiếu FLD sau đó. Tuy nhiên ta có thể thấy rằng không gian MDF cao cấp hơn không gian MEF cho việc nhận dạng khuôn mặt, chỉ khi nào các ảnh huấn luyện thể hiện cho 1 dãy các thay đổi của khuôn mặt; nếu ngược lại sự khác nhau của sự thực thi giữa MEF và MDF là không đáng kể. Sự thuận lợi của phương pháp gián tiếp (kết hợp PCA và FLD) đó là nó có thể nhận biết được các vai trò khác nhau của bên trong và giữa phân tán lớp bằng các sử dụng phân tích discriminant. Sự bất lợi của của các phương pháp này là thực thi kém với các tập dữ liệu mới, bởi vì gặp phải hiện tượng quá khớp với dữ liệu huấn luyện. Bởi vì phương pháp FLD bao gồm diagonalization đồng thời trên 2 ma trận trong và phân tán giữa các lớp, nó tương đương với tiến trình 2 bước sau: đầu tiên, “whitening” ma trận phân tán lớp - ứng dụng một biến đổi tương đương để làm ma trận phân tán lớp bằng với ma trận đơn vị, bước thứ hai là ứng dụng PCA trên ma trận phân tán đã biến đổi. Mục đích của của bước “whitening” ở đây là để chuẩn tắc hóa phân tán trong lớp bằng với ma trận đơn vị, trong khi đó bước 2 sẽ lấy maximum phân tán giữa các lớp. Giới hạn của phương pháp FLD dựa vào sự phân tán trong lớp có thể hay không thể bắt kịp được sự thay đổi của một lớp đặc biệt. Khi tập huấn luyện không bao gồm các sự thay đổi nhất bởi vì ánh sáng, nét mặt, tư thế, và/hoặc ảnh giống nhau khi gặp phải trong quá trình test, bước “whitening” giống như làm đầy các thay đổi sai lệch. Như một kết quả sự chuẩn tắc trong phân tán lớp sẽ trùng khớp nhất với dữ liệu huấn luyện, nhưng nó sẽ tổng quát kém khi gặp dữ liệu mới. Framework hợp nhất Bayes (A Unified Framework Bayes) Sự kết hợp của kỹ thuật PCA và phân loại Bayes đưa đến một framework hợp nhất Bayes, là sự hợp nhất của một vài phương pháp phổ biến để nhận dạng mặt người và tạo ra các mô hình mới với sự thực thi tốt hơn. Đầu tiên PCA được ứng dụng để giảm số chiều, thu gọn không gian ảnh gốc vào một tập compact với một metric để khử nhiễu và tăng cường tổng quát tốt nhất có thể như “the curse of dimentionally” . Sau đó, phân loại Bayes cho ta tổn thất bé nhất dựa trên hàm mật độ xác suất đã biết trước. Việc phân loại được tiến hành dựa trên luật MAP trên không gian con đã giảm số chiều. Luật MAP này là độ đo tối ưu cho việc phân loại, bởi vì nó đo được sự phân biệt giữa các lớp. Principal Component Analysis (PCA) Lý do cơ bản của việc sử dụng PCA làm giảm số chiều trước thay cho việc khai thác trực tiếp ngay phân loại Bayes và luật MAP trên dữ liệu ban đầu là sự gấp đôi. Hay nói cách khác với số chiều lớn của không gian khuôn mặt ban đầu sẽ làm cho sự ước lượng hàm pdf rất khó khăn, hay có thể nói là không thể, bởi vì rõ ràng không gian với số chiều lớn hầu như trống rỗng. Vấn đề này của sự thưa thớt làm giới hạn hướng phân tích của Bayes trên không gian ban đầu, bởi vì số lượng dữ liệu huấn luyện cần phải lấy các ước lượng biến đổi thấp một cách hợp lý, trở nên thật buồn cười. Nói cách khác, nó được xác nhận bởi nhiều nhà nghiên cứu rằng biểu diễn bằng PCA có nhiều đặc trưng không đổi của đối tượng mang ý nghĩa như là việc khử nhiễu cho dữ liệu đầu vào. PCA tạo ra một tập hợp các vector cơ bản trực tâm, hay còn được biết như là những thành phần chính, là độ phân tán lớn nhất của các mẫu được chiếu. Đặt L = [X1,X2,…,Xn] là một mẫu tập hợp của các ảnh ban đầu. Sau khi chuẩn hóa các ảnh để hợp nhất dạng chuẩn và hiệu trung bình tổng quát, một tập ảnh mới Y = [Y1,Y2,…,Yn] được suy ra. Mỗi Yi biểu diễn cho một ảnh chuẩn hóa với số chiều N, Yi = (Yi1,Yi2,…,Yin)t, i = 1,…,n. Ma trận hiệp phương sai của tập các ảnh chuẩn hóa được định nghĩa như sau: (1) Và eigenvector và các ma trận eigenvalue Ф, Λ được tính như sau : (2) Chú ý rằng Y*Yt là ma trân NxN trong khi Yt*Y là ma trân nxn. Nếu kích cỡ mẫu nhỏ hơn bậc N, thì phương pháp theo sau đây sẽ tiết kiệm được vài bước tính toán : (3) ℑ = YΨ (4) Với Λ1 = diag{λ1, λ2,…, λn} và ℑ = [Ф1, Ф2,…, Фn]. Nếu ta giả sử rằng các eigenvalue được sắp xếp theo thứ tự giảm dần, λ1 ≥ λ2 ≥ … ≥ λn, thì m eigenvalue đầu tiên định nghĩa một ma trận P như sau : P = [Ф1, Ф2,…, Фm] (5) Tập đặc trưng mới Z với bậc nhỏ hơn là m chiều (m<<N) được tính như sau : Z = PtY (6) Phân loại Bayes (Bayes Classifier) Đối với phân loại mẫu, phân loại Bayes là phân loại tốt nhất, hàm rủi ro Bayes là tiêu chuẩn tốt nhất để đánh giá các tập hợp đặc trưng, và hàm xác suất hậu nghiệm là các đặc trưng tối ưu theo đó. Đặt ω1, ω2, …, ωL là các lớp đối tượng, và Z là một ảnh trong không gian con đã giảm chiều bằng PCA. Hàm xác suất hậu nghiệm của một ωi với điều kiện Z được định nghĩa như sau: (7) Với P(ωi) là xác suất tiên nghiệm, p(Z, ωi) là hàm mật độ xác suất của ωi, và p(Z) là mật độ hỗn hợp. Luật quyết định dựa trên xác suất hậu nghiệm lớn nhất (MAP) cho phân loại Bayes là (8) Ảnh khuôn mặt Z được phân vào lớp ωi nếu xác suất hậu nghiệm của ωi với điều kiện Z là lớn nhất so với các lớp khác. Thông thường thì không có đủ mẫu để ước lượng được hàm mật độ xác suất có điều kiện cho mỗi lớp. Vì vậy một sự thỏa thuận giả thuyết của một dạng mật độ đặc biệt, và chuyển đổi câu hỏi ước lượng mật độ tổng quát vào một tham số. Mật độ của lớp thường được mô hình như một phân phối chuẩn : (9) Với Mi (xem công thức (10)) và Σi là giá trị trung bình và ma trận hiệp phương sai tương ứng với lớp ωi. Các phương pháp nhận dạng mặt người Eigenface Giả sử ma trận hiệp phương sai trong lớp là ma trận đơn vị ΣI = Σi = Im, và theo điều giả sử này hàm mật độ xác suất có điều kiện trong công thức (9) được thu gọn lại như sau . Như một kết quả, luật MAP đưa đến một khoảng cách phân loại phù hợp với phương pháp eigenface theo Turk and Pentland. Fisherfaces Sau khi dùng PCA theo công thức (6), ta ứng dụng phân tích FLD suy ra một tập các đặc trưng mới . Trong không gian con FLD, giả sử ma trận hiệp phương sai trong lớp là ma trận đơn vị ΣI = Σi = Im, và theo điều giả sử này hàm mật độ xác suất có điều kiện trong công thức (9) được viết lại như sau Lại dùng luật MAP theo công thức (8) đưa ra một khoảng cách phân loại phù hợp với phương pháp Fisherface theo Belhumeur, Hespanha, and Kriegman. Mô hình suy diễn dựa theo xác suất Theo framework hợp nhất Bayes, ta suy ra được 2 mô hình suy diễn dựa trên xác suất mới, PRM-1 và PRM-2, mà tận dụng sự phân tán trong lớp để suy ra ước lượng trung bình của ma trận hiệp phương sai thuộc lớp. Với mô hình PRM-1, trong không gian con đã giảm chiều bằng PCA, ta giả sử rằng tất cả các ma trận hiệp phương sai thuộc lớp đều giống nhau là ma trận đường chéo, và mỗi thành phần đường chéo được ước lượng bởi sự thay đổi mẫu trong một không gian con được giảm chiều bằng PCA. Như một kết quả, hàm mật độ xác suất có điều kiện chỉ rõ luật MAP như một phân loại bậc hai được miêu ta bởi khoảng cách Mahalanobis. Với mô hình PRM-2, trước tiên ta tính trung bình ma trận hiệp phương sai thuộc lớp dựa trên độ phân tán thuộc lớp trong không gian con đã giảm chiều bằng PCA, sau đó chéo hóa ma trận hiệp phương sai này, và sử dụng bậc của các thành phần đường chéo như là các ước lượng cho các ma trận hiệp phương sai mà được giả sử là ma trận đường chéo. Như là một kết quả, PRM-2 suy ra một phân loại bậc hai khác. Cụ thể hơn, đặt ω1, ω2, …, ωL và N1, N2, …, NL lần lượt là các lớp và số ảnh trong mỗi lớp. Đặt M1, M2, …, ML là các giá trị trung bình của mỗi lớp, các lớp nằm trong không gian con đã giảm chiều bằng PCA trong khoảng [Ф1, Ф2,…, Фm]. Từ đó ta có : i = 1, 2, …, L (10) Với , j = 1, 2, …, Ni, là các ảnh mẫu của lớp ωi. PRM1 Mô hình PRM-1 giả sử rằng các ma trận hiệp phương sai thuộc lớp đều là giống nhau và là ma trận đường chéo chính. (11) Mỗi thành phần có thể ước lượng được bằng sự biến đổi các mẫu trong không gian con đã được giảm chiều bằng PCA. (12) Với là thành phần thứ i của mẫu , mki là thành phần thứ i của Mk, và L là số các lớp. Từ công thức (11) và (9) ta có : (13) Do đó luật MAP trong công thức (8) định rõ một phân loại bậc 2 được mô tả bởi khoảng cách Mahalanobis (chú ý rằng các prior đều bằng nhau). (14) PRM2 Mô hình PRM-2 ước lượng ma trận phân tán thuộc lớp Σω trong không gian đã giảm chiều bằng PCA như sau : (15) Chéo hóa ma trận Σω sử dụng sự phân tích giá trị suy biến (SVD) Σω = USVt (16) Với U và V là các ma trận đơn vị, S là một ma trận đường chéo. S = diag{s1, s2, …, sm} (17) Với các thành phần đường chéo là các giá trị suy biến không âm. Bậc của các thàng phần đường chéo được lấy bình phương như sau : (18) Cuối cùng, ma trận hiệp phương sai thuộc lớp được suy ra như sau : (19) Và hàm mật độ xác suất tương ứng được mô tả như sau : (20) Do đó luật MAP định nghĩa một phân loại bậc 2 khác (chú ý rằng các prior đều bằng nhau) (21) Kết quả thực nghiệm Dữ liệu thực nghiệm bao gồm 1107 tấm ảnh khuôn mặt tương ứng với 369 người được lấy từ cơ sở dữ liệu FERET của quân đội Mỹ. 600 trong 1107 bức ảnh đó ứng với 200 người, mỗi người gồm 3 tấm (trong đó tấm thứ 3 được chụp trong điều điện thiếu ánh sáng). Còn 169 người còn lại có 3 tấm chụp khuôn mặt của mình, và 2 trong 3 tấm đó được chụp vào các thời điểm khác nhau . Hai tấm ảnh của mỗi 1 người được dùng để huấn luyện, còn tấm còn lại để đem đi kiểm tra. Các bức ảnh được cắt thành kích cỡ 64 x 96, và các tọa độ của mắt được xác định bằng tay. Hình 1 cho thấy sự so sánh sự thực thi giữa các phương pháp Eigenfaces, Fisherfaces, PRM-1, PRM-2 cho các tỉ lệ nhận dạng cao nhất. Tỉ lệ nhận dạng cao nhất nghĩa là độ chính xác nhận dạng đúng cao nhất. Top 3 tỉ lệ nhận dạng cao nhất sau khi thực hiện việc kiểm tra các phương pháp được vẽ trong hình 2. Tỉ lệ nhận dạng của mô hình PRM (PRM-1 và PRM-2) cao hơn 5% so với Eigenfaces và Fisherfaces; cực đỉnh của tỉ lệ nhận dạng của mô hình PRM là khoảng 96% sử dụng 44 đặc trưng. Các mô hình PRM-1 và PRM-2 tăng lên top 3 về tỉ lệ nhận dạng khi được so sánh với các phương pháp Eigenfaces và Fisherface với cực đỉnh của tỉ lệ nhận dạng là 99%. Hình 1 Hình 2 Kết luận Bằng việc kết hợp phương pháp phân tích thành phần chính (PCA) và phân loại Bayes, chúng ta có thể đựa ra một framework hợp nhất Bayes, bao gồm nhiều phương pháp phổ biến trong việc nhận dạng mặt người và sinh ra 2 mô hình mới với sự thực thi tốt hơn. Hai mô hình suy diễn dựa trên xác suất (PRM-1 và PRM-2), thực hiện trong không gian con đã giảm chiều bằng PCA, tối ưu độ phân tán của lớp trong hướng của tổn thất Bayes. Kết quả thực nghiệm cho thấy rằng kết quả của PRM tốt hơn sự thực thi việc nhận dạng khuôn mặt khi so sánh với cả 2 phương pháp PCA và Fisherfaces