Nhận diện vùng da mặt bằng phương pháp kết hợp một số thuật toán dựa trên tính bất biến của màu

JOURNAL OF SCIENCE OF HNUE DOI: 10.18173/2354-1059.2015-0008 Natural Sci. 2015, Vol. 60, No. 4, pp. 56-61 This paper is available online at Ngày nhận bài: 15/4/2015. Ngày nhận đăng: 20/5/2015. Tác giả liên lạc: Lê Hồng Quân, địa chỉ e-mail: quanlhjos@gmail.com 56 NHẬN DIỆN VÙNG DA MẶT BẰNG PHƯƠNG PHÁP KẾT HỢP MỘT SỐ THUẬT TOÁN DỰA TRÊN TÍNH BẤT BIẾN CỦA MÀU Lê Hồng Quân1 và Lê Hà Xuân2 1Phòng Tạp chí & Thông tin Khoa học công nghệ, Trường Đại học Sư phạm Hà Nội 2Trường Đại học Bochum, Cộng hòa liên bang Đức Tóm tắt: Nhận dạng khuôn mặt là một lĩnh vực nghiên cứu thú vị. Đã có rất nhiều thành tựu đạt được ở lĩnh vực này trong vài thập kỉ gần đây. Tuy nhiên, các kết quả đạt được vẫn chưa thực sự đáp ứng được yêu cầu trong thực tế. Các kết quả trước đây đạt được là khá ấn tượng trong việc nhận dạng ở thời gian thực với tỉ lệ nhận dạng cao nhưng bị ảnh hưởng nhiều trong các trường hợp thay đổi ánh sáng. Ở trường hợp này, hệ thống vẫn có thể nhận diện tốt vùng khuôn mặt nhưng cũng cho nhiều kết quả sai. Nghiên cứu của chúng tôi khắc phục nhược điểm nói trên thông qua cơ chế thị giác và nhận dạng tính bất biến của màu của con người. Từ quan sát các thuật toán tính bất biến của màu khác nhau cho kết quả khác nhau, chúng tôi đi tới việc sử dụng kết hợp các thuật toán này để nhận diện được vùng da chính xác gần như tuyệt đối trong mọi ảnh thử nghiệm. Thuật toán này cho kết quả nhận dạng tốt và ít lỗi hơn. Từ khóa: Màu cố định, nhận dạng khuôn mặt, màu da, thời gian thực. 1. Mở đầu Phương thức tiếp cận của chúng tôi dựa trên cơ chế sinh học của thị giác người, nhận dạng khuôn mặt và các đối tượng khác dấu hiệu đầu tiên là màu sắc. Hầu hết các thuật toán xử lí dữ liệu trên ảnh đen trắng mà bỏ qua các thông tin màu sắc. Các ưu thế của cách tiếp cận này là đơn giản hóa đầu vào, hỗ trợ ứng dụng thời gian thực, đơn giản hóa các vùng màu sắc không rõ ràng. Tuy nhiên chúng cũng bỏ qua lượng lớn các thông tin hữu ích và kết quả có thể làm giảm độ chính xác. Thay vào đó, cách tiếp cận sử dụng tính bất biến của màu có thể giải quyết được vấn đề màu sắc khi ánh sáng thay đổi. Đã có một số tài liệu nghiên cứu về nhận dạng khuôn mặt nhưng còn hạn chế trong các trường hợp thay đổi cường độ ánh sáng [1]. Chúng tôi sử dụng hệ màu YcrCb trong [2] để phân mảng màu da trong trạng thái xử lí lọc phân ngưỡng (thresholding) và xử lí ảnh nhị phân. Định biên phân tách các vùng da cùng màu bằng thuật toán của F. Chang et al. [3] và thuật toán Ada-boost của Viola – Jones [2]. Kết quả phân mảng màu da thu được ở đây bị ảnh hưởng rất lớn và xấu đi đáng kể khi có sự thay đổi của cường độ ánh sáng. Thuật toán tính bất biến của màu nhằm mục đích giải quyết vấn đề này. 2. Nội dung nghiên cứu 2.1. Cơ sở lí thuyết 2.1.1. Phân mảng màu da Phân mảng màu da được sử dụng nhiều trong bước tiền sử lí ở các tác vụ của thị giác máy tính. Nhiều phương pháp nhận diện khuôn mặt đã được nghiên cứu, phát triển [4]. Hều hết các thuật toán này đều hoạt động tốt trong trường hợp ánh sáng được kiểm soát tốt và không ảnh hưởng tới màu của Nhận dạng khuôn mặt bằng phương pháp kết hợp một số thuật toán dựa trên tính bất biến của màu 57 camera. Nếu không, kết quả không thể xác định được các vùng da hay thậm chí mất các điểm da quan trọng dẫn tới quá trình xử lí sai. Như đã nói ở trên, sử dụng tính bất biến của màu có thể giải quyết vấn đề này nhưng vẫn chưa thực sự đủ hiệu quả. Đã có một vài nỗ lực sử dụng tính bất biến của màu để phân mảng màu da được tin cậy hơn, [5] là một trong những phương pháp thành công nhất. Tuy nhiên vẫn chưa có sự xác nhận chắc chắn khi thay đổi ánh sáng trong những môi trường khác nhau. Đây là động cơ để chúng tôi tiếp tục nghiên cứu cải thiện hiệu quả của thuật toán tính bất biến của màu trong phân mảng màu da và nhận dạng khuôn mặt. 2.2.2. Khoa học thị giác và tính bất biến của màu Khoa học thị giác về màu sắc và tính bất biến của màu đã được nghiên cứu trong vài thập kỉ gần đây. Hiện tại, chúng ta đã có một số phương thức biểu diễn phổ biến trong lĩnh vực này. Một trong những biểu diễn phổ biến nhất ở [6] coi tín hiệu màu c, là kết quả của sự phản xạ nguồn sáng lên bề mặt. Vì thế c cũng có thể được coi là kết quả phân bố năng lượng từ nguồn sáng lên bề mặt phản xạ. Quá trình này được mô hình hóa bởi công thức: c(λ) = E(λ)* S(λ) (1) Trong hệ thống thị giác máy tính, thông tin màu sắc trên bề mặt được bắt bởi các cảm biến, thu nhận tất cả các bước sóng trong dải quang phổ nhìn thấy được. Sau khi nhận được hệ ảnh từ k-cảm biến, tín hiệu màu được biểu diễn là kết quả của cảm biến k-chiều: kP ( )E( )S( )d , k R,G,B      (2) Trong đó, Pk = kết quả cảm biến = = ảnh màu. Khi E(λ) = 1, p biểu diễn màu trên bề mặt. Khi S(λ) =1, p biểu diễn độ sáng của màu. Ta có thể ước lượng ( )  khi sử dụng cảm biến biên độ hẹp. Để đơn giản ta gọi: Pk = S(λK) E(λK) k = {R,G,B} (3) Dựa vào mô hình trên, mục đích của thuật toán tính bất biến của màu là tìm giá trị của E(λ) để xác định giá trị màu PK. * Tính bất biến của màu ở người Nhiều thí nghiệm tâm lí thị giác đã được thực hiện ở lĩnh vực tính bất biến của màu ở người, tuy chưa thể làm sáng tỏ hết cơ chế phức tạp này nhưng đã có một số kết quả nhất định. Một số kết quả [7] đã phát hiện các quy tắc tính bất biến của màu như sau: (i) Tính bất biến của màu thu được bằng chính lượng lượng tử ánh sáng thu được trên toàn bộ vùng quan sát. (ii) Thay đổi toàn cục trên lượng lượng tử dẫn tới sự thay đổi nhỏ về hình thái (màu sắc). (iii) Thay đổi cục bộ trên lượng lượng tử ánh sáng thu được dẫn tới sự thay đổi lớn về hình thái. (iv) Trong một vùng quan sát phức tạp: - Các “điểm trắng” biểu diễn các thay đổi toàn cục nhỏ; - Các điểm còn lại biểu diễn các thay đổi cục bộ lớn; - Màu sắc là sự thể hiện chuẩn hóa của mỗi vùng sóng riêng biệt (Lí thuyết Retinex). Có thể thấy kết luận (ii), (iii), (iv) không chỉ đúng với Retinex mà cũng đúng khi sử dụng thuật toán Gray World assumption khi có sự thay đổi cục bộ. Gray World assumption là thuật toán khá phổ biến, nó cân bằng giá trị trung bình của các kênh Red (R), Green (G) và Blue (B). Thuật toán này được sử dụng rộng rãi bởi tính hiệu quả của nó, trừ một số trường hợp mà một loại màu sắc nhất định chiếm phần lớn hình ảnh (ví dụ như các ảnh có bầu trời xanh hoặc nguồn sáng nhân tạo trong nhà). Với các tình huống này, các thuật toán Retinex cho kết quả khá tốt. Hướng tiếp cận này khẳng định sự liên quan giữa cảm nhận “điểm trắng” và sự phản hồi cực đại của các tế bào cảm sáng hình nón (cones). Từ những nhận xét này, chúng tôi tận dụng các ưu điểm của các cách tiếp cận khác nhau để giải quyết được hạn chế của các thuật toán màu cố định. Một tập hợp các thuật toán này sẽ được sử dụng để tái tạo (gần như chính xác) màu sắc của ảnh trước khi thực hiện phân vùng màu da. Lê Hồng Quân và Lê Hà Xuân 58 * Định thức chuẩn Minkowski cho thuật toán tính bất biến của màu Ở bài báo của J. Weijer và Th. Gevers [8], chuẩn Minkowski rất hữu dụng để mô hình hóa thuật toán tính bất biến của màu, có thể viết dưới dạng: 1 p p X,Y K K I (x,y) E N           (4) Trong đó, N là số điểm ảnh (pixel) trong một ảnh I. Với khung định mức này, tác giả ở [8] đã trình bày một số thuật toán tính bất biến của màu. Trong đó thuật toán Shade of Gray trực tiếp sử dụng công thức này, cho kết quả tốt nhất khi p = 6. * Max - RGB Thuật toán Max – RGB dựa trên giả định rằng giá trị tín hiệu lớn nhất trên mỗi kênh màu là tín hiệu phản hồi từ một bề mặt trắng. Vì vậy công thức sau sẽ biểu diễn mức sáng của ảnh: EK = max(x,y)(IK(X,Y)) (5) Đây là trường hợp đặc biệt của Retinex, khi độ sáng trong ảnh là đồng đều, cũng là trường hợp đặc biệt của chuẩn Minkowski khi p = ∞. * Gray - World Tương đương với 4 ở trường hợp p = 1, thuật toán Gray – World [9] giả định màu trung bình trên bề mặt là xám. Khi đó mức xám sẽ chính là kết quả tạo bởi hiệu ứng của nguồn sáng: K X,Y KE I (X,Y) / N  (6) Đây chỉ là một trường hợp đặc biệt, ta có thể mở rộng hơn nữa, ví dụ giả định màu trung bình trên bề mặt là xanh. * Gray - Edge Hypothesis Thuật toán Gray – Edge Hypothesis được đề xuất bởi J. Weijer và Th. Gevers [8] giả định rằng “độ lệch giá trị phản xạ trung bình trong một cảnh không phụ thuộc vào màu sắc”: K X,Y KE f I (X,Y) / N   (7) trong đó, f  là bộ lọc Gaussian, sử dụng để làm mịn cục bộ. * Thống kê ảnh tự nhiên Ở [6], NIS lựa chọn trước một tập các thuật toán tính bất biến của màu, sau đó áp dụng chúng trên một ảnh cụ thể. Các kết quả được chọn và kết hợp dựa trên các tính chất quan trọng nhất của ảnh màu. Tham số Weibull được sử dụng để trích xuất một số tính chất của ảnh trong hệ màu. Tham số Weibull được cho là có tính tương quan cao giữa các phương pháp tính bất biến của màu và các phương pháp dựa trên tính chất ảnh. Bộ phân loại MoG – classifier được sử dụng để “huấn luyện” dữ liệu, đánh trọng số cho các tham số Weibull và các tính chất của ảnh (số cạnh, họa tiết và SNR). Hay nói cách khác, thám số Weibull và MoG – classifier được dùng để xác định các vùng của khung cảnh (có thể gồm nhiều loại như rừng, núi, cánh đồng, ), từ đó lựa chọn một hay một số thuật toán thích hợp nhất. Dựa vào đó ta có thể quyết định dùng thuật toán tính bất biến của màu nào hay kết hợp chúng thế nào cho từng ảnh cụ thể. 2.2. Kết hợp các thuật toán tính bất biến của màu trong phân ngưỡng Từ quan sát mỗi thuật toán tính bất biến của màu khác nhau cho kết khác nhau và ảnh hưởng tới kết quả phân mảng màu da, chúng tôi đã kết hợp một vài phương pháp tính bất biến của màu để làm một bộ lọc cho phân mảng da. Các thuật toán được lựa chọn đưa vào kết hợp ở đây gồm có: Max – RGB, Gray – World, Shade of Gray, NIS và Original. Áp dụng năm thuật toán này để làm một bước tiền sử lí, sau đó được đưa vào phân đoạn xác định vùng da. Các kết quả thu được (ví dụ trong Hình 2a) sẽ được qua một bộ sử lí kết Nhận dạng khuôn mặt bằng phương pháp kết hợp một số thuật toán dựa trên tính bất biến của màu 59 hợp phân ngưỡng (Thresholding) để thu được kết quả cuối cùng (Hình 2b). Quá trình này được mô tả như trong sơ đồ ở Hình 1. Hình 1. Kết hợp các thuật toán tính bất biến của màu 2.3. Đánh giá kết quả Kết quả thu được từ kết hợp năm thuật toán tính bất biến của màu trên là tốt bất ngờ. Chúng tôi đã phân loại màu da chính xác tuyệt đối với gần như mọi ảnh. Chạy phép kiểm tra thử nghiệm nhanh trong [10] cho ra kết quả 96,36% các điểm màu da đã được phân loại, tốt hơn nhiều so với các thuật toán trước đây. (a) (b) Hình 2. Kết quả phân mảng màu da Max - RGB Gray – World Shade of Gray NIS Original Phân m ảng m àu da Y C rC b Phân ngưỡng Lê Hồng Quân và Lê Hà Xuân 60 Chúng tôi đã chạy thử nghiệm với LFW [10], bao gồm 13233 ảnh, sưu tập từ New Photograph. Mỗi ảnh có độ lớn 250 x 250 pixel, khuôn mặt được đặt ở giữa. Đây là những hình ảnh thực tế, không được sắp đặt trước nên điều kiện ánh sáng là hoàn toàn ngẫu nhiên. Kết quả trả về thể hiện như trong Hình 3. Hình 3. Kết quả chạy thử nghiệm 3. Kết luận Qua nghiên cứu kết hợp một số thuật toán dựa trên tính bất biến của màu, chúng tôi thu được kết quả là các thuật toán có thể bù đắp cho nhau gần như tuyệt đối trong khi đó sử dụng một thuật toán đơn lẻ không thể cho kết quả tốt tương đương, dù là với các thuật toán phức tạp sử dụng phân tích cảnh (như NIS). Điều này cho thấy sẽ có thuật toán tính bất biến của màu tốt hơn (có phân tích cảnh) để sử dụng trong ứng dụng thực tế. Ngoài ra, màu da cũng là một gợi ý thú vị cho việc ước lượng độ sáng. Đây cũng là hướng nghiên cứu tiếp theo của chúng tôi. TÀI LIỆU THAM KHẢO [1] Paul Viola, Michael Jones, 2001. Rapid Object Detection using a Boosted Cascade of Simple Features. Computer Vision and Pattern Recognition, CVPR. Proceedings of the 2001 IEEE Computer Society Conference on (Volume 1). [2] S. L. Phung, A. Bouzerdoum, and D. Chai, 2005. Skin segmentation using color pixel classification: Analysis and comparison. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 1, pp. 148-154. [3] Fu Chang, Chun-Jen Chen, and Chi Chen Liu, 2004. A linear-time component labeling algorithm using contour tracing technique. Computer Vision and Image Understanding, 2004 - Elsevie, Volume 93, Issue 2, February, pp. 206-220. [4] P. Kakumanu, S. Makrogiannis, N. Bourbakis, 2007. A survey of skin-color modeling and detection methods. Pattern Recognition, 40, pp. 1106-1122. Nhận dạng khuôn mặt bằng phương pháp kết hợp một số thuật toán dựa trên tính bất biến của màu 61 [5] Rein-Lien Hsu. 2002. Face Detection in Color images. IEEE Transactions on Pattern Analysis and Machine Intelligence. [6] Lilong Shi, 2009. Novel color constancy algorithms for digital color imagery. PhD dissertation, Simon Fraser University. [7] J. J. McCann 1992. Rules for colour constancy Ophthal. Physiol. Opt., Vol. 12, April. [8] Arjan Gijsenij, Theo Gevers, 2007. Color constancy using natural image statistics. The IEEEConf. on Computer Vision and Pattern Recognition. [9] G. Buchsbaum, 1980. A spatial processor model for object colour perception. Journal of the Franklin Institute Volume 310, Issue 1, pp. 1-26. [10] S Gary B. Huang, Manu Ramesh, Tamara Berg, and Erik Learned-Miller, 2007. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. University of Massachusetts, Amherst, Technical Report 07-49, October, 2007. ABSTRACT Face detection by the fusion of color constancy algorithms Face detection is an interesting field of research and there has been much progress during the last few decades in face detection. However, the current results are not adequate for real world application. For example, the prominent work of Viola-Jones successfully detecting faces in real-time but if the lighting changed, the accuracy of detection was not adequate. This system work well in terms of finding the real face region, but also produces many false positive results. We embarked on this study in order to solve this issue being inspired by human vision and a color constancy mechanism. Based on the observation that different color constancy algorithms deliver different results in image restoration, we used a fusion of them to migrate an almost perfect skin region in every test image. This technique results in better detection with fewer false positives. Keywords: Color constancy, face detection, skin color, real-time.