Kỹ thuật nâng cao chất lượng hình ảnh bìa sách trong số hóa tài liệu

KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU Đỗ Năng Toàn*1- Phạm Thành Quang**2- Nguyễn Thị Ngọc Lan***3 Tóm tắt: Thư viện số hiện nay là một khái niệm phổ biến và là xu hướng tất yếu trong hoạt động của các mô hình thư viện ngày nay. Số hóa tài liệu cũng vì vậy là mắt xích không thể thiếu trong quá trình tiến tới thư viện số tương lai. Bài viết này đề cập đến việc ứng dụng kỹ thuật Morphing trong biểu diễn bề mặt trên cơ sở đó kết hợp với các kỹ thuật nắn chỉnh khác để có thể tái tạo được hình ảnh 3 chiều sau quá trình thu nhận như chính gốc của nó. Kỹ thuật được thử nghiệm cho việc nắn chỉnh bìa sách trong quá trình số hóa tài liệu tại Trung tâm Thông tin thư viện, Đại học Quốc gia Hà Nội. Từ khóa: Thư viện số; Tài nguyên số; Số hóa tài liệu; Kỹ thuật Morphing 1. GIỚI THIỆU Sự ra đời và phát triển của Internet có tác động đến mọi mặt của xã hội đặc biệt là lĩnh vực số hóa tài liệu. Đó cũng là một trong những nhiệm vụ cốt lõi của Trung tâm Thông tin – Thư viện trong việc phục vụ truyền tải tài liệu số đến toàn thể cán bộ, giảng viên, học viên, sinh viên,... Để làm được điều đó Trung tâm phải đưa hình ảnh chân thực nhất, dễ hình dung nhất đến với người dùng tin. Tuy nhiên, hình ảnh 3 chiều thu nhận bằng các thiết bị thu nhận ảnh thường bị biến dạng so với thực tế. Vì vậy, một nhu cầu đặt ra là làm sao tái tạo lại được hình ∗ Phó Giáo sư, Tiến sĩ, Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội. ∗∗ Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội. ∗∗∗ Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội. 828 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM ảnh thực từ ảnh thu nhận được. Trong ví dụ minh hoạ hình 1 chỉ ra ảnh thu nhận và ảnh mong muốn. a) Ảnh thu nhận b) Ảnh mong muốn Hình 1: Ảnh thu nhận và ảnh mong muốn Bài viết này đề cập đến việc sử dụng các điểm điều khiển và kỹ thuật Morphing trong biểu diễn bề mặt. Trên cơ sở đó kết hợp với các kỹ thuật nắn chỉnh khác để có thể tái tạo được hình ảnh 3 chiều sau quá trình thu nhận như chính gốc của nó. Phần còn lại của báo cáo có cấu trúc như sau: Phần 2 trình bày cơ sở lý thuyết của thuật toán. Phần 3 trình bày thuật toán nắn chỉnh hình học dựa vào các điểm điều khiển và kỹ thuật nắn chỉnh bề mặt dựa vào kỹ thuật Morphing. Phần 4 là kết quả thực nghiệm của thuật toán và cuối cùng là kết luận về kỹ thuật nắn chỉnh đề xuất. 2. CƠ SỞ LÝ THUYẾT CỦA THUẬT TOÁN 2.1. Nắn chỉnh cấu trúc khung hình học của đối tượng Việc nắn chỉnh cấu trúc khung hình học của đối tượng được thực hiện nhờ vào phương pháp bình phương tối thiểu như sau: Giả sử có n điểm điều khiển. Các điểm điều khiển trên ảnh gốc tương ứng là P(x1,y1),..., P(xnyn) và trên ảnh đích tương ứng là Q(u1,v1),..., Q(un,vn). Phương pháp bình phương tối thiểu là phương pháp xây dựng một ánh xạ F(x,y)->(u,v) sao cho: ( ) minF P Qi i 2 "-/ với i=1,....,n Điều này tương đương với đạo hàm bậc nhất của ( )F P Qi i 2-/ 829 KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU Nếu F là hàm bậc nhất thì ta có: ( , )F x y v x y u x y 3 4 5 0 1 2 b b b b b b = = + + = + +( Các hệ số b được tính toán như sau: Ta đặt: ( ) ( )( ) , ( ) ( )( ) , x n x y n y p y y x x y y p x x x x y y i i n i i n i i n i i i n i i n i i i n 1 1 1 2 1 1 2 1 = = = - - = - - = = = - = = - = 6 6@ @ / / / / / / Ta có: ( ) ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) ( ) ( )( ) ( )( ) ( )( ) q X X X X u X y y q x x y y y y u x q x x y y n u x x x y x x p x x y y x x v y p y y v y 1 1 i i n i i i i n i i n i i i n i i i i n i i i n i i i n i i n i i i n i i i i n i i i n 0 1 2 1 1 1 2 1 1 1 1 2 0 1 1 3 2 1 1 1 1 b b b b b b b = - - - - = - - - - - - - - - = - + - - = - - - - - - - - - = = = = = = = = = = = 6 6 6 6 6 6 6 @ @ @ @ @ @ @ / / / / / / / / / / / 830 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Ảnh thu nhận Khung mẫu Hình 2: Chọn các điểm điều khiển để nắn chỉnh cấu trúc khung Sau khi đã xác định được các hệ số ib hàm F(x,y) hoàn toàn xác định. Ta sử dụng hàm biến đổi tìm được này để thực hiện việc nắn chỉnh khung của ảnh thu nhận. 2.2. Kỹ thuật Morphing trong biểu diễn bề mặt Ảnh thu được sau phép nắn chỉnh khung có hình dáng khung theo mong muốn nhưng các bề mặt của đối tượng sau phép biến đổi này thường bị méo mó, để khắc phục ta sử dụng kỹ thuật Morphing. 2.2.1 Kỹ thuật Morphing là gì? Kỹ thuật Morphing là kỹ thuật nội suy nhằm hiệu chỉnh bề mặt trên cơ sở các điểm điều khiển. Với mỗi điểm M trên bề mặt đối tượng gốc sẽ được ánh xạ sang ảnh đích bằng cách xác định n điểm điều khiển có ảnh hưởng đến M nhiều nhất và điểm M thuộc đa giác tạo bởi n điểm đó. Sau đó sử dụng các phép nội suy để xác định vị trí M’ của M ở ảnh đích. Thông thường người ta hay dùng n = 3 hoặc n = 4. Nếu n = 3 ta sử dụng phép nội suy Affine, nếu n = 4 ta sử dụng phép nội suy Bilinear. M -> M’ Hình 3. Cách ánh xạ của kỹ thuật Morphing với n=3 831 KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU 2.2.2. Các phép nội suy a. Phép nội suy Affine Đây là phép nội suy hai tam giác trong hệ toạ độ Euclide. Giả sử chúng ta có hai tam giác và muốn nội suy hai tam giác này cho nhau. Một cách đơn giản nhất là sử dụng kỹ thuật ánh xạ dựa trên hệ toạ độ Barycentric được minh hoạ như sau: Hình 4. Phép nội suy Affine Trước tiên chúng ta định nghĩa một ánh xạ T cho các đỉnh của tam giác: T(A)=D, T(B)=E,T(C)=F. Với các điểm còn lại chúng ta sẽ ánh xạ chúng theo toạ độ Barycentric (α1, α2, α3) nghĩa là: P= α1*A+α2*B+α3*C Trong đó: αi ≥ 0 và α1+ α2+ α3 =1 Một điểm Q là ánh xạ của P qua T được tính toán như sau: Q = T(P) = T(α1*A+α2*B+α3*C) = α1* T (A) +α2*T(B) +α3*T(C) =α1*D+α2*E+α3*F Như vậy, để sử dụng phép nội suy Affine thì ta phải chuyển từ hệ tọa độ Euclide sang hệ tọa độ Barycentric. Cách chuyển được thực hiện như sau: Với mỗi điểm M(xm,ym) nằm trong tam giác ABC thì chúng ta đều có thể biểu diễn toạ độ của nó theo toạ độ các đỉnh của tam giác như sau: 832 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Giải hệ phương trình này ta được một nghiệm duy nhất: b. Phép nội suy Bilinear Đây là kỹ thuật xác định một hàm biến đổi từ một hình vuông kích thước [0,1]x[0,1] tới một tứ giác trong không gian (tứ giác này không nhất thiết phải đồng phẳng). Nếu chúng ta giả sử toạ độ của khối hình vuông là u và v thì phép biến đổi B được thực hiện như sau: Phép biến đổi được thực hiện tương đương với hai việc. Việc thứ nhất là nội suy trên các cạnh AD và BC thu được điểm P và Q. P=(1-v)A +vD Q=(1-v)B +vC Việc tiếp theo là nội suy trên đoạn PQ sử dụng thông số u: B(u,v)=(1-u)P +uQ Hình 5: Phép nội suy Bilinear Hình 5: Phép nội suy Bilinear 833 KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU 3. THUẬT TOÁN NẮN CHỈNH DỰA TRÊN CÁC ĐIỂM ĐIỀU KHIỂN VÀ KỸ THUẬT MORPHING Trong mục này chúng tôi sẽ trình bày thuật toán nắn chỉnh hình học đối tượng 3 chiều dựa trên việc nắn chỉnh cấu trúc khung đối tượng và kỹ thuật Morphing để biểu diễn bề mặt. Đối tượng thu được sau bước nắn chỉnh cấu trúc khung sẽ có hình dáng thỏa mãn một đối tượng không bị biến dạng. Tiếp theo sử dụng kỹ thuật Morphing để hiệu chỉnh bề mặt và cuối cùng là kỹ thuật xóa nhiễu để nâng cao ảnh kết quả. 3.1. Thuật toán nắn chỉnh khung đối tượng Thuật toán nắn chỉnh khung đối tượng gồm các bước cơ bản sau: Bước 1: Lựa chọn các điểm điều khiển Thực tế việc lựa chọn các điểm điều khiển sao cho bảo toàn hình dạng của đối tượng. Vì vậy, các điểm điều khiển được chọn phải nằm trên các đường mà tạo nên khung đối tượng. Số lượng các điểm điều khiển cần chọn phụ thuộc vào độ biến dạng của khung. Nếu độ biến dạng nhỏ thì số điểm điều khiển phải chọn ít và ngược lại. Mặt khác, việc chọn các điểm điều khiển là chỉ ra đường cong biến dạng trên khung đối tượng. Chính vì thế nếu số lượng điểm điều khiển tăng lên thì càng biểu diễn được gần chính xác đường cong đó. Và do đó nắn chỉnh cấu trúc khung đối tượng sẽ chính xác hơn. Bước 2: Tìm hàm nắn chỉnh. Với các điểm điều khiển đã xác định, ta tìm hàm nắn chỉnh F từ phương pháp bình phương tối thiểu đã trình bày ở trên. Khi đó, mỗi Pi sẽ được ánh xạ sang P’i = F(Pi) mà không phải là Qi ta đã chọn. Ảnh thu nhận Khung mẫu Hình 6. Điểm điều khiển đích thay đổi khi đã xác định được hàm F 834 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM *Nhận xét: Trong thực tế, các đối tượng cùng chủng loại thường có cấu trúc hình dạng giống nhau. Vì thế khung mẫu và các điểm điều khiển trên khung mẫu có thể lưu lại làm mẫu (template) sử dụng cho các trường hợp sau này. Khi đó, nếu các đối tượng đầu vào có cùng khung mẫu, ta chỉ việc kích chọn khung mẫu đã có sẵn trong chương trình một lần cho tất cả các đối tượng và thực hiện nắn chỉnh hàng loạt. Vì thế sử dụng template sẽ tăng tốc độ nắn chỉnh và giảm thời gian chọn các điểm điều khiển. 3.2. Thuật toán biểu diễn bề mặt dựa trên kỹ thuật Morphing Công việc tiếp theo sau khi hiệu chỉnh khung đối tượng là hiệu chỉnh bề mặt. Ở đây ta sử dụng thuật toán biểu diễn bề mặt dựa trên kỹ thuật Morphing. Với mỗi vùng ảnh nhận được do chọn các điểm điều khiển để xác định khung đối tượng ở phần 3.1, thực hiện hiệu chỉnh từng phần một cách riêng biệt. Ứng với mỗi phần, tiếp tục chọn thêm một số điểm điều khiển nếu thấy cần thiết. Sau đó thực hiện các bước sau: Bước 1: Ứng với mỗi điểm ảnh M thuộc vùng ảnh đó thực hiện công việc sau: • Tìm 3 điểm điều khiển: Việc tìm 3 điểm này dựa theo một nguyên tắc trong vật lý là: Lực hút giữa hai vật tỉ lệ nghịch với khoảng cách giữa chúng. Dẫn đến trong một số các điểm lân cận của điểm M, điểm nào gần M nhất thì ảnh hưởng của nó tới M sẽ là lớn nhất. Trên cơ sở đó chúng ta tìm 3 điểm thỏa mãn: + Tổng khoảng cách từ 3 điểm này tới M là nhỏ nhất. + M thuộc tam giác tạo bởi 3 điểm này. Gọi 3 điểm vừa tìm được là A, B, C và 3 điểm này tương ứng với 3 điểm A’, B’, C’ ở ảnh đích. • Tìm M’ thuộc tam giác A’ B’C’ tương ứng với điểm M trong tam giác ABC dựa vào phép nội suy tam giác ABC thành tam giác A’ B’C’. • Gán giá trị mầu của M cho M’. 835 KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU Ảnh kết quả cho đến giai đoạn này được thể hiện trong ví dụ dưới đây: Hình 7: Ảnh kết quả sau bước thực hiện kỹ thuật Morphing Hình 7: Ảnh kết quả sau bước thực hiện kỹ thuật Morphing Bước 2: Nâng cao chất lượng ảnh Như vậy, ứng với mỗi điểm của ảnh gốc sẽ tìm được vị trí tương ứng của nó bên ảnh đích. Sau khi điều này được thực hiện với tất cả các điểm cần xét ở ảnh gốc thì ảnh đích thu được về cơ bản đã được nắn chỉnh nhưng có nhiều điểm trong ảnh đích chưa có điểm nào từ ảnh gốc ánh xạ sang nên các điểm đó vẫn mang mầu nền (xem hình trên 7). Những điểm ở ảnh đích mà không có điểm ảnh ở ảnh gốc ánh xạ sang gọi là những lỗ hổng. Vì thế phải sử dụng các kỹ thuật lấp lỗ hổng để làm trơn ảnh. Khi đó, quá trình tái tạo một đối tượng 3 chiều hoàn tất và cho kết quả như hình dưới. Hình 8: Ảnh kết quả của quá trình nắn chỉnh 836 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM 3.3. Thuật toán nắn chỉnh hình học đối tượng 3 chiều Thuật toán nắn chỉnh hình học đối tượng 3 chiều dựa vào các điểm điều khiển và kỹ thuật Morphing biểu diễn bề mặt CorrectOBJECT thực hiện thông qua 2 pha chính: Pha 1: Nắn chỉnh cấu trúc khung hình học của đối tượng. Bước 1: Lựa chọn các điểm điều khiển. Bước 2: Tìm hàm nắn chỉnh. Pha 2: Biểu diễn bề mặt dựa trên kỹ thuật Morphing. Bước 1: Nội suy từng điểm ảnh trên từng mặt. Bước 2: Nâng cao chất lượng ảnh. *Mệnh đề 3.1: Thuật toán CorrectOBJECT là dừng và cho kết quả đúng. Chứng minh: - Tính dừng: Pha 1 không có vòng lặp nên sẽ dừng. Pha 2 có bước 1 được thực hiện với từng điểm ảnh, vì số lượng điểm ảnh của một đối tượng là hữu hạn nên thuật toán sẽ kết thúc khi duyệt hết các điểm ảnh. - Tính đúng đắn: Thuật toán nắn chỉnh này dựa trên cơ sở cấu tạo vật lý của một đối tượng 3 chiều nói chung bao gồm “khung” và “bề mặt”. Vì thế muốn nắn chỉnh đối tượng phải thực hiện từng giai đoạn đối với từng bộ phận của đối tượng. Thuật toán nắn chỉnh đề xuất ở đây đã tuân thủ đúng quy tắc này. Cụ thể: pha 1 có tác dụng nắn chỉnh cấu trúc khung, pha 2 có tác dụng hiệu chỉnh lại bề mặt. Vì thế thuật toán đã xử lý được vấn đề tái tạo đối tượng 3 chiều đã đề ra. 4. ỨNG DỤNG Chúng tôi đã cài đặt thử nghiệm thuật toán đề xuất cho các đối tượng là sách của Trung tâm Thông tin – Thư viện. Trong hình 9a) thể hiện ảnh thu nhận, 9b) là mẫu, 9c) ảnh thu được sau bước nắn chỉnh cấu trúc hình học, 9d) là ảnh sau bước sử dụng kỹ thuật Morphing, 9e) ảnh sau khi nâng cao chất lượng. 837 KỸ THUẬT NÂNG CAO CHẤT LƯỢNG HÌNH ẢNH BÌA SÁCH TRONG SỐ HÓA TÀI LIỆU Kết quả thực nghiệm cho thấy chương trình đã xử lý khá tốt đối với các đối tượng sách với yêu cầu đầu ra có kích thước như nhau để giới thiệu tới bạn đọc. a) b) c) d) e) Hình 9: Ảnh thu nhận và kết quả qua các bước Hình 9: Ảnh thu nhận và kết quả qua các bước 838 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM 5. KẾT LUẬN Ảnh thu nhận trong máy tính thường bị biến dạng bởi các thiết bị điện tử và quang học, đặc biệt là đối với ảnh 3 chiều. Bài viết này đề xuất việc hiệu chỉnh đối tượng 3 chiều sau quá trình thu nhận bởi 2 pha: Nắn chỉnh cấu trúc hình học của đối tượng và biểu diễn bề mặt dựa trên kỹ thuật Morphing. Để nâng cao chất lượng, báo cáo cũng đề cập đến việc sử dụng các kỹ thuật xóa nhiễu đặc biệt là các lỗ hổng sau quá trình áp dụng thuật toán. Thuật toán CorrectOBJECT được đề xuất cài đặt thử nghiệm tại Trung tâm Thông tin – Thư viện và đã áp dụng khá tốt đối với một hình ảnh sách cần được hiệu chỉnh để giới thiệu đến toàn thể bạn đọc Đại học Quốc gia Hà Nội. Hi vọng với bước tiến mới này, những hình ảnh chân thực nhất về tài liệu số trong môi trường tri thức số tương lai sẽ được phục vụ một cách tốt nhất cho người dùng tin hiện nay. TÀI LIỆU THAM KHẢO 1. H. Johan, Y.Koiso, T. Nishita (2000), “Morphing using Curve and Shape Interpolation Techniques”, Dept of Information Science Technical Report, p.53-62, University of Tokyo, 2000 2. N. Fish, R. Zhang, L. Perry (2020), “Image Morphing With Perceptual Constraints and STN Alignment”, Major Revision From Eurographics Conference, 2020 3. Alexander Tereshin, Valery Adzhiev, Oleg Fryazinov (2020), “Automatically Controlled Morphing of 2D Shapes with Textures”, SIAM Journal on Imaging Sciences, 2020, Vol. 13, No. 1 : pp. 78-107 4. Beena Biswas, Dr. Vaibhav Sharma, (2020), “A Case Study on Image Morphing Through Data Hiding Technique”, International Journal of Engineering and Computer Science, 2020 | Page No.: 24925-24933 5. G.Wolberg (1998),”Image Morphing: A survey”, Visual Computer, p.360- 372, 1998 6. Lương Mạnh Bá, Nguyễn Thanh Thuỷ, Nhập môn xử lý ảnh. NXB KH&KT, 1999 7. Đặng Văn Đức, Hệ thống thông tin địa lý. NXB KH&KT, 2001.