Dữ liệu 3D, thực tại ảo trong phát triển mô hình trung tâm tri thức số cho các thư viện Việt Nam

DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Đỗ Năng Toàn1* - Vũ Thị Kim Anh** Tóm tắt: Sự phát triển của công nghệ thông tin, kể cả phần cứng và phần mềm đã đẩy mạnh nhiều lĩnh vực phát triển, trong đó có công nghệ 3D và thực tại ảo. Các công nghệ này được xem như là công nghệ chủ chốt trong cuộc cách mạng 4.0. Trong bối cảnh đó, việc hình thành và xây dựng dữ liệu thực tại ảo là một việc làm cần thiết trong các mô hình Trung tâm Tri thức số cho các thư viện nhất là trong điều kiện Việt Nam. Báo cáo này đề cập đến quy trình xây dựng dữ liệu 3D, thực tại ảo một số vấn đề cơ bản trong trong công nghệ 3D, thực tại ảo tại Trung tâm Thông tin thư viện – ĐHQG Hà Nội. Từ khóa: Dữ liệu 3D; Công nghệ 3D; Thực tại ảo. 1. GIỚI THIỆU Theo cách truyền thống, việc tương tác với máy tính được thực hiện thông qua các thiết bị như bàn phím, chuột hay joystick/trackball để cung cấp thông tin đầu vào và sử dụng khối hiển thị trực quan (Visual Devices Unit) để nhận thông tin đầu ra từ hệ thống. Với sự ra đời của các hệ thống Thực tại ảo (Virtual Reality-VR), các phương thức giao tiếp mới được phát triển cho phép người sử dụng tương tác một cách tích cực với máy tính. Có nhiều khái niệm "Thực tại ảo": Theo John Briggs-The Futurist, Thực tại ảo là một không gian ba chiều được máy tính mô phỏng * Phó Giáo sư, Tiến sĩ, Trung tâm Thông tin - Thư viện, Đại học Quốc gia Hà Nội. ** Thạc sĩ, Trung tâm Thông tin - Thư viện, Đại học Quốc gia Hà Nội. 147 DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM và con người có thể chuyển động, tương tác trong môi trường đó. (Virtual Reality — a three dimensional, computer generated simulation in which one can navigate around, interact with, and be immersed in another environment (John Briggs - The Futurist). Còn theo Steve Bryson-NASA Ames thì thực tại ảo là công nghệ sử dụng máy tính để tạo ra những hiệu ứng tương tác giữa các đối tượng hiện hữu trong thế giới ba chiều (Virtual Reality — the use of computer technology to create the effect of an interactive three-dimensional world in which the objects have a sense of spatial presence. (Steve Bryson - NASA Ames)). Thực tại ảo còn được hiểu là công nghệ sử dụng các kỹ thuật mô hình hoá không gian ba chiều với sự hỗ trợ của các thiết bị đa phương tiện hiện đại để xây dựng một thế giới mô phỏng bằng máy tính – môi trường ảo (virtual environment). Trong thế giới ảo này, người sử dụng không còn được xem như người quan sát bên ngoài, mà đã thực sự trở thành một phần của hệ thống. Một cách lý tưởng, người sử dụng có thể tự do chuyển động trong không gian ba chiều, tương tác với các vật thể ảo, quan sát và khảo cứu thế giới ảo ở những góc độ khác nhau về mặt không gian. Ngược lại, môi trường ảo lại có những phản ứng tương ứng với mỗi hành động của người sử dụng, tác động vào các giác quan như thị giác, thính giác, xúc giác của người sử dụng trong thời gian thực và tuân theo những quy tắc vật lý rất tự nhiên, làm anh ta có cảm giác như đang tồn tại trong một thế giới thực. Phần tiếp theo sẽ trình bày một số thiết bị phần cứng, phần mềm cơ bản của hệ thống thực tại ảo. Tiếp nữa là quy trình hình thành dữ liệu 3D, thực tại ảo và một số vấn đề cần thiết trong việc phát triển một hệ thống thực tại ảo. Phần 4 trình bày một số dữ liệu 3D thực tại ảo đã và đang được thực hiện tại Trung tâm thông tin Thư viện, ĐHQG Hà Nội. Cuối cùng là kết luận về vấn đề đa dạng dữ liệu trong mô hình Trung tâm Tri thức số cho các thư viện. 2. CÁC THÀNH PHẦN CƠ BẢN CỦA MỘT HỆ THỐNG THỰC TẠI ẢO Cũng giống như một hệ thống xử lý thông tin hình ảnh thông thường. Một hệ thống thực tại ảo cũng gồm hai phần chính là phần 148 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM cứng (thiết bị) và phần mềm (ngôn ngữ mô hình hóa, ngôn ngữ lập trình, phần mềm hỗ trợ, Trên cơ sở phần cứng và phần mềm, một hệ thống thực tại ảo có 6 thành tố cơ bản với các mối quan hệ được mô tả trong hình 1 dưới đây: Hình 1: Các thành phần cơ bản của một hệ thống thực tại ảo 2.1. Phần cứng Các hệ thống thực tại ảo phải xử lý một khối lượng lớn thông tin (đa phần là các thông tin của các đối tượng 3D do đó tốn bộ nhớ và đòi hỏi thời gian xử lý là thời gian thực), vì thế nó đòi hỏi một lượng tài nguyên bộ nhớ RAM lớn và bộ xử lý cùng các thiết bị vào ra có tốc độ cao. Vì vậy mặc dù bắt đầu nghiên cứu từ khá lâu, xong trong một số năm gần đây thực tại ảo mới có được sự phát triển và mở rộng ứng dụng đáng kể. Các thiết bị ngoại vi sử dụng trong lĩnh vực thực tại ảo ngày càng hiện đại, và đa dạng. Ta có thể chia các thiết bị ngoại vi thành hai nhóm chính: nhóm thiết bị trợ giúp xây dựng mô hình và hệ thống trình chiếu. 149 DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Hình 2: Một số dạng hiển thị (Nguồn: 2.2. Phần mềm 2.2.1. Phần mềm trợ giúp thiết kế mô hình Như đã giới thiệu trong phần cứng, thiết bị trợ giúp thiết kế mô hình chủ yếu là máy quét ba chiều. Đi kèm với thiết bị này, có phần mềm tương ứng để trợ giúp điều khiển. Trong phạm vi tài liệu này, chúng tôi đề cập tới phần mềm đi kèm theo máy quét QTSculptor. Tuy nhiên, trên thực tế không phải bất kỳ mô hình, đối tượng nào cũng có thể đưa vào máy quét. Số lượng đối tượng cần được tạo lập mà không sử dụng đến máy quét là rất nhiều: ví dụ như các vật thể cần được tái tạo, mô hình kiến trúcVới các đối tượng này ta cần có phần mềm chuyên dụng để thiết kế. Hiện tại có nhiều phần mềm trợ giúp quá trình thiết kế mô hình và tạo lập đối tượng ba chiều như Maya, 3ds- Max, Cinema4d Ở Việt Nam, hai phần mềm chính được sử dụng là Maya và 3DsMax. 2.2.2. Phần mềm trợ giúp lập trình, điều khiển trong môi trường ảo Để có thể tạo lập được sự tương quan trong chuyển động giữa các đối tượng trong môi trường cũng như thiết lập được ảnh hưởng của môi trường lên vật thể, ta cần sử dụng tới các công cụ phần mềm trợ giúp lập trình và điều khiển trong môi trường ảo. Một trong những ngôn ngữ lập trình ở mức thấp thường được sử dụng là OpenGL. 150 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Bên cạnh OpenGL còn có nhiều phần mềm khác trợ giúp quá trình điều khiển trong môi trường ảo. Các công cụ này còn được gọi là Toolkit. Một bộ Toolkit được coi là một thư viện mở cho việc thiết kế các chức năng của các đối tượng thực tại ảo. Trong đó các đối tượng được thiết kế được xem như là thành phần của các lớp khiến cho quá trình lập trình trở nên đơn giản hơn. 2.3. Ngôn ngữ thực tại ảo Hiện nay thực tại ảo đã được sử dụng rộng rãi, các ứng dụng trên mạng của nó ngày càng nhiều do đó tổ chức W3C đưa ra một mô hình chuẩn trên mạng cho thực tại ảo đó là mô hình VRML (Virtual Reality Modeling Language). 3. MỘT SỐ VẤN ĐỀ CƠ BẢN TRONG PHÁT TRIỂN MỘT HỆ THỐNG THỰC TẠI ẢO 3.1. Quy trình hình thành dữ liệu đa phương tiện và dữ liệu thực tại ảo Việc tạo mô hình 3 chiều thường thông qua máy quét 3 chiều hoặc các phần mềm chuyên dụng. Hai phần mềm chuyên dụng phổ biến hiện nay trên thế giới là Maya và 3DS Max. Mỗi phần mềm có thế mạnh riêng, trong đó 3Ds max được người sử dụng Việt Nam biết đến nhiều hơn thông qua lĩnh vực kiến trúc, xây dựng. Dữ liệu đa phương tiện và dữ liệu thực tại ảo là thành phần quan trọng trong một hệ thống VR. Hình 3 là sơ đồ tổng quát cho một quy trình hình thành dữ liệu đa phương tiện và dữ liệu thực tại ảo. Các bước xây dựng được dữ liệu đa phương tiện và dữ liệu thực tại ảo bao gồm: Thu nhận, là bước sử dụng các thiết bị phần cứng thu nhận trực tiếp hình ảnh hay số đo về đối tượng thông qua máy ảnh, máy quay số hoặc các thiết bị đo. Sử dụng phần mềm chuyên dụng, để chỉnh sửa mô hình theo các phương pháp biểu diễn mô hình và các kỹ thuật tạo mô hình cho phép. Export mô hình, do các phần mềm chuyên dụng thường để kết quả ở dạng Internal format (định dạng trong) hoặc kiết xuất ra phim (MOV, AVI...) trong khi các hệ thống thực tại lại cần ở dạng dữ liệu 151 DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM có thể đọc được và tương tác trong một hệ thống tổng thể. Các dạng format được Export thông thường là VRML. Đơn giản hóa, là bước nhằm giảm thiểu kích thước mô hình trong điều kiện chấp nhận được. Việc xây dựng mô hình đơn lẻ với kích thước lớn có thể chấp nhận được trong một vài trường hợp, nhưng trong một hệ thống thực tại ảo bao gồm rất nhiều mô hình, có tương tác với người sử dụng và tương tác với nhau trong hệ thống, nên đòi hỏi phải gọn nhẹ đến mức có thể. Trong hình 3 dưới đây chúng tôi cũng chỉ ra một phần mềm do chúng tôi phát triển trong bộ công cụ là phần mềm VRSimplification 1.0. Hình 3. Sơ đồ tổng quát của một quy trình hình thành dữ liệu thực tại ảo 3.2. Hiển thị và điều khiển Từ trước tới nay, để tạo cảm giác thực khi quan sát ảnh, người ta vẫn hay dùng một số kỹ thuật như chiếu phối cảnh đối tượng, hay tạo bóng của đối tượng, Tuy nhiên, tất các các kỹ thuật đó chỉ làm cho con người có cảm giác dường như cảnh đang xem là thực, con người vẫn không thể cảm nhận được chiều thứ ba của đối tượng. Hiển thị ba chiều hay còn gọi là hiển thị stereo là một kỹ thuật biểu diễn một đối tượng trong thế giới ba chiều lên mặt phẳng hai chiều làm cho con người vẫn cảm nhận được chiều thứ ba của nó. Thông thường, để quan sát được các hình ảnh stereo cần phải có các thiết bị phần cứng hỗ trợ như: card màn hình hỗ trợ stereo, kính quan sát stereo, thiết bị Emitter truyền tín hiệu từ card màn hình đến kính quan sát. Con người có khả năng cảm nhận được chiều thứ 3 của đối tượng là vì chúng ta có hai mắt để quan sát đối tượng (binocular vision). Do vị trí của hai mắt là khác nhau nên khi quan sát đối tượng sẽ tạo ra hai hình ảnh của chính đối tượng nhưng chúng bị lệch nhau một góc rất nhỏ, tức là ở mỗi vị trí ta đã quan sát được hai góc độ khác nhau của đối tượng. Có thể 152 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM dễ dàng kiểm chứng tín hiệu binocular vision của chúng ta bằng ví dụ đơn giản sau: đặt bàn tay của bạn ở trước mắt 30 cm, sau đó lần lượt nhắm mỗi mắt lại, kết quả bạn sẽ thấy bàn tay nhảy từ bên trái qua bên phải. Hình 4: Quá trình thu nhận ảnh của con người Như vậy, khi chúng ta quan sát một đối tượng bằng hai mắt thì thực tế là chúng ta đang quan sát được hai hình ảnh của đối tượng (với sự chênh lệch rất nhỏ mà chúng ta không nhận ra), hai hình ảnh này sẽ được gửi đến não và bộ não sẽ tổ hợp chúng lại để tạo ra một đối tượng ba chiều (hình 4). Sự khác nhau về vị trí giữa các điểm nhìn của hai mắt gọi là binocu- lar disparity hay còn gọi là eye seperation. Binocular disparity là dạng tín hiệu được bộ não hay sử dụng nhất để cảm nhận độ sâu của đối tượng bởi vì việc tổ hợp hai hình ảnh được bộ não thực hiện rất đơn giản. Vậy khi nhắm một mắt lại, con người có thể cảm nhận được độ sâu của đối tượng hay không? Khi nhắm một mắt lại, con người vẫn có thể cảm nhận được độ sâu của đối tượng bằng cách cho đầu chuyển động, khi đầu chuyển động sẽ quan sát được các góc độ khác nhau của đối tượng, một dãy liên tiếp những hình ảnh này (được tạo bởi một mắt) sẽ được gửi đến não, bộ não sẽ tổ hợp chúng để tạo ra chiều thứ ba của đối tượng. Bắt chước quá trình thu nhận ảnh của con người, người ta tạo ra hình ảnh 3 chiều bằng nguyên lý sau: Thứ nhất, với mỗi đối tượng sẽ tạo ra hai hình ảnh của nó bằng cách dùng hai camera để chiếu nó lên mặt phẳng chiếu, hai hình ảnh này sẽ lệch nhau một góc rất nhỏ (hình 5). Sau đó, người xem sẽ đeo kính stereo để quan sát các hình ảnh đó. Kính sẽ lọc các hình ảnh để mỗi mắt chỉ nhìn được một hình ảnh tương ứng. 153 DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Hình 5: Dùng hai camera để tạo ra hai hình ảnh của đối tượng 4. MỘT SỐ DỮ LIỆU 3D, THỰC TẠI ẢO ĐÃ VÀ ĐANG PHÁT TRIỂN TẠI TRUNG TÂM THÔNG TIN THƯ VIỆN - ĐHQG HÀ NỘI Với các kỹ thuật được tìm hiểu và nghiên cứu được trình bày trong mục 3, chúng tôi đã xây dựng được một bộ VR Core, có khả năng hoạt động với ngôn ngữ mô hình hóa biến thể trên nền tảng ngôn ngữ mô hình hóa VRML 2.0, hiển thị, điều khiển và tương tác với dữ liệu 3D trong cả hai chế độ mono và stereo, âm thanh 3D cũng đã được tích hợp trong hệ thống này. Từ VR Core, chúng ta có thể xây dựng các phần mềm ứng dụng và với mỗi phần mềm ứng dụng, dữ liệu sẽ được xây dựng trên cơ sở quy trình công nghệ được trình bày trong mục 3, dưới đây là một số dữ liệu 3D, thực tại ảo đã được chúng tôi xây dựng để đáp ứng nhu cầu học tập trong ĐHQG Hà Nội: Hình 6: Văn Miếu Quốc Tử Giám được sử dụng trong bài giảng về Nho học của Trường Đại học KHXH&NV - ĐHQG Hà Nội 154 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Hình 7: Bảo tàng ảo nhân học bên ngoài Hình 8: Một số gian trưng bày của Bảo tàng ảo nhân học Hình 9: Một số hình ảnh của Phòng Truyền thống ĐHQG Hà Nội ảo KẾT LUẬN Sự phát triển không ngừng của sức mạnh máy tính đã làm cho một số lĩnh vực khó phát triển trước kia nay đã có khả năng phát triển và đã đạt được những thành tựu đáng kể. Chúng ta có thể kể đến các lĩnh vực như: các hệ chuyên gia, các hệ xử lý thời gian thực v.v. Một lĩnh vực 155 DỮ LIỆU 3D, THỰC TẠI ẢO TRONG PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM khác cần phải kể đến đó là thực tại ảo (Virtual Reality). Thực tại ảo là một môi trường ba chiều được phát sinh, tổng hợp và điều khiển thông qua máy vi tính nhằm mục đích mô phỏng lại thế giới thực hoặc một thế giới theo tưởng tượng của con người. Nó cho phép người dùng thông qua các thiết bị ngoại vi tương tác với các sự vật, hiện tượng của thế giới ảo mà như tương tác với các sự vật, hiện tượng của thế giới thực. Khuynh hướng phát triển của các thư viện số tiến tới Trung tâm Tri thức số, đáp ứng nhu cầu học tập không ngừng nâng cao của các trường đại học là một thực tế tất yếu. Việc phát triển các loại hình dữ liệu trong đó có dữ liệu 3D, thực tại ảo trong các Trung tâm Tri thức số là sự cần thiết trong định hướng phát triển của Trung tâm Thông tin thư viện - ĐHQG Hà Nội. TÀI LIỆU THAM KHẢO 1. Hà Mạnh Toàn, Đỗ Năng Toàn, Trịnh Hiền Anh (2017), “Một kỹ thuật chèn đối tượng ảo trong quảng cáo trực tuyến”, Kỷ yếu Hội nghị Quốc gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin – FAIR”, Đà Nẵng, 17- 18/8/2017, tr. 511-515. 2. Lê Sơn Thái, Đỗ Năng Toàn, Mã Văn Thu, Nguyễn Thị Bích Điệp (2017), “Một kỹ thuật điều khiển động tác của con người trong thực tại ảo ứng dụng diễn hoạ ngôn ngữ ký hiệu Việt Nam”, Kỷ yếu Hội nghị quốc gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin – FAIR”, Đà Nẵng, tr. 17-18/8/2017, tr. 516-525. 3. Mã Văn Thu, Đỗ Năng Toàn, Lê Sơn Thái, Đỗ Hồng Quân (2017), “Một kỹ thuật rút gọn bề mặt lưới mô hình 3D trong các ứng dụng của thực tại ảo”, Kỷ yếu Hội nghị quốc gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin – FAIR”, Đà Nẵng, 17-18/8/2017, tr. 526-534. 4. Nong Minh Ngoc, Do Nang Toan (2017), A Collision Avoidance Algo- rithm Based on Elastic Strips Using Bounding Volume (BV), Proceedings of the International conference of Science, Engineering and technology, Kuala Lumpur, Malaysia, Aug 24-25, 2017, pp. 2280-2284. 5. Do Nang Toan, Huynh Cao Tuan, Ha Manh Toan (2018), “A novel selection model of random features for the estimation of facial expression”, Interna- tional journal of Advanced and applied sciences, Volume 5, Issue 6, pp. 56-60. 156 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM 6. Huỳnh Cao Tuấn, Đỗ Năng Toàn, Hà Mạnh Toàn (2018), “Một tiếp cận xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng mô hình”, Kỷ yếu Hội nghị quốc gia “Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin – FAIR”, Hà Nội, 9-10/8/2018. 7. The-Anh Pham, Nang-Toan Do (2019), “Embedding hierarchical cluster- ing in product quantization for feature indexing”, Multimedia Tools and Applications An International Journal, ISSN 1380-7501, Volume 78, Number 8, pp 9991–10012, https://doi.org/10.1007/s11042-018-6626-9. 8. Huynh Cao Tuan, Do Nang Toan, Lam Thanh Hien, Thanh-Lam Nguyen (2019), “An innovative approach to automatically identify control point set for model deformation rectification”, International journal of Advanced and applied sciences, Volume 6, Issue 8, pp. 45-52. 9. Đề tài cấp Viện Hàn lâm KH&CN Việt Nam (2007), Ứng dụng công nghệ thực tại ảo (Virtual Reality-VR) trong bảo tàng các di sản. 10. Đề tài cấp Viện Hàn lâm KH&CN Việt Nam (2012), Nghiên cứu, phát triển hệ thống mô phỏng các bộ phận chính của cơ thể con người phục vụ cho việc giảng dạy và tra cứu. 11. Đề tài cấp Bộ Giáo dục và Đào tạo (2017), Nghiên cứu, phát triển hệ thống Atlas giải phẫu 3D bộ xương người dựa trên kỹ thuật gán nhãn tự động. 12. Đề tài cấp Bộ Giáo dục và Đào tạo (2020), Mô phỏng sự ảnh hưởng của môi trường lên biểu diễn bề mặt của đối tượng ba chiều trong trưng bày ảo.