Ứng dụng kỹ thuật định danh từ dữ liệu video vào việc nhận dạng con người, hành động và địa điểm xuất hiện

Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX ―Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR'9)‖; Cần Thơ, ngày 4-5/8/2016 DOI: 10.15625/vap.2016.00096 ỨNG DỤNG KỸ THUẬT ĐỊNH DANH TỪ DỮ LIỆU VIDEO VÀO VIỆC NHẬN DẠNG CON NGƯỜI, HÀNH ĐỘNG VÀ ĐỊA ĐIỂM XUẤT HIỆN Phạm Thế Phi 1, Đỗ Thanh Nghị 1 1 Khoa Công nghệ thông tin và Truyền thông, Trường Đại học Cần Thơ ptphi@cit.ctu.edu.vn, dtnghi@cit.ctu.edu.vn TÓM TẮT— Bài viết này đề xuất một phương pháp mới để truy hồi video với các chú thích nội dung bằng văn bản không hoàn chỉnh. Ý tưởng chính là việc sử dụng cơ chế suy diễn Bayes để dự đoán định danh của con người, hành động và địa điểm họ xuất hiện trong các khung hình video. Một vài mô hình truy hồi video với khả năng tích hợp các chứng cứ xuất hiện của ảnh và văn bản không hoàn chỉnh được đề xuất và so sánh. Trong các thí nghiệm, bài viết sử dụng các tập của bộ phim truyền hình Buffy the Vampire Slayer làm các tập dữ liệu huấn luyện và kiểm thử. Mô hình mạng Bayes được đề xuất có khả năng cho phép kết hợp nhiều thuộc tính của video như hình ảnh và văn bản, xử lý các câu truy vấn trong đó có nhiều thực thể có quan hệ ngữ nghĩa với nhau và quan trọng nhất là có khả năng suy luận ra các thực thể nếu chúng không được nhắc tới trong văn bản nhưng lại xuất hiện trong các khung hình. Từ khóa— Khai thác dữ liệu đa phương tiện, lập chỉ mục và truy hồi video. I. GIỚI THIỆU Web đang ngày càng trở thành một nguồn thông tin sống còn với khả năng thoả mãn hầu như mọi nhu cầu tra cứu thông tin của con người. Các bộ máy tìm kiếm Web, đến lượt mình, trở thành công cụ trích lọc phải có nhằm giúp cho người dùng thu hẹp phạm vi tìm kiếm trong một biển thông tin, để cuối cùng có được vài thông tin mà họ thực sự cần. Các bộ máy tìm kiếm có lịch sử phát triển lâu đời dựa trên nhiều kết quả nghiên cứu thành công trong các lĩnh vực lập chỉ mục và truy hồi thông tin (information indexing and retrieval). Lập chỉ mục và truy hồi thông tin dạng văn bản là một ví dụ điển hình. Kỹ thuật này so khớp câu truy vấn của người dùng không chỉ với siêu dữ liệu (metadata) dùng để mô tả tài liệu (trên Web thường là thiếu hoặc không hoàn chỉnh) mà còn với chính nội dung bên trong tài liệu đó. Các kỹ thuật lập chỉ mục và truy hồi thông tin hiện đại thường đạt đến mức rút trích và trình bày thông tin theo ngữ nghĩa (semantics extraction and representation). Kỹ thuật này tập trung vào việc so khớp câu truy vấn và tài liệu theo ngữ nghĩa. Đây rõ ràng là một thành tựu quan trọng vì hệ thống có thể hiểu được ý nghĩa thực sự đằng sau câu truy vấn của người dùng và sau đó trả về cho người dùng các tài liệu có ý nghĩa tương đồng mà rất có thể họ sẽ cảm thấy thoả mãn. Với sự phổ biến nhanh chóng của truyền thông đại chúng, nhu cầu thông tin của người dùng không còn giới hạn ở các văn bản thuần tuý mà mở rộng ra đến hình ảnh, âm thanh, video, thông tin y sinh,... Rất nhiều nhà nghiên cứu nắm bắt xu hướng này đã và đang nỗ lực không ngừng để xây dựng các hệ thống truy hồi thông tin đa phương tiện nhằm thỏa mãn nhu cầu tìm hiểu thông tin đa phương tiện của người dùng. Xử lý thông tin đa phương tiện hướng nội dung thực sự khó hơn nhiều so với thuần tuý xử lý văn bản. Thứ nhất, cần nhiều nỗ lực để rút trích các đặc trưng quan trọng của dữ liệu đa phương tiện. Thứ hai, những đặc trưng này thường không tương ứng với trực giác của con người vì chúng thường là các đặc trưng thô thể hiện dữ liệu ở mức thấp mà chứa đựng rất ít ngữ nghĩa. Thứ ba, số lượng cũng như các mối liên hệ giữa các khái niệm mang tính ngữ nghĩa sẽ khác nhau tuỳ vào các nguồn dữ liệu, vì vậy làm sao để chọn ra các khái niệm mang tính ngữ nghĩa vừa đủ và vừa có ý nghĩa để trình bày cho người dùng là một thử thách lớn. Những thách thức nói trên thường được đề cập đến như là khoảng trống về ngữ nghĩa (semantic gap) giữa nội dung ở mức thấp và các khái niệm mức cao. Câu hỏi đặt ra là làm sao để lấp đầy khoảng trống ngữ nghĩa này? Các nỗ lực ban đầu là nhằm vòng tránh không giải quyết trực tiếp vấn đề mà chỉ đơn thuần chuyển đổi thể hiện câu truy vấn ở mức thấp hơn. Ví dụ, một số hệ thống truy hồi video sử dụng cơ chế “truy vấn qua ví dụ” (query by example). Tuy nhiên, với câu truy vấn tương đối phức tạp như “Buffy is fighting in the graveyard”, rất khó để tìm ra tấm ảnh ví dụ tương ứng trong cơ sở dữ liệu hiện có để có thể rút trích ra những đặc trưng cấp thấp nhằm phản ánh toàn bộ tập các khái niệm “Buffy”, “fighting” và “graveyard”. Một cơ chế xử lý thông dụng khác là sử dụng các câu truy vấn dạng văn bản. Với cách này, việc nắm bắt ngữ nghĩa là dễ dàng hơn đối với câu truy vấn. Tuy nhiên, chúng ta cũng phải rút trích ra các ý nghĩa từ các phương tiện khác với văn bản, ánh xạ chúng tới các ngữ nghĩa từ câu truy vấn và trả về cho người dùng. Phương tiện âm thanh trong video có thể được chuyển đổi thành văn bản để làm giàu thêm thông tin cho nguồn văn bản, nhưng đối với dữ liệu hình ảnh thì vấn đề vẫn đang được nghiên cứu. Vấn đề còn lại là làm sao để ánh xạ từ các đặc trưng cấp thấp sang các ngữ nghĩa cấp cao? Giải pháp được áp dụng phổ biến trong thực tiễn là sử dụng việc chú thích bằng tay (bởi nhân viên lưu trữ hoặc sử dụng các dịch vụ gán nhãn trực tuyến bởi con người, chẳng hạn dịch vụ Amazon Mechanical Turk1). Tuy nhiên, với quy mô của vấn đề, chú thích bằng tay không phải là lựa chọn thích hợp. Vì thế, sẽ hợp lý hơn nếu các kỹ thuật máy học được áp dụng để giải quyết bài toán 1 Phạm Thế Phi, Đỗ Thanh Nghị 781 mà ở đó các tiến trình học có thể là có giám sát một phần hoặc không có giám sát. Các kỹ thuật có giám sát một phần thực hiện việc rút trích đặc trưng của dữ liệu ảnh một cách tự động, định nhãn bằng tay một phần dữ liệu và gán nhãn tự động phần còn lại của dữ liệu dựa trên sự tương đồng của các đặc trưng cấp thấp. Các kỹ thuật không giám sát thực hiện tự động tất cả các thủ tục rút trích đặc trưng cấp thấp và các ngữ nghĩa cấp cao, liên kết chúng lại dựa trên các kiểu mẫu được phát hiện trong toàn bộ dữ liệu. Hoạt động nghiên cứu các kỹ thuật máy học này đang tiến triển và thực sự cần nhiều hơn nữa các đóng góp, cải tiến để có thể được áp dụng rộng rãi. Bài viết này sẽ thảo luận một số đóng góp vào hướng nghiên cứu này. Cụ thể là chúng tôi muốn khám phá sự đồng xuất hiện của dữ liệu văn bản và hình ảnh để xây dựng các mô hình có thể lấp đầy khoảng trống ngữ nghĩa giữa các đặc trưng cấp thấp và các ngữ nghĩa mức cao. Ở đây chúng tôi sẽ tập trung vào nghiên cứu các hệ thống truy hồi video. Các hệ thống truy hồi video hiện tại thường dựa vào các chú thích bằng tay của các video tương ứng. Việc có được các chú thích này thường được tổ chức thông qua các hoạt động gán nhán dựa trên số đông người đóng góp. Tuy nhiên, trong một số trường hợp, các chú thích được thêm vào vì lý do yêu thích cá nhân. Với dữ liệu video mà chúng tôi sử dụng trong bài viết này (các tập phim truyền hình “Buffy the Vampire Slayer” [1]), người hâm mộ đã thêm vào các mô tả theo dạng văn bản ngôn ngữ tự nhiên nhằm kể lại những gì đang diễn ra trong video. Những mô tả này rất không hoàn thiện vì rất nhiều khung hình không có mô tả hoặc các mô tả có được chỉ thể hiện một phần nội dung của một khung hình video (ví dụ như con người và hành động của họ được mô tả, nhưng địa điểm xuất hiện lại không có). Thêm nữa, các mốc thời gian chỉ đạt được sự trùng khớp tương đối. Trong bối cảnh này, các phương pháp truy hồi video dựa theo nội dung có xem xét cả nội dung ảnh và các mô tả bằng văn bản tương ứng là có giá trị vì chúng có khả năng cải thiện độ chính xác khi truy vấn cũng như cung cấp cái nhìn rõ ràng hơn bên trong các tập dữ liệu video [2]. Lý do là vì các phương pháp truy hồi thông tin hướng nội dung có nhiều khả năng có thể tóm tắt nội dung của phương tiện chứa thông tin thành các mệnh đề mô tả súc tích và phân lớp các mô tả này. Nghiên cứu của chúng tôi tập trung vào việc truy vấn các video về Buffy với các khái niệm ngữ nghĩa như con người, hành động của họ và địa điểm mà họ xuất hiện (ví dụ: Buffy is fighting in the graveyard). Để có thể truy hồi được các khung hình tương ứng, lý tưởng nhất là mỗi khung hình được chú thích một cách chi tiết và đầy đủ như ở ví dụ trên. Ở đây chúng tôi sẽ trình bày một mô hình dùng để chú thích nội dung các khung hình một phần dựa trên một số nhận dạng thông tin không chắc chắn từ các nguồn văn bản, các khung hình và một số thông tin so khớp không chắc chắn của chúng, từ đó sử dụng mạng Bayes để suy diễn ra các mối liên hệ còn thiếu, lấp đầy khoảng trống ngữ nghĩa. Các phương pháp tích hợp chứng cứ này có khả năng tích hợp tốt vào các mô hình truy hồi thông tin dựa theo xác suất. Chúng tôi đề xuất ba mô hình truy hồi thông tin. Mô hình truy hồi cơ sở đầu tiên (gọi là Unigram Language Model) truy hồi các khung hình video chỉ dựa trên các chú thích bằng văn bản hiện có nhưng không hoàn chỉnh. Mô hình thứ hai (gọi là Unimodal Entity- Relation Model) sẽ rút trích tên con người, tên hành động và tên địa điểm từ văn bản, liên kết các tên thực thể thành các bộ dữ liệu quan hệ (relational tuple) và sử dụng các bộ dữ liệu này trong các mô hình truy hồi thông tin hướng nội dung. Mô hình này biểu diễn nội dung của các chú thích của người hâm mộ thành túi các bộ dữ liệu theo một mô thức dữ liệu duy nhất là văn bản. Cuối cùng, ngoài thông tin được rút trích từ văn bản, chúng tôi cũng tích hợp thông tin rút trích từ nội dung các khung hình video để xây dựng mô hình tích hợp nội dung phức tạp hơn. Mô hình thứ ba (Multimodal Entity- Relation Model) tương tự như mô hình dùng túi các bộ nhưng tích hợp các chứng cứ từ nhiều mô thức dữ liệu khác nhau. Tất cả các mô hình suy luận với tri thức chưa chắc chắn được rút ra từ các mô thức dữ liệu với độ phức tạp trải rộng từ các mô hình xác suất hướng nội dung đơn giản đến các mô hình suy luận sử dụng mạng Bayes đầy đủ. Hơn nữa, các mạng Bayes cho phép suy diễn ra các ngữ nghĩa còn thiếu ở các khung hình mà ở đó các chú thích bằng văn bản không đầy đủ. Đóng góp chính của bài viết là mô hình truy hồi khung hình video mới, có thể hoạt động với cả trường hợp các mô tả bằng văn bản là không có hoặc không đầy đủ. Thêm vào đó, chúng tôi so sánh một số mô hình truy hồi thông tin với câu truy vấn theo dạng một bộ các quan hệ (relational, nghĩa là một người thực hiện một hành động nào đó tại một địa điểm nào đó) và việc thể hiện tài liệu để truy vấn là không chắc chắn mở đường cho việc tích hợp chứng cứ có được từ nhiều mô thức dữ liệu khác nhau. Phần còn lại của bài viết được tổ chức như sau. Phần II thảo luận các nghiên cứu có liên quan trong lĩnh vực lập chỉ mục và truy hồi thông tin hướng ngữ nghĩa. Phần III giới thiệu các khái niệm và thuật ngữ được sử dụng xuyên suốt bài báo, sau đó giới thiệu các công việc mà chúng tôi sẽ giải quyết. Phần IV trình bày các cách tiếp cận giải quyết các công việc nêu ở phần III. Phần V mô tả các thiết kế thực nghiệm, các kết quả và các khám phá của chúng tôi. Chúng tôi kết thúc bài viết ở phần VI. II. CÁC NGHIÊN CỨU LIÊN QUAN Việc truy hồi video bằng các từ khoá tìm kiếm có ngữ nghĩa là một trong những thử thách lớn nhất trong lĩnh vực xử lý và quản lý video. Nhiệm vụ quan trọng nhất trong hướng nghiên cứu này là lấp đầy khoảng trống giữa các đặc trưng mức thấp và các khái niệm ngữ nghĩa mức cao. Về nguyên tắc, một hệ thống truy hồi video cần phải làm được các công việc sau: 1) tìm kiếm một mục thông tin cụ thể và 2) duyệt qua và tóm tắt một tập các dữ liệu thông tin [2]. Để có thể tương tác được với người dùng, một hệ thống truy hồi thông tin đa phương tiện cần có một sơ đồ ánh xạ từ các đặc trưng cấp thấp hàm chứa nội dung của các mục thông tin đến các khái niệm hay điều khoản ở mức cao dễ hiểu hơn đối với người dùng. Người ta đề cập đến khái niệm “khoảng trống về ngữ nghĩa” như là sự thiếu tính trùng hợp (coincidence) giữa những thông tin mà người ta rút ra từ dữ liệu hình ảnh và những diễn giải cho chính dữ liệu đó để cung cấp cho người dùng trong một hoàn cảnh cho trước [3]. Hơn nữa, số lượng các khái niệm ngữ nghĩa là rất lớn và đa dạng. Ví dụ 782 ỨNG DỤNG KỸ THUẬT ĐỊNH DANH TỪ DỮ LIỆU VIDEO VÀO VIỆC NHẬN DẠNG CON NGƯỜI, HÀNH ĐỘNG như các khuôn mặt con người, núi đồi, cảnh bãi biển, bầu trời, đường phố, nhà cửa và nhiều khái niệm nữa. Việc xây dựng một hệ thống truy hồi thông tin mà có thể thỏa mãn mọi truy vấn của người dùng với tất cả các loại khái niệm thường là vượt quá khả năng của các công trình nghiên cứu đương đại. Vì vậy, nghiên cứu của chúng tôi tập trung vào 03 loại khái niệm cơ bản nhưng hữu ích: con người, hoạt động, địa điểm và mối quan hệ giữa chúng. Thực tế, có nhiều nhà nghiên cứu đã và đang tập trung nghiên cứu các phương pháp dùng để học nhằm nhận dạng ba loại khái niệm này từ dữ liệu video. Chẳng hạn, [4, 5, 6, 1, 7, 8, 9] đã biểu diễn những kết quả thú vị trong việc định nhãn cho con người. Việc phát hiện và phân loại hành động của con người đã được nghiên cứu bởi [10, 11, 12], trong khi [13, 14] giải quyết vấn đề phát hiện các địa điểm trong video. Tuy nhiên, rất ít công trình xem xét kết hợp cả ba loại khái niệm này. Luo và cộng sự [15] đề xuất mô hình kết hợp Expectation – Maximization để định nhãn khuôn mặt và dáng điệu của con người một cách đồng thời. Nitta và cộng sự [16] gán nhãn cho con người và hành động của họ trong các video thể thao bằng cách đầu tiên là dùng văn bản (phụ đề đóng – closed caption) để trích ra các phân cảnh (scenes) cùng với con người, hành động và sự kiện họ xuất hiện, sau đó phân đoạn lại video tương ứng bằng cách sử dụng các đầu mối từ hình ảnh, cuối cùng liên kết các phân đoạn video với các phân đoạn văn bản. Marszalek và cộng sự [17], theo cách khác, trình bày kết quả nghiên cứu về phát hiện hành động và địa điểm trong video chủ yếu dựa trên giả thiết rằng hành động của con người có liên quan cao đến địa điểm mà họ xuất hiện. Trọng tâm trong hướng tiếp cận của họ là khuôn khổ túi các đặc trưng (bag-of-features) dùng cho các mô hình xử lý ảnh nhằm phát hiện các khung cảnh và hành động. Các khuôn khổ và mô hình này được kết hợp với nhau trong một bộ phân loại hỗn hợp hành động-khung cảnh dựa trên kỹ thuật SVM. Bằng cách đề xuất các phương pháp nhằm phát hiện một tập hợp các khái niệm, [15, 16, 17] đã tận dụng mối liên hệ giữa các khái niệm này – điều rất có giá trị trong việc chú thích tự động các khái niệm trong video. Ví dụ như, một khung cảnh “dưới nước‖ thường xuất hiện với một con “cá mập” thay vì là một “con chim”; hoặc một tập các khuôn mặt giống nhau đồng xuất hiện có hệ thống cùng với cái tên Bush trong mô tả văn bản tương ứng nên được gán tên là Bush. Nghiên cứu của chúng tôi cũng cố gắng học các mối tương quan giữa các khái niệm và mở rộng ra mối quan hệ giữa 03 khái niệm (con người, hành động, địa điểm) thay vì các mối quan hệ tự thân hoặc hai chiều. Với ý định tổ chức các tài liệu thành một cấu trúc của các khái niệm ngữ nghĩa, chúng tôi tìm hiểu các mô hình truy hồi có hỗ trợ việc lập chỉ mục và hoạt động được trên một cấu trúc tài liệu như vậy. Mô hình có liên quan nhiều nhất (mô hình đồ thị xác xuất dùng để lập chỉ mục và truy vấn các tài liệu hướng nội dung) được giới thiệu bởi Turtle và Croft [18]. Họ sử dụng các mạng Bayes để mô tả các sự phụ thuộc về xác suất giữa các khái niệm ngữ nghĩa. Các mạng Bayes này được biểu diễn như là các đồ thị có hướng và không có chu trình. Mô hình này bao gồm 02 phần: một mạng của tập các tài liệu (DN) và một mạng truy vấn (QN). Trong mạng các tài liệu, mỗi tài liệu (d) được trình bày như là một cấu trúc phân cấp của các nút thể hiện các tài liệu, các từ của tài liệu và các khái niệm ngữ nghĩa của chúng. Các nút thể hiện các từ và các khái niệm ngữ nghĩa có thể được chia sẻ bởi nhiều tài liệu với xác suất khác nhau. Mạng truy vấn sẽ được xây dựng mỗi khi người dùng đệ trình câu truy vấn của họ (q). Đây cũng là cấu trúc phân cấp của các từ, các khái niệm ngữ nghĩa thể hiện yêu cầu thông tin của người dùng. Sau đó mạng truy vấn sẽ được gắn vào mạng các tài liệu bằng cách so khớp các khái niệm ngữ nghĩa của câu truy vấn và của tài liệu. Các nút trong mô hình này có giá trị nhị phân, nghĩa là nhận giá trị từ tập {true, false}. Việc ước lượng điểm số xếp hạng được thực hiện tách biệt cho từng nút tài liệu. Nghĩa là một nút tài liệu được bật còn các nút tài liệu khác được tắt và điểm số xếp hạng được tính bằng P(q | d). Các mô hình truy hồi ngôn ngữ (language retrieval models), theo phân tích của Croft và Laferty [19], có thể được xem như các dạng mô hình đồ thị đơn giản của mô hình mà Turtle và Croft đề xuất. Ở đó, các tài liệu cũng như câu truy vấn được trình bày như là các đồ thị của các nút thể hiện các từ (bag-of-words) mà không có lớp các nút chứa các quan niệm ngữ nghĩa. Và cơ chế so khớp câu truy vấn – tài liệu chỉ đơn thuần sử dụng kỹ thuật so khớp các từ với nhau. Khởi đầu, mô hình được đề xuất bởi Turtle và Croft được áp dụng cho các tài liệu thuần văn bản. Graves và Lalmas [20] đã mở rộng nó cho các tài liệu video ở khuôn dạng MPEG-7. Ở đó, họ tận dụng các chú thích được kết hợp sẵn trong video (màn – scene, cảnh – shot, đối tượng – object, con người, hành động, địa điểm,), khai thác các đặc tính của chuẩn MPEG-7 và xây dựng một hệ thống truy hồi video hiệu quả. Coelho và đồng sự [21] trình bày nghiên cứu của họ trong lĩnh vực truy hồi ảnh mà cũng chia sẻ sự quan tâm đến việc sử dụng một mạng Bayes để mô hình hoá các tập tài liệu ảnh, ảnh truy vấn và việc nối kết chúng. Cụ thể là các tài liệu ảnh được trình bày như là các túi từ, nhưng dựa trên các nguồn chứng cứ khác nhau (các thẻ mô tả, thẻ meta, văn bản đầy đủ hoặc đoạn văn bản xung quanh các bức ảnh). Nghiên cứu của chúng tôi mở rộng các công trình đi trước bằng cách kết hợp các chứng cứ từ các khung hình video và các văn bản đi kèm, bằng cách gán thuộc tính đa trị cho các nút trong mạng Bayes thay vì chỉ là nhị phân và bằng cách suy diễn ra các mô tả cho các khung hình nơi mà các mô tả văn bản không có hoặc thiếu. Sau cùng, chúng tôi sử dụng kỹ thuật truy hồi video dựa trên các khung hình chính (nghĩa là chúng tôi truy hồi các khung hình chính - dữ liệu được cho là tiêu biểu cho mỗi cảnh – shot). Kỹ thuật này thường được sử dụng trong các hệ thống truy hồi video [22, 23]. III. CÁC ĐỊNH NGHĨA CƠ BẢN VỀ CHÚ THÍCH NGỮ NGHĨA CHO VIDEO VÀ CÁC BƯỚC THỰC HIỆN Nhiệm vụ của chúng tôi là xây dựng và đánh giá một hệ thống lập chỉ mục và truy hồi video mà nó có thể tự động rút trích ra các khái niệm ngữ nghĩa trong video (con người, hành động và địa điểm), học các mối tương quan giữa chúng, lập chỉ mục cho chúng cùng với các đơn vị video tương ứng (khung hình chính) và xử lý các câu truy vấn của người dùng. Phạm Thế Phi, Đỗ Thanh Nghị 783 Trong các mô hình truy hồi phía sau, chúng tôi sử dụng các thuật ngữ sau đây:  Khái niệm ngữ nghĩa (semantic concept): Chúng tôi định nghĩa khái niệm ngữ nghĩa trong video theo ba loại: con người, hành động, địa điểm.  Bộ khái niệm ngữ nghĩa (semantic concept tuple): Một tổ hợp của một con người đang thực hiện một hành động tại một địa điểm được trình bày như là một bộ . Các bộ có thể là hoàn chỉnh hoặc không hoàn chỉnh.  Tài liệu hướng ngữ nghĩa: Trong một đoạn video (ở đây thể hiện bằng một khung hình chính) chúng ta có thể thấy vài bộ khái niệm ngữ nghĩa. Chúng tôi gọi một khung hình video cùng với các bộ tương ứng của nó là một tài liệu hướng ngữ nghĩa.  Câu truy vấn hướng ngữ nghĩa: Một yêu cầu thông tin của người dùng được trình bày như một bộ quan hệ (ví dụ: một người đang thực hiện một hành động tại một địa điểm, một người tại một địa điểm hoặc chỉ là một con người). Cho một video và văn bản mô tả (không đầy đủ) tương ứng, các công việc của chúng tôi là:  Tiền xử lý dữ liệu để tạo ra một tập các tài liệu S={d 1 ,d 2 ,...,d |S| } , trong đó d i có thể là m