Ứng dụng mô hình Sequence To Sequence vào xây dựng hệ thống trả lời tự động cho thư viện

ỨNG DỤNG MÔ HÌNH SEQUENCE TO SEQUENCE VÀO XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG CHO THƯ VIỆN Vũ Đình Minh1* - Nguyễn Thị Thu Thủy2** Tóm tắt: Ngày nay, chất lượng của các dịch vụ trong thư viện không ngừng được nâng cao nhờ sự phát triển của công nghệ và thiết bị máy tính. Một trong các ưu điểm nổi bật là sự thu hẹp khoảng cách về không gian, cũng như mở rộng thời gian hoạt động của thư viện đối với người dùng. Cụ thể là, bạn đọc có thể gửi yêu cầu của mình tới các cán bộ thư viện mà không bị bất kỳ giới hạn nào về thời gian và không gian thông qua mạng Internet. Tuy nhiên, các yêu cầu này chỉ được thực hiện trong thời gian hoạt động của thư viện. Để nâng cao khả năng trả lời những thắc mắc của bạn đọc, chúng tôi đề xuất một phương pháp tự động phản hồi dựa trên các yêu cầu của bạn đọc. Thông qua thử nghiệm, kết quả cho thấy phương pháp đề xuất có thể trả lời chính xác các yêu cầu của bạn đọc dựa trên một tập dữ liệu các câu trả lời có sẵn. 1. GIỚI THIỆU Trong những năm gần đây, sự ảnh hưởng của các công nghệ và thiết bị máy tính là vô cùng rõ ràng tới rất nhiều lĩnh vực. Trong lĩnh vực thư viện, dịch vụ thư viện truyền thống đang dần chuyển đổi sang thư viện điện tử vì những ưu điểm của nó. Thông qua mạng Internet, người dùng có thể dễ dàng gửi các yêu cầu của mình tới thư viện nhằm thu thập và truy xuất thông tin từ các hệ thống phần mềm. Với các ưu * Tiến sĩ, Trung tâm Mạng thông tin, Trường Đại học Bách Khoa Hà Nội. ** Thạc sĩ, Thư viện Tạ Quang Bửu, Trường Đại học Bách Khoa Hà Nội. 660 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM điểm về sự không bị giới hạn về không gian và thời gian, người dùng hiện nay có thể kết nối với các hệ thống một cách dễ dàng và thuận lợi. Bên cạnh nhu cầu sử dụng tài liệu, một trong các nhu cầu của bạn đọc là yêu cầu tư vấn và hỗ trợ để sử dụng thư viện hiệu quả. Để có thể sử dụng hệ thống phần mềm thư viện với những nghiệp vụ phức tạp, người dùng đôi khi có những thắc mắc cần được giải đáp. Có hai phương pháp được sử dụng để giải quyết vấn đề này là: trực tiếp liên hệ với cán bộ thư viện và gián tiếp liên hệ với cán bộ thư viện thông qua một hệ thống phần mềm. Phương pháp thứ nhất có ưu điểm về độ chính xác khi mọi thắc mắc về tình huống của bạn đọc sẽ được giải quyết trực tiếp với một nhân viên có những kiến thức về thư viện. Tuy nhiên, như đã phân tích ở trên, phương pháp này có hạn chế về mặt thời gian và không gian. Để thực hiện giải pháp này, bạn đọc bắt buộc phải có mặt tại thư viện trong khoảng thời gian phục vụ. Phương pháp thứ hai có thể giải quyết được vấn đề này khi mọi yêu cầu đều được phản hồi thông qua mạng Internet dưới các hình thức như một hệ thống phần mềm, fanpage, Tuy nhiên, phương pháp này có một hạn chế về nguồn nhân lực cho việc phản hồi thông tin. Thêm vào đó, các câu hỏi của nhiều người dùng đôi khi khá đơn giản và thường trùng lặp trong quá trình khai thác dữ liệu thông tin thư viện. Trong khi đó, một hệ thống tự động trả lời câu hỏi có thể giải quyết được vấn đề này dựa trên các kỹ thuật học sâu của lĩnh vực trí tuệ nhân tạo. Thông qua việc ánh xạ các câu hỏi tới các câu trả lời, hệ thống có thể nhanh chóng phản hồi các yêu cầu của người dùng mà không đòi hỏi bất kỳ sự trợ giúp nào từ con người. Trong bài viết này, chúng tôi đề xuất một phương pháp sử dụng kỹ thuật học máy để xây dựng một hệ thống tự động trả lời các câu hỏi của người dùng. Cấu trúc của bài viết này được lần lượt trình bày gồm 7 mục. Trong mục tiếp theo, chúng tôi cung cấp một khảo sát về các nghiên cứu liên quan đến việc trả lời câu hỏi của người dùng. Trong mục 3, một cơ sở lý thuyết về các kỹ thuật trong lĩnh vực học máy được trình bày nhằm giúp người đọc dễ dàng hơn trong việc hiểu phương pháp đề xuất. Trong mục 4, phương pháp học máy được trình bày. Mục 5 mô tả về 661 ỨNG DỤNG MÔ HÌNH SEQUENCE TO SEQUENCE VÀO XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG CHO THƯ VIỆN thí nghiệm của việc áp dụng mô hình đề xuất vào việc trả lời câu hỏi liên quan đến lĩnh vực thư viện của bạn đọc. Kết quả và thảo luận được trình bày trong mục 6. Cuối cùng, chúng tôi thống kê lại các vấn đề và đề xuất các hướng phát triển trong tương lai. 2. CÁC GIẢI PHÁP ĐỂ GIẢI QUYẾT VẤN ĐỀ Như đã trình bày trong mục 1, nhu cầu giải đáp những thắc mắc của người dùng đối với các hoạt động thư viện là một trong các yếu tố cần được cải thiện để nâng cao chất lượng dịch vụ. Để giải quyết vấn đề này, có hai hướng tiếp cận chính: các phương pháp truyền thống được thực hiện bởi con người và hệ thống trả lời tự động các câu hỏi từ người dùng. • Đối với hướng tiếp cận thứ nhất, các câu trả lời sẽ được phản hồi bởi các cán bộ thư viện có trách nhiệm, được phân công cho nhiệm vụ trả lời câu hỏi. Các phương pháp trong hướng tiếp cận này có ưu điểm về độ chính xác cao trong các câu trả lời do được thực hiện bởi nguồn nhân lực chất lượng cao. Các phương pháp có thể được kể đến như là: fanpage của Facebook, Website của thư viện và các phương pháp khác. Tuy nhiên, các phương pháp này có nhược điểm về tính nhất quán trong câu trả lời do được thực hiện bởi nhiều người khác nhau. Bên cạnh đó, các yêu cầu của người dùng không thể thực hiện bên ngoài thời gian hoạt động của thư viện. • Đối với hướng tiếp cận thứ hai, một hệ thống có thể tự động phản hồi các câu trả lời dựa trên kho dữ liệu câu hỏi của thư viện sẽ được xây dựng. Cụ thể là, thông qua việc tự động ánh xạ các câu hỏi tới câu trả lời, các yêu cầu của người dùng sẽ được thực hiện vào bất kỳ khoảng thời gian nào. Thêm vào đó, giải pháp này còn giúp giảm đi chi phí về nhân lực trong quá trình vận hành hệ thống thư viện. Với sự phát triển không ngừng của các ứng dụng trong công nghệ thông tin cũng như lợi ích của việc áp dụng hệ thống tự động trả lời câu hỏi, trong bài báo này, chúng tôi sẽ đề xuất một hệ thống trả lời câu hỏi tự động dựa trên trí tuệ nhân tạo được áp dụng cho Thư viện Tạ Quang Bửu của Trường Đại học Bách Khoa Hà Nội để góp phần nâng cao chất lượng phục vụ bạn đọc. 662 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM 3. CƠ SỞ LÝ THUYẾT 3.1. Machine learning là gì? . Hình 1. Quy trình của mô hình trong học máy Trong những năm gần đây, Machine learning (học máy) là một thuật ngữ phổ biến với sự bùng nổ về các ứng dụng công nghệ thông tin. Có rất nhiều các vấn đề đã được giải quyết như là: xe tự lái, dịch máy, hay phân loại dịch bệnh. Về mặt định nghĩa, học máy là một nhánh nhỏ của trí tuệ nhân tạo, nó giúp máy tính có thể tự học dựa trên dữ liệu mà không cần phải được lập trình cụ thể [1]. Nói cách khác, học máy bao gồm các mô hình thống kê để khái quát các đặc tính trong tập dữ liệu huấn luyện và thực hiện dự đoán cho các dữ liệu chưa biết trong tương lai. Hình 1 mô tả một qui trình cơ bản của các mô hình trong học máy. Cụ thể là, mô hình học máy thường bao gồm hai giai đoạn cơ bản: giai đoạn huấn luyện và giai đoạn kiểm tra đánh giá. Dựa trên một tập dữ liệu bao gồm: các thuộc tính và kết quả, giai đoạn một giúp tìm ra một hàm số để ánh xạ hai thành phần này lại với nhau. Trong khi đó, giai đoạn hai hướng 663 ỨNG DỤNG MÔ HÌNH SEQUENCE TO SEQUENCE VÀO XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG CHO THƯ VIỆN đến việc kiểm tra khả năng ứng dụng hàm số này trong thực tế, thông qua việc áp dụng trên một tập dữ liệu khác có cấu trúc tương ứng. Hai giai đoạn này đều có chung hai thành phần chính: trích xuất đặc trưng và thuật toán chính. Trong bước thứ nhất, sau khi tiền xử lý dữ liệu thô để chuẩn hóa dữ liệu, quá trình trích xuất đặc trưng giúp cho máy tính loại đi những thành phần thuộc tính không cần thiết và tìm ra những thuộc tính có ảnh hưởng quan trọng đến việc tính toán kết quả. Trong bước thứ hai, dựa trên những đặc trưng đã được trích xuất, một thuật toán phân loại thường được sử dụng để tìm ra một hàm số giúp cho việc ánh xạ từ các thuộc tính đầu vào tới kết quả. Từ đó, hàm số này sẽ được sử dụng để dự đoán cho bài toán với các đầu vào tương ứng. Trong phần tiếp theo, một mô hình cơ bản của deep learning (học sâu) – một nhánh của Machine learning được trình bày, nhằm giúp cho người đọc dễ dàng làm quen hơn với mô hình được đề xuất. 3.2. Mô hình sequence to sequence (seq2seq) Như chúng ta đã biết, xử lý ngôn ngữ tự nhiên là một trong những thử thách lớn nhất của khoa học máy tính. Lý do là máy tính chỉ làm việc với các tín hiệu số và không thể hiểu được ngôn ngữ của con người. Với mục tiêu giúp cho máy tính có thể hiểu được ngôn ngữ của con người, các tác giả đã đề xuất mô hình Sequence to sequence [2] nhằm chuyển ngôn ngữ của con người thành ngôn ngữ máy tính. Seq2seq[2] là một mô hình cơ bản của deep learning (học sâu) – một nhánh của học máy và đã đạt được rất nhiều thành tựu ấn tượng trong các lĩnh vực như là: dịch máy, tóm tắt văn bản, dán nhãn văn bản Thông thường, đầu vào của mô hình seq2seq là các chuỗi về từ, ký tự, và đầu ra là một chuỗi khác. Mô hình seq2seq thường gồm hai thành phần chính sau đây: encoder (bộ mã hóa) và decoder (bộ giải mã). Encoder có nhiệm vụ mã hóa câu đầu vào thành một vector bởi một mạng nơron hồi quy và decoder sẽ giải mã vector thành câu đầu ra dựa trên một mạng nơron hồi quy khác. 664 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Hình 2 mô tả quá trình để ánh xạ từ một câu hỏi đến câu trả lời. Cụ thể là, trong bước mã hóa (encoder), với đầu vào là một câu hỏi, câu sẽ được tách ra thành các từ. Mỗi từ này sau đó sẽ được đại diện bởi một vector duy nhất và lần lượt được đưa vào mạng nơron để tính toán tìm ra các trạng thái ẩn. Tiếp theo đó, trạng thái ẩn cuối cùng sẽ được sử dụng là đại diện cho câu đầu vào, hay còn gọi là vector trung gian. Vector này có chức năng gói gọn các thông tin của câu đầu vào và giúp cho bộ giải mã (decoder) dự đoán thông tin chính xác hơn. Trong bước giải mã, một mạng nơron khác được sử dụng và nhận vector trung gian như là thành phần đầu vào thứ nhất để dự đoán lần lượt các từ trong câu đầu ra. Kết quả sau đó sẽ được đánh giá dựa trên sự so sánh giữa các từ trong câu dự đoán và câu trả lời thật có sẵn trong tập dữ liệu sử dụng để huấn luyện. Hình 2. Mô hình sequence to sequence 4. GIẢI QUYẾT VẤN ĐỀ Trong mục này, chúng tôi sẽ trình bày chi tiết việc áp dụng mô hình seq2seq vào việc xây dựng hệ thống trả lời tự động các câu hỏi liên quan đến lĩnh vực thư viện. Như chúng ta đã biết, hàng năm thư viện đều tiếp nhận một số lượng lớn các tân sinh viên. Chính vì thế, sự trùng lặp về những thắc mắc của các sinh viên mới và sinh viên cũ thường xảy ra. Điều này gây ra sự không thống nhất trong các câu trả lời vì yếu tố thời gian và con người. 665 ỨNG DỤNG MÔ HÌNH SEQUENCE TO SEQUENCE VÀO XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG CHO THƯ VIỆN Để giải quyết vấn đề này, chúng tôi đề xuất giải pháp sử dụng mô hình seq2seq để ánh xạ các câu hỏi tới các câu trả lời. Cụ thể là, các câu hỏi của người dùng sẽ được chuyển đổi thành các vector, sau đó, câu trả lời sẽ được sinh ra dựa trên các vector này. 5. THÍ NGHIỆM Để kiểm tra khả năng của việc áp dụng mô hình seq2seq vào việc xây dựng hệ thống tự động trả lời câu hỏi, chúng tôi áp dụng trên tập dữ liệu các câu hỏi của Thư viện Tạ Quang Bửu. Tập dữ liệu bao gồm 100 cặp câu hỏi và trả lời của 6 chủ đề chính như thống kê trong bảng 1. Sau khi tiến hành tiền xử lý dữ liệu, dữ liệu được đưa vào mô hình để dự đoán các câu trả lời dựa trên câu hỏi. Độ chính xác của mô hình được đánh giá dựa trên sự so sánh về độ sai lệch của câu trả lời dự đoán và câu trả lời thực tế. Kết quả cho thấy rằng sự chính xác của việc dự đoán các câu trả lời là khả quan và có thể đáp ứng nhu cầu của bạn đọc như được trình bày trong hình 3. Hình 3. Thí nghiệm áp dụng mô hình seq2seq vào tập dữ liệu câu hỏi và trả lời của Thư viện Tạ Quang Bửu Bảng 1. Dữ liệu câu hỏi và câu trả lời của thư viện Tạ Quang Bửu Loại câu hỏi Câu hỏi Câu trả lời Câu hỏi chung Thời gian làm việc của thư viện? Sáng: 8h đến 11h. Chiều: 13h30 đến 17h Phòng đọc Khi vào phòng đọc, em được mang những gì? Bạn đọc được phép mang theo giấy, vở, bút vào phòng đọc. Thư viện không chịu trách nhiệm về các đồ vật quý hiếm, có giá trị như tiền bạc, điện thoại, máy ảnh... của bạn đọc. 666 PHÁT TRIỂN MÔ HÌNH TRUNG TÂM TRI THỨC SỐ CHO CÁC THƯ VIỆN VIỆT NAM Phòng mượn tài liệu Sau khi mượn, trả ở máy tự động, em có thể kiểm tra tài khoản của mình được không? Bạn hoàn toàn có thể kiểm tra tài khoản luôn trên máy mượn trả, hoặc máy tra cứu. Gia hạn tài liệu Có mấy cách gia hạn tài liệu? Có 3 cách gia hạn tài liệu: 1. Gia hạn trực tiếp bằng cách đến phòng mượn thư viện để cán bộ thư viện thực hiện. 2. Gia hạn tại trang Link hướng dẫn 3. Gia hạn qua email tvtqb@hust.edu.vn hoặc điện thoại bằng cách gửi thông tin cá nhân vào mail yêu cầu hỗ trợ. Tra cứu tài liệu Làm thế nào để tra cứu tài liệu ở thư viện? Bạn có thể tìm tại liệu theo hai cách: 1. Qua các hệ thống mục lục tại một số phòng như Phòng mượn sách tham khảo 102. 2. Tìm kiếm tài liệu qua trang tìm kiếm http:// libopac.hust.edu.vn/ Báo, tạp chí Báo, tạp chí được lưu trữ ở đâu? Báo, tạp chí mới sẽ được xếp trên giá trong phòng Báo - Tạp chí. Báo, tạp chí cũ sẽ được xếp trong kho. 6. THẢO LUẬN Trong bài viết này, phương pháp đề xuất là xây dựng một giải pháp tự động phản hồi câu trả lời cho người dùng dựa trên các yêu cầu cụ thể. Điều này được hiểu như là việc ánh xạ các câu hỏi của người dùng vào tập các câu trả lời có sẵn của thư viện. Hình 2 đã chỉ ra rằng việc áp dụng mô hình seq2seq vào tập dữ liệu các câu hỏi và trả lời của Thư viện Tạ Quang Bửu đạt được những kết quả khả quan trong việc nâng cao chất lượng phục vụ bạn đọc. Hệ thống tự động trả lời câu hỏi được xây dựng nhằm các mục đích như sau: - Tăng thời gian phục vụ, giải đáp các yêu cầu của người dùng. - Giảm chi phí về nhân lực chất lượng cao. Từ đó, thư viện có thêm nguồn lực để thực hiện các hoạt động khác. - Câu trả lời có tính thống nhất. 667 ỨNG DỤNG MÔ HÌNH SEQUENCE TO SEQUENCE VÀO XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG CHO THƯ VIỆN Tuy nhiên, phương pháp đề xuất mới được áp dụng trong tập dữ liệu nhỏ và cần được đánh giá trong một tập dữ liệu lớn hơn. Bên cạnh đó, mô hình đề xuất vẫn còn thiếu sự đánh giá từ phía người sử dụng về chất lượng của các câu trả lời. Chính vì thế, mô hình đề xuất cần được tích hợp vào các hệ thống của thư viện để nhận được các phản hồi từ phía người sử dụng. Trong tương lai, chúng tôi sẽ áp dụng mô hình đề xuất vào các hệ thống sẵn có của thư viện để đánh giá chất lượng của mô hình đề xuất. 7. KẾT LUẬN Trong bài viết này, để nâng cao chất lượng dịch vụ của thư viện, chúng tôi đề xuất xây dựng một hệ thống tự động trả lời câu hỏi của người dùng. Để làm được điều này, chúng tôi đã sử dụng một mô hình phổ biến của học máy là seq2seq để ánh xạ các câu hỏi và câu trả lời. Tuy nhiên, sự đánh giá của người dùng và sự hiệu quả của mô hình chỉ được đánh giá trong một tập dữ liệu nhỏ. Trong tương lai, chúng tôi sẽ tích hợp phương pháp đề xuất vào các dịch vụ của thư viện để thu thập các đánh giá từ phía người sử dụng. TÀI LIỆU THAM KHẢO Tiếng Việt 1. https://github.com/tiepvupsu/ebookMLCB. Tiếng Anh 2. Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. (2014), “Sequence to sequence learning with neural networks.” Advances in neural information processing systems.