Đề tài Nhận diện và điều khiển trạng thái vật thể qua ip camera

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Anh Cương XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ ĐIỀU KHIỂN NHÀ THÔNG MINH: NHẬN DIỆN VÀ ĐIỀU KHIỂN TRẠNG THÁI VẬT THỂ QUA IP CAMERA KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Anh Cương XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ ĐIỀU KHIỂN NHÀ THÔNG MINH: NHẬN DIỆN VÀ ĐIỀU KHIỂN TRẠNG THÁI VẬT THỂ QUA IP CAMERA KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS Nguyễn Việt Hà Cán bộ đồng hướng dẫn: Th.S Vũ Quang Dũng HÀ NỘI - 2009 VIET NAM NATIONAL UNIVERSITY, HA NOI COLLEGE OF TECHNOLOGY Nguyen Dinh Anh Cuong BUILDING A MONITOR AND CONTROL SMART HOUSE SYSTEM: DETECT AND CONTROL DEVICES THROUGH IP CAMERA GREDUATION THESIS Major field: Information Technology Supervisor: Nguyễn Việt Hà, Dr. Eng Co-supervisor: Vũ Quang Dũng, Master HA NOI - 2009 Xây dựng hệ thống giám sát và điều khiển nhà thông minh i LỜI CẢM ƠN Lời đầu tiên em xin được gửi lời cảm ơn tới thầy giáo TS Nguyễn Việt Hà và ThS Vũ Quang Dũng, hai thầy đã tận tình giúp đỡ và chỉ bảo cho em trong suốt thời gian làm khóa luận vừa qua. Em cũng xin bày tở lòng biết ơn sâu sắc tới các thầy cô giáo trong khoa Công nghệ thông tin – Trường Đại học Công nghệ -Đại học Quốc gia Hà Nội. Các thầy cô đã luôn nhiệt tình dạy dỗ và tạo điều kiện cho chúng em học tập và nghiên cứu trong suốt những năm học đại học. Tôi cũng xin gửi lời cảm ơn đến các bạn sinh viên trong tập thể lớp K50CA và lớp CNPM, các bạn trong phòng thí nghiệm Toshiba đặc biệt là các bạn trong nhóm nghiên cứu về xây dựng mô hình nhà thông minh là bạn Nguyễn Văn Hiển và bạn Trần Duy Hưng, đã cho tôi những ý kiến đóng góp giá trị khi thực hiện đề tài này. Cuối cùng tôi xin gửi lời cảm ơn tới gia đình, những người luôn ở bên động viên và tạo điều kiện cho tôi thực hiện tốt khóa luận này. Hà Nội, ngày 20/05/2009 Nguyễn Đình Anh Cương Nhận diện và điều khiển trạng thái vật thể qua IP camera ii TÓM TẮT Nhà thông minh đang là một xu hướng đang phát triển trong việc xây dựng các công trình nhà ở, các căn hộ, hay các trung tâm thương mại. Từ lâu, nó đã là một đề tài thu hút được nhiều sự quan tâm và nghiên cứu của các nhà khoa học cũng như cộng đồng. Với tiêu chí đó, khóa luận này sẽ trình bày về cách xây dựng mô hình một hệ thống giám sát và điều khiển nhà thông minh sử dụng PPC ( Pocket Personal Computer). Trong đó, đưa ra một cách nhận diện và xác định vị trí của các đồ vật thiết bị trong nhà thông qua ảnh số thu được từ camera. Điều này sẽ giúp tăng khả năng tương tác với chúng thông qua các công cụ điều khiển. Ngoài ra, khóa luận cũng sẽ cung cấp một cách tiếp cận đơn giản trong việc kết nối và điều khiển các thiết bị trong nhà thông qua một máy tính duy nhất. Từ khóa: nhà thông minh, nhận diện đối tượng trong ảnh số. Xây dựng hệ thống giám sát và điều khiển nhà thông minh iii ABSTRACT Smart house or home automation is one of the up and coming trend in developing buildings such as residential houses, apartments, and commercial businesses. For a long time, it is a topic attracting much attention and research of science and the community. Thus, this bachelor thesis will show how to build a model system to monitor and control the smart house with PPC (Pocket Personal Computer). In particular, it proposes a method to identify and determine the positions of the objects through a number of images from the camera. This will help increase the ability to interact with them through the control devices. In addition, the thesis also will provide a simple approach to connect and control devices in the home through a single computer. Keywords : smart house, home automation, identify objects in images, detect object in digital images. Nhận diện và điều khiển trạng thái vật thể qua IP camera iv MỤC LỤC LỜI CẢM ƠN .............................................................................................................. i TÓM TẮT ................................................................................................................... ii ABSTRACT ............................................................................................................... iii MỤC LỤC .................................................................................................................. iv BẢNG CÁC KÝ HIỆU VIẾT TẮT ............................................................................ vi DANH MỤC HÌNH VẼ............................................................................................. vii DANH MỤC BẢNG BIỂU ...................................................................................... viii Chương 1. Đặt vấn đề ................................................................................................... 2 1.1 Lý do chọn đề tài ........................................................................................... 2 1.2 Phạm vi nghiên cứu và hướng tiếp cận .......................................................... 4 1.2.1 Nhận diện đối tượng trong ảnh số thu được từ camera ............................ 5 1.2.2 Điều khiển các thiết bị trong gia đình từ máy tính .................................. 5 1.3 Nội dung và cấu trúc khóa luận ..................................................................... 6 Chương 2. Các cơ sở lý thuyết...................................................................................... 7 2.1 Tính toán khắp nơi và các ứng dụng .............................................................. 7 2.1.1 “Tính toán khắp nơi” là gì? .................................................................... 7 2.1.2 Vị trí của “Tính toán khắp nơi” .............................................................. 7 2.2 Tổng quan về nhà thông minh ....................................................................... 8 2.2.1 Định nghĩa nhà thông minh .................................................................... 8 2.2.2 Các ưu điểm của nhà thông minh............................................................ 8 2.3 Một số khái niệm trong xử lý ảnh và bài toán nhận diện đối tượng trong ảnh 9 2.3.1 Không gian màu HSV ............................................................................ 9 2.3.2 Các cách tiếp cận bài toán nhận diện đối tượng trong ảnh..................... 15 2.4 Các giao thức và mô hình kết nối................................................................. 16 2.4.1 Giao thức Bluetooth ............................................................................. 16 Xây dựng hệ thống giám sát và điều khiển nhà thông minh v 2.4.2 Giao thức wireless chuẩn B/G .............................................................. 17 Chương 3. Mô hình hệ thống giám sát và điều khiển nhà thông minh ......................... 21 3.1 Bài toán và mô hình chung của hệ thống ..................................................... 21 3.1.1 Hệ thống giám sát và điều khiển nhà thông minh.................................. 21 3.1.2 Mô hình đề xuất ................................................................................... 21 3.2 Các thành phần của hệ thống và các giải pháp ............................................. 22 3.2.1 Bài toán nhận diện đối tượng trong ảnh số ............................................ 22 3.2.2 Kết nối và tương tác với PPC ............................................................... 28 3.2.3 Điều khiển các thiết bị điện điện tử từ máy tính .................................... 31 Chương 4. Thực nghiệm và chương trình demo .......................................................... 32 4.1 Cấu trúc của chương trình demo .................................................................. 32 4.2 Các thành phần chính và thực nghiệm trong chương trình demo .................. 33 4.2.1 Mô đun nhận và xử lý ảnh từ camera .................................................... 33 4.2.2 Mô đun kết nối và tương tác với PPC ................................................... 38 4.2.3 Mô đun điều khiển các thiết bị điện, điện tử từ máy tính ...................... 38 4.3 Một số hình ảnh và mô tả về chương trình demo ......................................... 39 4.4 Kết quả và đánh giá ..................................................................................... 44 Chương 5. Kết luận và hướng phát triển ..................................................................... 45 5.1 Kết luận ....................................................................................................... 45 5.2 Hướng phát triển của đề tài .......................................................................... 45 TÀI LIỆU THAM KHẢO.......................................................................................... 47 Nhận diện và điều khiển trạng thái vật thể qua IP camera vi BẢNG CÁC KÝ HIỆU VIẾT TẮT Ký hiệu Viết đầy đủ Giải thích RGB Red Green Blue Tên một không gian màu cơ sở sử dụng trong máy tính HSV Hue Saturation Value Tên một không gian màu PPC Pocket Personal Computer OBEX Object Exchange Giao thức truyền đối tượng qua Bluetooth PC Personal computer ID Identifier IP Internet Protocol Giao thức mạng internet Xây dựng hệ thống giám sát và điều khiển nhà thông minh vii DANH MỤC HÌNH VẼ Hình 1.1 Mô hình nhà thông minh ............................................................................... 4 Hình 2.1: Dải mầu xám .............................................................................................. 10 Hình 2.3: Mặt phẳng màu ứng với một độ sáng.......................................................... 11 Hình 2.4: Sự thay đổi độ sáng theo tia phân giác ........................................................ 11 Hình 2.5: Mặt phẳng phân bố màu ............................................................................. 12 Hình 2.6: Phân bố độ xám .......................................................................................... 13 Hình 2.7: Mô tả độ xám ............................................................................................. 14 Hình 2.8: Hệ màu HSV .............................................................................................. 15 Hình 2.9: Giao thức Obex .......................................................................................... 17 Hình 2.10: Mô hình mạng cơ sở ................................................................................. 19 Hình 2.11: Mô hình mạng Ad-hoc ............................................................................ 20 Hình 3.1: Mô hình hệ thống giám sát và điều khiển nhà thông minh .......................... 21 Hình 3.2: Mô hinh thuật toán nhận diện đối tượng trong ảnh số ................................. 24 Hình 3.3: Một mẫu kí hiệu đánh dấu .......................................................................... 26 Hình 3.4: Mộ mẫu kí hiệu đánh dấu khác ................................................................... 27 Hình 4.1: Các kí hiệu sử dụng .................................................................................... 33 Hình 4.2: Biểu đồ phân bố các màu đỏ, vàng, xanh rêu, xanh lam trong hệ màu HSV 34 Hình 4.3: Một số ví dụ về kết quả nhận diện ............................................................. 36 Hình 4.4: Một số ví dụ về kết quả nhận diện .............................................................. 37 Hình 4.5: ConsolerServer khi khởi động .................................................................... 40 Hình 4.6: Màn hình đăng nhập ................................................................................... 41 Hình 4.7: Hình ảnh đã nhận diện được tái hiện trên PPC ............................................ 42 Hình 4.8: Bảng điều khiển thiết bị ............................................................................. 43 Hình 4.9: ConsolerServer khi nhận lệnh điều khiển từ PPC ....................................... 43 Hình 4.10: Thiết bị điều khiển trung gian ................................................................... 44 Nhận diện và điều khiển trạng thái vật thể qua IP camera viii DANH MỤC BẢNG BIỂU Bảng 3.1: Bảng so sánh Wireless B/G và Bluetooth .............................. 28 Bảng 4.1: Bảng phân bố màu tập trung .................................................. 35 Bảng 4.2: Kết quả nhận diện.................................................................. 37 Nhận diện và điều khiển trạng thái vật thể qua IP camera 2 Chương 1. Đặt vấn đề 1.1 Lý do chọn đề tài Ngày nay, sự phát triển của khoa học công nghệ nói chung mà công nghệ thông tin nói riêng góp một phần không nhỏ trong sự thay đổi và phát triển của cuộc sống con người. Chiếc máy vi tính ngày càng có nhiều những chức năng mạnh mẽ giúp ích con người thực thi các công việc trong rất nhiều lĩnh vực như khoa học, sản xuất công nghiệp hay các lĩnh vực xã hội khác như kinh tế, chính trị, văn hóa ... Không chỉ máy tính, sự phát triển chóng mặt của các thiết bị di động cầm tay cũng tác động không nhỏ đến đời sống của con người. Những chiếc PDA nhỏ gọn, thông minh không chỉ giúp mọi người liên lạc với nhau dễ dàng hơn, mà nó còn cung cấp rất nhiều những tính năng hữu ích khác như các ứng dụng văn phòng, giải trí, khả năng kết nối mạng để tìm hiểu thông tin.. Với những tính năng mạnh mẽ ấy cộng với giá thành vừa phải đã khiếp các thiết bị này trở nên rất phổ biến và như vật bất ly thân của rất nhiều người. Sự ra đời của các mạng máy tính mà điển hình là internet là bước cách mạng trong truyền thông. Các công nghệ mạng ngày càng đa dạng phong phú với những bước tiến nhảy vọt như mạng toàn cầu, mạng không dây... chúng giúp con người hay cụ thể hơn là giúp kết nối các hệ thống máy tính riêng lẻ lại với nhau tạo ra ra sự liên kết bền chặt trong việc trao đổi thông tin. Kinh tế phát triển, đời sống được nâng cao, nhu cầu của cong người về một cuộc sống thoải mái, an toàn, tiện nghi là điều tất yếu. Chính vì vậy, ý tưởng về nhà thông minh (SmartHomes, SmartHouses, hay Home Automation...) đã ra đời như là ý tưởng về một ngôi nhà thân thiện với các thiết bị vận hành một cách tự động theo ý muốn hay trang thái của chủ nhân. Ý tưởng trên là một ý tưởng thực sự khả thi và đem lại nhiều lợi ích cho con người và nó đã được rất nhiều các nhà khoa học, các tổ chức trong và ngoài nước quan tâm phát triển. Nhà thông minh là một ý tưởng tương đối rộng, nó có thể bảo gồm từ những thiết bị điều khiển đơn giản như điều khiển ti vi bằng điều khiển từ xa cho đến những điều khiển tự động bằng cảm ứng như thay đổi ánh sáng, nhiệt độ phòng tùy theo sở thích của chủ nhân hay thay đổi đề phù hợp với các điều kiện thời tiết thay đổi để tạo sự dễ chịu nhất cho chủ nhân... Cũng vì sự đa dạng ấy nên cũng đã có rất nhiều những kĩ thuật khác nhau đã từng được áp dụng trong các giải pháp về nhà thông minh như điều khiển ánh sáng và khí hậu, điều khiển đóng mở cửa, những hệ thống an ninh Xây dựng hệ thống giám sát và điều khiển nhà thông minh 3 và giám sát, điều khiển hệ thống âm thanh giải trí trong gia đính hay các hệ thống tự động chăm sóc vườn cây... Và các thành phần để triển khai những kĩ thuật này có một số loại như sau: các thiết bị điều khiển bằng phần cứng (hardware controller), các phần mềm điều khiển (software controller), các thiết bị cảm ứng (sensors). Việc kết nối các thành phần này cũng sử dụng rất nhiều loại môi trương truyền dân đa dạng như: có dây (cáp quang, cáp mạng, đường dây điện...) hay không dây (các loại sóng radio bao gồm wi-fi, GPRS, bluetooth, ...; tín hiệu hồng ngoại...) Với các công nghệ và cách thức áp dụng dựa trên những công nghệ trên đã có một số công ty, tổ chức đưa ra hệ thống nhà thông minh hay các thiết bị thành phần trong nhà thông minh. Trong đó có những công ty triển khai những sản phẩm thông minh mang tính thương mại cho từng công việc trong gia đình, công sở. Ngoài ra cũng có một số dự án nghiên cứu của cộng đồng mà nguồn mở về đề tài này như dự án HCS- Home Control System [5], được phát triển từ năm 2004 đến năm 2007, dự án này xây dựng một hệ thống điều khiển cản nhà dựa trên một mạng các thiết bị với những nốt thông minh và một thiết bị điều khiển chủ. N Nó có thể điều khiển các thiết bị số cũng như các thiết bị tương tự. Một cách đơn giản, kiến trúc của nó gồm một bộ xử lý trung tâm kết nối với các mô đun chức năng (sẽ là các thiết bị cần điều khiển) thông qua một mạng. Việc điều khiển các mô đun được thực hiện bởi bộ xử lý trung tâm. Đặc điểm chính của hệ thống này là đa phần được thực hiện bởi phần cứng (các mạnh, bộ vi xử lý...). Một dự án khác cũng đang được phát triển hiện tại là OpenRemote [6], thành phần chính của giải pháp này là một gói các sản phầm phần mềm và phần cứng bao gồm: một phần mềm giao diện được phát triển trên các thiết bị có màn hình cảm ứng (hiện tại đang tập trung vào màn hình cảm ứng của dòng điện thoại iPhone) có chức năng nhận lệnh điều khiển từ người dùng; một phần mềm điều khiển chức năng là nhận lênh từ thiết bị điều khiển và kết nối tới các thiết bị vật lý (hiện nay nó có hỗ trợ chuẩn X10 – một chuẩn công nghệ sử dụng trong truyền thông giữa các thiết bị điện tử thường dùng trong các hệ thống nhà tự động); một thành phần nữa đó là thành phần tích hợp vào trong các thiết bị điện tử để cho phép chúng có thể kết nối được với hệ thống. Những dự án trên cho thấy, các hệ thống nhà thông minh đã phát triển một cách khá rộng rãi và đạt được nhiều thành tựu lớn trên thế giới. Tuy nhiên trong phạm vi nước ta, theo tìm hiểu của chúng tôi, thì các các ứng dụng hay các sản phẩm thuộc về ý tưởng nhà thông minh mới chỉ phát triển ở mức hạn chế, đa phần là cung cấp và triển Nhận diện và điều khiển trạng thái vật thể qua IP camera 4 khai các sản phẩm của nước ngoài một cách riêng lẻ rời rạc, chưa đưa ra được những giải pháp mang tính hệ thống, những giải pháp hoàn chỉnh. Hình 1.1 Mô hình nhà thông minh Từ thực trạng trên chúng tôi muốn đưa ra mô hình của một hệ thống tính toán khắp nơi thực hiện công việc giám sát và điều khiển một căn nhà thông minh sử dụng camera và PPC (hình 1.1). Hình ảnh thu được từ camera sẽ được server (có thể chỉ là một máy tính trong mạng LAN của một gia đình) xử lý và nhận diện các thiết bị có trong hình sau đó hình ảnh này cùng với tọa độ của các thiết bị sẽ được truyền tới PPC thông qua một giao thức mạng không dây, hình ảnh sẽ được tái hiện lên màn hình cảm ứng của PPC. Tại đây người dùng có quan sát trạng thái và chọn thiết bị sau đó ra lệnh điều khiển, lập tức các tín hiệu điều khiển này sẽ được truyền trả về server, server sẽ phân tích và điều khiển thiết bị thực tế đã được kết nối với server qua một giao thức mạng. Một ứng dụng vừa cho phép kiểm soát an ninh, tai nạn... có thể xảy ra bất thường trong nhà, vừa cho phép điều khiển các thiết bị để có một cuộc sống tiện nghi, tự động. 1.2 Phạm vi nghiên cứu và hướng tiếp cận Đề tài đưa ra một mô hình tổng quát của hệ thống giám sát và điều khiển một căn nhà thông minh. Tuy nhiên trong phạm vi khóa luận này, chúng tôi xin được tập trung vào hai thành phần chính của hệ thống đó là mô đun xử lý hình nhận về từ camera và Xây dựng hệ thống giám sát và điều khiển nhà thông minh 5 mô đun điều khiển các thiết bị điện trong gia đình được kết nối với máy tính. Thành phần còn lại là kết nối và điều khiển từ PPC sẽ được thực hiện bởi một bạn khác trong nhóm. 1.2.1 Nhận diện đối tượng trong ảnh số thu được từ camera Như đã biết, nhận diện các đối tượng trong ảnh là một phần rất căn bản và quan trọng trong công nghệ phân tích và xử lý ảnh. Việc nhận diện các đối tượng trong ảnh số một cách tự động gi