Bài giảng Huấn luyện mạng

GV: Lê Hoài Long Huấn luyện mạng Phần GV: Lê Hoài Long Học của mạng neuron Một bước rất quan trọng của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học GV: Lê Hoài Long Học của mạng neuron Có hai cách học khác nhau trong mạng neuron nhân tạo : Học thông số (parameter learning) và học cấu trúc (structure learning). Hầu hết trong các nghiên cứu trong ngành quản lý xây dựng, ta dùng cách học thông số để huấn luyện mạng GV: Lê Hoài Long Học thông số Học thông số là phương pháp học bằng cách cập nhật trọng số kết nối. Vấn đề đặt ra là tìm cách nào để tìm ra một ma trận trọng số thực sự của mạng xấp xỉ với ma trận W trong quá trình xử lý thông tin? Chế độ học thông số được áp dụng là chế độ học giám sát GV: Lê Hoài Long Học giám sát (supervised) GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Giải thuật được sử dụng để huấn luyện các mạng nuôi tiến nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi tuyến. Giải thuật sẽ cung cấp một thủ tục cho việc cấp nhật các trọng số kết nối trong mạng truyền ngược từ lớp neuron đầu ra đến lớp neuron đầu vào. GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Giải thuật vận hành theo hai luồng dữ liệu. Đó là: Đầu tiên, các mẫu huấn luyện được truyền từ lớp neuron đầu vào đến lớp đầu ra và cho kết quả thực sự y(k) của lớp neuron đầu ra. Sau đó, tín hiệu sai lệch giữa đầu ra mong muốn và đầu ra thực sự của mạng truyền ngược từ lớp đầu ra đến các lớp đứng trước để cập nhật các trọng số kết nối trong mạng. GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Việc áp dụng phương pháp lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính : ánh xạ và lan truyền ngược sai số. Quá trình luyện mạng được bắt đầu với các trọng số tùy ý có thể là các số ngẫu nhiên và tiến hành lặp đi lặp lại. Mỗi lần lặp được gọi là một thế hệ. Trong mỗi thế hệ, mạng hiệu chỉnh các trọng số sao cho sai số giảm dần. GV: Lê Hoài Long Thuật toán tối ưu hóa trong huấn luyện Ba thuật toán hay sử dụng nhất đó là: Steepest descent, Newton, và conjugate gradient Ba thuật toán này sẽ được trình bày bởi một nhóm tiểu luận GV: Lê Hoài Long Nhiễu Thiếu thông tin Thông tin không chính xác Thông tin thiếu. GV: Lê Hoài Long Quá khớp (lack of generality) Nghĩa là mạng không có khả năng tổng quát hoá, điều mà ta cần khi sử dụng mạng Mạng sẽ trả lời chính xác những gì nó được học còn những gì nó không được học nó không quan tâm GV: Lê Hoài Long Quá khớp (lack of generality) Việc huấn luyện mạng với số bước lớn hơn cần thiết. Nguyên nhân là mạng đã được luyện quá khớp với dữ liệu học (kể cả nhiễu). Mạng bị quá khớp được đặt biệt quan tâm. Tính linh động của lan truyến ngược là lý do khiến nó có thể thực hiện công việc tạo mô hình tốt hơn hồi qui tuyến tính, nhưng cũng vì thế có thể dễ dẫn đến vấn đề quá khớp. GV: Lê Hoài Long Quá khớp (lack of generality) GV: Lê Hoài Long Quá trình phát triển của mô hình neuron GV: Lê Hoài Long Đánh giá mô hình Đánh giá dựa trên sai số Sai số phần trăm (percentage error) Sai số phần trăm tuyệt đố trung bình (Mean absolute percentage error) GV: Lê Hoài Long Đánh giá mô hình Sai số bình phương trung bình (Mean squared error) Sai số căn bậc hai bình phương trung bình (Root mean squared error) GV: Lê Hoài Long Đánh giá mô hình Đánh giá dựa trên độ phù hợp (goodness of fit) Hệ số xác định (coefficient of determination) Hệ số xác định điều chỉnh (Adjusted coefficient of determination) GV: Lê Hoài Long Bài đọc Ước lượng chi phí xây dựng chung cư bằng mạng neuron nhân tạo (Phan Văn Khoa và các Tác giả) Tạp chí phát triển Khoa học và Công nghệ - Quyển 10, Số 11, 2007 GV: Lê Hoài Long Đề xuất một qui trình nghiên cứu GV: Lê Hoài Long Đề xuất một qui trình nghiên cứu