Bài giảng Mô hình hóa và nhận dạng hệ thống chương 5: Các phương pháp ước lượng tham số

Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 1 Chương 5 CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ Chương 5: CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ 5.1. Nguyên tắc ước lượng tham số 5.2. Phương pháp sai số dự báo 5.3. Phương pháp hợp lý cực đại 5.4. Phương pháp tương quan 5.5. Thuật toán lặp ước lượng tham số 5.6. Thuật toán đệ qui ước lượng tham số 5.1 NGUYÊN TẮC ƯỚC LƯỢNG THAM SỐ Giả sử chúng ta đã chọn được cấu trúc mô hình thích hợp với hệ thống cần nhận dạng và đưa ra bộ dự báo ),(ˆ θky , đồng thời đã thu thập được N mẫu dữ liệu: { })(),(,),1(),1( NyNuyuZ N …= (5.1) Vấn đề đặt ra là xác định tham số Nθˆ dựa vào thông tin chứa trong ZN. Nguyên tắc ước lượng tham số là dựa vào Zk chúng ta có thể tính được sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε (5.2) Ta cần xác định tham số Nθˆ sao cho sai số dự báo càng nhỏ càng tốt. − Phương pháp sai số dự báo: ước lượng tham số sao cho sai số dự báo tối thiểu. − Phương pháp tương quan: ước lượng tham số sao cho tương quan giữa sai số dự báo và dữ liệu quá khứ bằng 0. 5.2 PHƯƠNG PHÁP SAI SỐ DỰ BÁO 5.2.1 Nguyên tắc ước lượng sai số dự báo Nguyên tắc ước lượng thông số theo phương pháp sai số dự báo là tối thiểu hóa sai số dự báo. Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây: Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 2 1. Chọn cấu trúc mô hình và rút ra bộ dự báo: ),(),(ˆ 1−= kZgky θθ (5.3) Bộ dự báo có thể tuyến tính hay phi tuyến; có thể là mạng thần kinh nhân tạo, hệ mờ, chuổi wavelet,… 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.4) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.5) 4. Chọn tiêu chuẩn đánh giá sai số dự báo: ( )∑ = = N k F N N kN ZV 1 ),(1),( θθ εl (5.6) trong đó l(.) là hàm xác định dương. 5. Tìm tham số θ tối thiểu hóa tiêu chuẩn đánh giá: ),(minargˆ NNN ZV θθ θ= (5.7) Tất cả các phương pháp ước lượng tham số dựa vào biểu thức (5.7) gọi chung là phương pháp sai số dự báo (Prediction Error Method – PEM). Tùy thuộc vào cách chọn: - chuẩn l(.) - bộ lọc L(.) - cấu trúc mô hình - cách giải bài toán tối ưu hóa (5.7) mà ta có các phương pháp nhận dạng cụ thể khác nhau. 5.2.2 Bộ lọc tuyến tính − Bộ lọc L(q) có thể dùng để lọc nhiễu tần số cao hay các thành phần trôi tần số thấp. − Nếu bộ dự báo tuyến tính bất biến và y và u là các đại lượng vô hướng thì kết quả lọc sai số dự báo ε tương đương với lọc dữ liệu y và u trước, sau đó mới đưa dữ liệu đã lọc vào bộ dự báo. − Bộ dự báo cho hệ tuyến tính bất biến là (xem chương 4): )(),(),()()],(1[),(ˆ 11 kuqGqHkyqHky θθθθ −− +−= (5.8) Sai số dự báo: Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 3 )](),()()[,(),( 1 kuqGkyqHk θθθ −= −ε (5.9) Sai số dự báo sau khi qua bộ lọc: )](),()()[,()(),( 1 kuqGkyqHqLkF θθθ −= −ε )](),()([)],()([ 11 kuqGkyqHqL θθ −= −− (5.10) Biểu thức (5.10) cho thấy ảnh hưởng của bộ lọc sai số dự báo tương đương với việc đổi mô hình nhiễu từ ),( θqH sang ),()(),( 1 θθ qHqLqH −= . ⇒ Khi mô tả và phân tích các phương pháp nhận dạng, ta thường giới hạn trong trường hợp L(q) ≡ 1. 5.2.3 Tiêu chuẩn ước lượng tham số Thường chuẩn ước lượng tham số được chọn là chuẩn toàn phương: ∑ = = N k F N N kN ZV 1 2 ),(1),( θθ ε (5.11) Chuẩn toàn phương có thuận lợi là tính toán và phân tích dễ dàng, tuy nhiên cũng có thể chọn các chuẩn khác như: Chuẩn l1: ∑ = = N k F N N kN ZV 1 ),(1),( θθ ε (5.12) Chuẩn l∞: ),(max),( 1 θθ kZV FNk N N ε≤≤= (5.13) Chuẩn ước lượng tham số cũng có thể là chuẩn biến đổi theo thời gian: ∑ = = N k F N N kkNZV 1 )),((),(),( θθ εβ l (5.14) • Biểu diễn tiêu chuẩn sai số dự báo toàn phương cho hệ tuyến tính bất biến trong miền tần số: Xét hệ tuyến tính bất biến tổng quát: )()()()()( keqHkuqGky += (5.15) Bộ dự báo cho hệ tuyến tính bất biến là: )(),(),()()],(1[),(ˆ 11 kuqGqHkyqHky θθθθ −− +−= (5.16) Sai số dự báo: )](),()()[,(),( 1 kuqGkyqHk θθθ −= −ε (5.17) Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 4 Biến đổi DFT của ),( θkε là: ∑ = −= N k kj lN lek N E 1 ),(1),( ωεω θθ (5.18) trong đó N l l πω 2= , l = 0, 1,…, N –1. Theo định lý Parseval, ta có: ∑∑ − == = 1 0 2 1 2 ),(),( N l lN N k Ek θθ ωε (5.19) Thay (5.19) vào (5.11) ta được: ∑− = = 1 0 2),(1),( N l lN N N EN ZV θθ ω (5.20) Mặt khác, do (5.17) nên theo định lý 2.1 (Ljung 1999, page 31) ta có: { } )(~)(),()(),(),( 1 lNjlN RkuqGkyDFTeHE l ωω ω +−= −− θθθ { }[ ] )(~)(),()(),(1 lNlNj RkuqGDFTYeH l ωωω +−= −− θθ { }[ ] )(~)()(),()(),(1 lNlNlNjlNj RRUeGYeH ll ωωωω ωω ++−= −−− θθ [ ])(),()(),(1 lNjlNj UeGYeH ll ωω ωω θθ −−− −≈ ⎥⎦ ⎤⎢⎣ ⎡ −= −−− ),( )( )()(),(1 θθ ll j lN lN lN j eG U YUeH ωω ω ωω ⎥⎦ ⎤⎢⎣ ⎡ −= −−−− ),()(ˆˆ)(),(1 θθ lll jjlNj eGeGUeH ωωω ω (5.21) Đặt: 2 2 ),( )( ),( θ θ ω ωω j N eH U Q − = (5.22) Thay (5.21) vào (5.20) ta được: ∑− = −− ⎥⎦ ⎤⎢⎣ ⎡ −≈ 1 0 2 ),(),()(ˆˆ1),( N l l jjN N QeGeGN ZV ll θθθ ωωω ⇒ ∫ − −− ⎥⎦ ⎤⎢⎣ ⎡ −≈ π π ωω ωωπ dQeGeGZV jjN N ),(),()( ˆˆ 2 1),( 2 θθθ (5.23) Biểu thức (5.23) có thể xem như là một cách khác để trơn hóa đặc tính tần số thực nghiệm )(ˆˆ ωjeG − . Điều này chứng tỏ phương pháp phân tích phổ và phương pháp sai số dự báo có tương quan với nhau. Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 5 5.2.4 Mô hình hồi qui tuyến tính và phương pháp bình phương tối thiểu Ở chương 4 chúng ta đã thấy cấu trúc hồi qui tuyến tính rất hữu ích trong việc mô tả hệ tuyến tính và hệ phi tuyến. Tổng quát, bộ dự báo hồi qui tuyến tính có dạng: )()(),(ˆ kkky T μ+= θϕθ (5.24) Sai số dự báo là: )()()(),(ˆ)(),( kkkykykyk T με −−=−= θϕθθ (5.25) • Tiêu chuẩn bình phương tối thiểu: [ ]∑∑ == −−== N k T N k N N kkkyN k N ZV 1 2 1 2 )()()(1),(1),( με θϕθθ (5.26) Do VN có dạng toàn phương nên chúng ta có thể tìm cực tiểu bằng cách cho đạo hàm bậc 1 theo tham số bằng 0. { } 0),( =NN ZVdd θθ ⇒ ( ) 0)()()(1 1 2 =⎭⎬ ⎫ ⎩⎨ ⎧ −−∑ = N k T kkky Nd d μθϕθ ⇒ ( ) 0)()()()(2 1 =−−− ∑ = N k T kkkyk N μθϕϕ ⇒ [ ] ∑∑ == =− N k T N k kkkkyk 11 )()()()()( θϕϕϕ μ ⇒ [ ]⎥⎦ ⎤⎢⎣ ⎡ −⎥⎦ ⎤⎢⎣ ⎡= ∑∑ = − = N k N k TLS N kkykkk 1 1 1 )()()()()(ˆ μϕϕϕθ (5.27) • Tính chất của ước lượng bình phương tối thiểu: Giả sử ngõ ra của hệ thống thực cho bởi: )()()()( 00 kvkkky T ++= μθϕ (5.28) Thay (5.28) vào (5. 27) ta được: [ ]⎥⎦⎤⎢⎣⎡ +⎥⎦⎤⎢⎣⎡= ∑∑ = − = N k T N k TLS N kvkkkk 1 00 1 1 )()()()()(ˆ θϕϕϕϕθ ⎥⎦ ⎤⎢⎣ ⎡⎥⎦ ⎤⎢⎣ ⎡+= ∑∑ = − = N k N k TLS N kvkkk 1 0 1 1 0 )()()()(ˆ ϕϕϕθθ Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 6 ⎥⎦ ⎤⎢⎣ ⎡⎥⎦ ⎤⎢⎣ ⎡=− ∑∑ = − = N k N k TLS N kvkN kk N 1 0 1 1 0 )()( 1)()(1ˆ ϕϕϕθθ *1*0 )(ˆlim fR LS NN − ∞→ =−θθ (5.29) trong đó: )()()()(1lim 1 * kkEkk N R T N k T N ϕϕϕϕ =⎥⎦ ⎤⎢⎣ ⎡= ∑ =∞→ (5.30) )()()()(1lim 0 1 0 * kvkEkvk N f N tN ϕϕ =⎥⎦ ⎤⎢⎣ ⎡= ∑ =∞→ (5.31) Như vậy điều kiện để ước lượng bình phương tối thiểu là ước lượng vững, nghĩa là LSNθˆ hội tụ đến tham số của hệ thống là: − R* không suy biến. − f* = 0: điều này xảy ra khi { })(0 kv là chuổi của các biến ngẫu nhiên độc lập có trung bình bằng 0 (nhiễu trắng) hoặc tín hiệu vào { })(ku là chuổi độc lập với chuổi { })(0 kv có trung bình bằng 0 và vector hồi qui không chứa tín hiệu ra trong quá khứ (na = 0). • Tiêu chuẩn bình phương tối thiểu có trọng số: [ ]∑ = −−= N k TN N kkkykNZV 1 2 )()()(),(),( μβ θϕθ (5.32) Tương tự như trên, tham số ước lượng xác định bởi biểu thức: [ ]⎥⎦ ⎤⎢⎣ ⎡ −⎥⎦ ⎤⎢⎣ ⎡= ∑∑ = − = N k N k TLS N kkykkNkkkN 1 1 1 )()()(),()()(),(ˆ μββ ϕϕϕθ (5.33) 5.3 PHƯƠNG PHÁP HỢP LÝ CỰC ĐẠI (Maximum Likelihood Method) 5.3.1 Bộ ước lượng và nguyên tắc hợp lý cực đại − Lĩnh vực suy luận thống kê, cũng như nhận dạng hệ thống và ước lượng tham số liên quan đến bài toán rút ra thông tin từ dữ kiện quan sát mà bản thân các dữ kiện quan sát này có thể không tin cậy. − Dữ kiện quan sát có thể mô tả là thể hiện của biến ngẫu nhiên. − Giả sử dữ kiện quan sát có thể biểu diễn bằng biến ngẫu nhiên: { })(,),2(,)1( NyyyN …=y (5.34) có hàm mật độ xác suất là: Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 7 );(),,,;( 21 N N fxxxf xy θθ =… (5.35) tức là: ∫ ∈ =∈ A NNN N dfAP x y xxy );()( θ (5.36) trong đó θ là vector tham số mô tả tính chất của biến quan sát được. − Giả sử vector tham số θ chưa biết và mục đích của việc quan sát biến yN là để ước lượng θ, điều này có thể thực hiện được bằng bộ ước lượng )(ˆ Nyθ . Nếu giá trị quan sát được của Ny là N*y thì giá trị tham số ước lượng là )(ˆˆ N*yθθ =∗ . − Có thể có nhiều bộ ước lượng khác nhau. − Bộ ước lượng hợp lý cực đại: là bộ ước lượng sao cho cực đại hóa xác suất sự kiện quan sát. Vì: );(~)( ** NNN fP yyy y θ= (5.37) Nên bộ ước lượng hợp lý cực đại xác định bởi: );(maxarg)(ˆ ** NNML f yy y θθ θ= (5.38) Thí dụ: Giả sử y(i), i = 1, 2, …, N là các biến ngẫu nhiên độc lập có phân bố chuẩn với giá trị trung bình là θ0 (chưa biết) và phương sai là λi (đã biết). Bài toán đặt ra là ước lượng θ0 từ các giá trị quan sát. • Cách thường dùng để ước lượng θ0 là lấy trung bình mẫu: ∑ = = N i SM iy N 1 )(1θˆ (5.39) • Cách khác để ước lượng θ0 là dùng phương pháp hợp lý cực đại. Vì hàm mật độ xác suất của các biến ngẫu nhiên có phân bố chuẩn là: ⎥⎦ ⎤⎢⎣ ⎡ −− i i i x λ θ πλ 2 )(exp 2 1 2 (5.40) và do các biến ngẫu nhiên độc lập nhau nên: ∏ = ⎥⎦ ⎤⎢⎣ ⎡ −−= N i i i i N y xxf 1 2 2 )(exp 2 1);( λ θ πλθ (5.41) Vì vậy hàm hợp lý cho bởi );( Ny yf θ . Vì cực đại hóa hàm hợp lý tương đương với cực đại hóa logarithm của nó nên: Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 8 ),(logmaxarg)(ˆ Ny NML yfy θθ θ= ⎭⎬ ⎫ ⎩⎨ ⎧ −−−−= ∑ ∑ = = N i N i i i iyN 1 1 2])([ 2 1log 2 12log 2 maxarg λ θλπθ (5.42) Biểu thức trên đạt cực đại khi: min])([ 2 1 1 2 →−∑ = N i i iy λ θ ⇒ 0])([ 1 =−∑ = N i i iy λ θ ⇒ ∑ ∑ = = = N i i N i i NML iyy 1 1 )( )/1( 1)(ˆ λλ θ (5.43) Để ý rằng nếu phương sai của tất cả các biến ngẫu nhiên đều bằng nhau thì công thức (5.43) và công thức (5.39) cho kết quả ước lượng như nhau. 5.3.2 Phương pháp hợp lý cực đại ước lượng tham số hệ thống động Mô hình xác suất của hệ thống động: );,(),(ˆ 1 θθ −= kZkgky ),(ˆ)(),( θθ kykyk −=ε độc lập và (5.44) có hàm mật độ xác suất là );,( θkxfe Hàm hợp lý cho mô hình xác suất của hệ thống động (xem bổ đề 5.1, Ljung 1999, trang163): ( ) ( )∏∏ == − =−= N t e N k k e N y kkfkZkgkyfyf 11 1 ,),,(,),,,()();( θθθθθ ε (5.45) Cực đại hóa hàm (5.45) tương đương cực đại hóa hàm: ( )∑ = = N k e N y kkfN yf N 1 ,),,(log1);(log1 θθθ ε (5.46) Định nghĩa: ( )θθθ ,),,(log),,( kkfk e εε −=l (5.47) Ta có thể viết: ∑ = = N k ML kk N 1 ),),,((1minargˆ θθ θ εlθ (5.48) Biểu thức trên cho thấy phương pháp hợp lý cực đại là một trường hợp riêng của phương pháp sai số dự báo. Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 9 Trường hợp đặc biệt: nếu sai số dự báo là đại lượng ngẫu nhiên có phân bố Gauss có trung bình bằng 0 và phương sai λ thì (5.48) trở về trường hợp bình phương tối thiểu. Thật vậy: ⎥⎦ ⎤⎢⎣ ⎡−= λ ε πλε 2 ),(exp 2 1),,( 2 θθ kkfe ⇒ λ επλεε 2 ),(2log 2 1),,(log),,( 2 θθθ kkfk e +=−=l (5.49) 5.4 PHƯƠNG PHÁP TƯƠNG QUAN (Correlation Method) 5.4.1 Nguyên tắc ước lượng tương quan Nguyên tắc ước lượng thông số theo phương pháp tương quan là tương quan giữa sai số dự báo và các phần tử hồi qui phải bằng 0. Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây: 1. Chọn cấu trúc mô hình và rút ra bộ dự báo: ),(),(ˆ 1−= kZgky θθ (5.50) 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.51) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.52) 4. Chọn chuổi vector tương quan: ),,(),( 1 θθ −= kZkk ζζ (5.53) 5. Chọn hàm )(εα . 6. Tìm tham số θ là nghiệm của phương trình: ]0),([ solˆ == NNN Zf θθ θ (5.54) trong đó: ∑ = = N k F N N kkN Zf 1 )),((),(1),( θθθ εαζ (5.55) • Ước lượng hồi qui tuyến tính giả: Mô hình hồi qui tuyến tính giả (Pseudo Linear Regression – PLR): θθϕθ ),(),(ˆ kky T= (5.56) Chọn: 1)( =qL Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 10 ),(),( θϕθζ kk = ),()),(( θθ kk εεα = ⎭⎬ ⎫ ⎩⎨ ⎧ =⎟⎠ ⎞⎜⎝ ⎛ −= ∑ = 0]),()()[,(1solˆ 1 N k TPLR N kkykN θθϕθϕθ θ (5.57) Lôøi giaûi cuûa baøi toaùn (5.57) coù theå tìm baèng thuaät toaùn laëp: ⎥⎦ ⎤⎢⎣ ⎡⎥⎦ ⎤⎢⎣ ⎡= ∑∑ = − − = −− N k i N N k i N Ti N i N kykkk 1 )1( 1 1 )1()1()( )()ˆ,()ˆ,()ˆ,(ˆ θϕθϕθϕθ (5.58) 5.4.2 Phương pháp biến công cụ Phương pháp biến công cụ có thể xem là trường hợp riêng của phương pháp tương quan áp dụng cho mô hình hồi qui tuyến tính nhằm ước lượng đúng thông số của hệ thống trong trường hợp nhiễu v(k) có tương quan với các phần tử hồi qui liên quan đến tín hiệu ra trong quá khứ. 1. Chọn cấu trúc mô hình và rút ra bộ dự báo: θϕθ )(),(ˆ kky T= (5.59) 2. Từ dữ liệu quan sát và bộ dự báo ),(ˆ θky , thành lập chuổi sai số dự báo: ),(ˆ)(),( θθ kykyk −=ε , k =1, 2, …, N (5.60) 3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần. ),()(),( θθ kqLkF εε = (5.61) 4. Choïn bieán coâng cuï ),( θkζ sao cho: { })(),( kkE Tϕθζ khoâng suy bieán { } 0)(),( =kvkE θζ Coù theå choïn: )(),(),( kuqk u θθζ K= (5.62) trong ñoù ),( θquK laø vector coät goàm d boä loïc tuyeán tính ( )(dim kd ϕ= ). 5. Chọn hàm )(εα . 6. Tìm tham số θ là nghiệm của phương trình: ]0),([ solˆ == NNN Zf θθ θ (5.63) Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 11 trong đó: ∑ = = N k F N N kkN Zf 1 )),((),(1),( θθθ εαζ (5.64) 5.5 THUẬT TOÁN LẶP ƯỚC LƯỢNG THAM SỐ Ở mục 5.1 ta đã biết để ước lượng tham số mô hình ta cần tìm cực trị của hàm: ( ) min),,(1),( 1 →= ∑ = N k N N kN ZV θθθ εl (pp sai số dự báo) (5.65) hoặc tìm nghiệm của phương trình: 0)),((),(1),( 1 == ∑ = N k N N kkN Zf θθθ εαζ (pp tương quan) (5.66) Trong trường hợp tổng quát, không thể tìm được lời giải giải tích của (5.65) và (5.66) → cần tìm lời giải bằng phương pháp số (numerical method) 5.5.1 Tối ưu hóa bằng phương pháp số Thuật toán Newton tìm lời giải bài toán tối ưu (5.65) bằng công thức lặp: [ ] ),ˆ(),ˆ(ˆˆ )(1)()()1( NiNNNiNNiNiN ZVZV θθθθ ′′′−= −+ (5.67) Xét trường hợp hệ một đầu ra và chỉ tiêu ước lượng tham số dạng toàn phương: ∑ = = N k N N kN ZV 1 2 ),(1),( θθ ε (5.68) Ta có: • Đạo hàm bậc 1 của (.)NV : ∑ = −=′ N k N N kkN ZV 1 ),(),(2),( θθθ εψ (5.69) trong đó: θ θθ ∂ ∂= ),(ˆ),( kykψ (5.70) T d kykykyk ⎥⎦ ⎤⎢⎣ ⎡ ∂ ∂ ∂ ∂ ∂ ∂= θθθψ ),(ˆ ),(ˆ ),(ˆ),( 21 θθθθ … (5.71) • Đạo hàm bậc 2 của (.)NV : ∑ = ⎥⎦ ⎤⎢⎣ ⎡ ∂ ∂−=′′ N k TN N k kkk N ZV 1 ),(),(),(),(2),( θθ θθθθ εψψψ (5.72) Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 12 Tính chính xác ),( NN ZV θ′′ theo biểu thức (5.72) cần rất nhiều phép tính → không hiệu quả. Tùy theo cách tính gần đúng ),( NN ZV θ′′ mà thuật toán Newton có các phiên bản sau: • Thuật toán suy giảm độ dốc: )ˆ,().ˆ,(ˆˆ )( 1 )()()()1( i N N k i N ii N i N kk θθθθ εψμ ∑ = + += (5.73) • Thuật toán Gauss–Newton suy giảm: )ˆ,().ˆ,()ˆ,()ˆ,(ˆˆ )( 1 )( 1 1 )()()()()1( i N N k i N N k i N Ti N ii N i N kkkk θθθθθθ εψψψμ ∑∑ = − = + ⎥⎦ ⎤⎢⎣ ⎡+= (5.74) trường hợp 1)( =iμ thuật toán trên được gọi là thuật toán Gauss–Newton. • Thuật toán Levenberg–Marquardt: )ˆ,().ˆ,()ˆ,()ˆ,(ˆˆ )( 1 )( 1 )( 1 )()()()1( i N N t i N i N k i N Ti N i N i N kkIkk θθθθθθ εψμψψ ∑∑ = − = + ⎥⎦ ⎤⎢⎣ ⎡ +⎟⎠ ⎞⎜⎝ ⎛+= (5.75) Trong các thuật toán trên, độ dài bước (step size) )(iμ là hệ số dương được chọn sao cho: ),ˆ(),ˆ( )()1( NiNN Ni NN ZVZV θθ <+ (5.76) 5.5.2 Tìm nghiệm phương trình bằng phương pháp số Các thuật toán số tìm nghiệm phương trình (5.66) tương tự như các thuật toán tìm lời giải tối ưu. Thuật toán thay thế (substitution method): ),ˆ(ˆˆ )()()()1( NiNNiiNiN Zf θθθ μ−=+ (5.77) Thuật toán Newton–Raphson: [ ] ),ˆ(),ˆ(ˆˆ )(1)()()()1( NiNNNiNNiiNiN ZfZf θθθθ −+ ′−= μ (5.78) 5.5.3 Tính toán đạo hàm Để sử dụng các công thức (5.73), (5.74), (5.75) và (5.78) ta phải tính đạo hàm theo tham số của bộ dự báo: Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 13 T d kykykykyk ⎥⎦ ⎤⎢⎣ ⎡ ∂ ∂ ∂ ∂ ∂ ∂=∂ ∂= θθθψ ),(ˆ ),(ˆ ),(ˆ),(ˆ),( 21 θθθ θ θθ … (5.79) Đạo hàm ),( θkψ có thể tính dễ dàng hay khó khăn hoàn toàn tùy thuộc vào cấu trúc mô hình. Trong nhiều trường hợp ta không thể tìm được ),( θkψ bằng biểu thức giải tích mà phải tính đạo hàm gần đúng bằng phép tính sai phân. • Mô hình hộp đen tuyến tính SISO: )( )( )()( )( )()()( ke qD qCku qF qBkyqA += (5.80) Bộ dự báo: )( )()( )()()( )( )()(1),(ˆ ku qFqC qBqDky qC qAqDky +⎥⎦ ⎤⎢⎣ ⎡ −=θ (5.81) Do đó: )( )( )(),(ˆ lky qC qDky ak −−=∂ ∂ θ )( )()( )(),(ˆ lku qFqC qDky bl −=∂ ∂ θ ),( )( 1)( )()()( )()()( )()( )()(),(ˆ θθ lk qC lku qFqCqC qBqDlky qCqC qAqDky cl −=−−−=∂ ∂ ε ),( )( 1)( )()( )()( )( )(),(ˆ θθ lkv qC lku qFqC qBlky qC qAky dl −−=−+−−=∂ ∂ ),( )()( )()( )()()( )()(),(ˆ θθ lkw qFqC qDlku qFqFqC qBqDky fl −−=−−=∂ ∂ • Mô hình hộp đen phi tuyến: ♦ Bộ dự báo cấu trúc lưới: ∑∑ == +=== l i i T ii l i ii ggky 11 )()(),(),(ˆ γκαα ϕβϕθϕθ (5.82) Dễ dàng tính được: )(),(ˆ i T i i ky γκα +=∂ ∂ ϕβθ Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 14 ji T ii ij ky ϕγκαβ )(),(ˆ +′=∂ ∂ ϕβθ )(),(ˆ i T ii i ky γκαγ +′=∂ ∂ ϕβθ ♦ Bộ dự báo cấu trúc xuyên tâm: (học viên tự tính) ♦ Bộ dự báo cấu trúc tích tensor: ∑ ∏∑ = == −=== l i d j ijjiji l i ii ggky 1 11 ))(()(),(),(ˆ γϕβκαα ϕθϕθ Đạo hàm của bộ dự báo theo tham số như sau: ∏ = −=∂ ∂ d j ijjij i ky 1 ))((),(ˆ γϕβκα θ [ ] )())(())((),(ˆ 1 ijjijjij d jk k ikkiki ij ky γϕγϕβκγϕβκαβ −−′⎥⎥⎦ ⎤ ⎢⎢⎣ ⎡ −=∂ ∂ ∏ ≠= θ [ ] ijijjijd jk k ikkiki ij ky βγϕβκγϕβκαγ )())((),(ˆ 1 +′⎥ ⎥ ⎦ ⎤ ⎢⎢⎣ ⎡ −−=∂ ∂ ∏ ≠= θ • Tính ñaïo haøm gaàn ñuùng baèng pheùp tính sai phaân: l ll l kyekyky Δ −Δ+≈∂ ∂ ),(ˆ),(ˆ),(ˆ θθθθ (5.83) trong ñoù lΔ laø heä soá döông nhoû vaø [ ]Tle 00100 ……= (5.84) ↑ Phaàn töû thöù l 5.5.4 Lời giải cục bộ và giá trị khởi động − Thuật toán tối ưu hóa số tìm giá trị *ˆNθ thỏa mãn phương trình: 0),( =′ NN ZV θ do đó chỉ tìm được lời giải tối ưu cục bộ. − Khi ước lượng tham số ta mong muốn tìm được lời giải tối ưu toàn cục. − Để tìm được lời giải tối ưu toàn cục, cách thông thường là chạy thuật toán lặp nhiều lần với các giá trị khởi động khác nhau. Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ © Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động 15 − Bằng cách chọn độ dài bước thích hợp có thể tăng khả năng tìm được lời giải tối ưu toàn cục. − C