TimTaiLieu.vn - Thư viện tài liệu, ebook, đồ án, luận văn, tiểu luận, giáo trình các lĩnh vực CNTT, Ngoại ngữ, Luật, Kinh doanh, Tài chính, Khoa học...
Phương pháp thế trực tiếp có vẻ đơn giản về mặt lý thuyết, nhưng trên thực tế lại có những hạn chế khi sử dụng. Đó chính là những biểu thức hàm ràng buộc gi(x) thường là các hàm phi tuyến phức tạp nên khó có thể rút ra được biểu thức biểu diễn tham biến qua các tham biến khác từ những hàm phức tạp này. Chính vì vậy, chúng chỉ có thể áp dụng...
26 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 573 | Lượt tải: 0
Tối ưu hàm nhiều biến không ràng buộc Cho 2 vật rắn không ma sát A, B liên kết bởi 3 lò xo đàn hồi với độ cứng lần lượt là k1, k2, k3. Các lò xo ở vị trí tự nhiên (không co – giãn) khi P=0. Với P≠0 hãy tìm các chuyển vị x1, x2 theo nguyên l{ cực tiểu thế năng. Tối ưu hàm nhiều biến không ràng buộc Dưới tác dụng của lực P, 2 vật sẽ có chuyển...
17 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 545 | Lượt tải: 0
Vì do khoảng x như nhau, còn khoảng y khác nhau, nên giá trị biên bên trái của y ta lấy giá trị nhỏ nhất của 2 đồ thị, giá trị biên bên phải của y ta lấy giá trị lớn nhất của 2 đồ thị Xuất phát từ 1 điểm x0 đầu tiên, kẻ đường thẳng đứng cắt với đường cong y tại 1 điểm. Dựng tiếp tuyến với y tại điểm đó. Đường tiếp tuyến sẽ cắt trục hoành t...
48 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 536 | Lượt tải: 0
Phát biểu của một vấn đề tối ưu hóa 8 - Thường là: • Khối lượng của một vật hay chi tiết, cụm vật, v.v • Ứng suất, độ bền • Chuyển vị, độ cứng • Giá thành, chi phí • Hiệu suất, công suất, năng suấtPhát biểu của một vấn đề tối ưu hóa 9 Thường là các điều kiện liên quan đến: - ngưỡng giới hạn của một hiện tượng vật l{ nào đó - ngưỡng giới h...
52 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 740 | Lượt tải: 0
Comparson to frst-order methods At a hgh-level: Memory: each teraton of Newton’s method requres O(n2) storage (n × n Hessan); each gradent teraton requres O(n) storage (n-dmensonal gradent). Computaton: each Newton teraton requres O(n3) flops (solvng a dense n × n lnear system); each gradent teraton requres O(n) flops (scalng/addng n-dmens...
22 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 625 | Lượt tải: 0
End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. But SGD s slow to converge, can’t adapt to strong convexty. And mn-batches seem to be a wash n terms of flops (though they can stll be useful n practce). End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. Bu...
24 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 465 | Lượt tải: 0
What good did this do? You have a right to be suspicious . may look like we just swapped one minimization problem for another. Key point is that proxh(·) is can be computed analytically for a lot of important functions h1. Note: I Mapping proxh(·) doesn’t depend on g at all, only on h. I Smooth part g can be complicated, we only need to comp...
50 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 454 | Lượt tải: 0
Improving on the subgradient method In words, we cannot do better than the O(1="2) rate of subgradient method (unless we go beyond nonsmooth first-order methods). So instead of trying to improve across the board, we will focus on minimizing composite functions of the form f (x) = g(x) + h(x) where g is convex and differentiable, h is convex a...
34 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 410 | Lượt tải: 0
Why subgradients? Subgradients are important for two reasons: I Convex analysis: optimality characterization via s monotonicity, relationship to duality. I Convex optimization: if you can compute subgrad you can minimize any convex function.
36 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 468 | Lượt tải: 0
Exact line search We could also choose step to do the best we can along direction of negative gradient, called exact line search: t = argmins≥0 f (x − srf (x)): Usually not possible to do this minimization exactly. Approximations to exact line search are typically not as efficient as backtracking and it’s typically not worth it.
31 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 627 | Lượt tải: 0