TimTaiLieu.vn - Tài liệu, ebook, giáo trình, đồ án, luận văn

Vì do khoảng x như nhau, còn khoảng y khác nhau, nên giá trị biên bên trái của y ta lấy giá trị nhỏ nhất của 2 đồ thị, giá trị biên bên phải của y ta lấy giá trị lớn nhất của 2 đồ thị Xuất phát từ 1 điểm x0 đầu tiên, kẻ đường thẳng đứng cắt với đường cong y tại 1 điểm. Dựng tiếp tuyến với y tại điểm đó. Đường tiếp tuyến sẽ cắt trục hoành t...

48 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 343 | Lượt tải: 0

Phát biểu của một vấn đề tối ưu hóa 8 - Thường là: • Khối lượng của một vật hay chi tiết, cụm vật, v.v • Ứng suất, độ bền • Chuyển vị, độ cứng • Giá thành, chi phí • Hiệu suất, công suất, năng suấtPhát biểu của một vấn đề tối ưu hóa 9 Thường là các điều kiện liên quan đến: - ngưỡng giới hạn của một hiện tượng vật l{ nào đó - ngưỡng giới h...

52 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 392 | Lượt tải: 0

Comparson to frst-order methods At a hgh-level: Memory: each teraton of Newton’s method requres O(n2) storage (n × n Hessan); each gradent teraton requres O(n) storage (n-dmensonal gradent). Computaton: each Newton teraton requres O(n3) flops (solvng a dense n × n lnear system); each gradent teraton requres O(n) flops (scalng/addng n-dmens...

22 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 360 | Lượt tải: 0

End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. But SGD s slow to converge, can’t adapt to strong convexty. And mn-batches seem to be a wash n terms of flops (though they can stll be useful n practce). End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. Bu...

24 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 298 | Lượt tải: 0

What good did this do? You have a right to be suspicious . may look like we just swapped one minimization problem for another. Key point is that proxh(·) is can be computed analytically for a lot of important functions h1. Note: I Mapping proxh(·) doesn’t depend on g at all, only on h. I Smooth part g can be complicated, we only need to comp...

50 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 301 | Lượt tải: 0

Improving on the subgradient method In words, we cannot do better than the O(1="2) rate of subgradient method (unless we go beyond nonsmooth first-order methods). So instead of trying to improve across the board, we will focus on minimizing composite functions of the form f (x) = g(x) + h(x) where g is convex and differentiable, h is convex a...

34 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 259 | Lượt tải: 0

Why subgradients? Subgradients are important for two reasons: I Convex analysis: optimality characterization via s monotonicity, relationship to duality. I Convex optimization: if you can compute subgrad you can minimize any convex function.

36 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 279 | Lượt tải: 0

Exact line search We could also choose step to do the best we can along direction of negative gradient, called exact line search: t = argmins≥0 f (x − srf (x)): Usually not possible to do this minimization exactly. Approximations to exact line search are typically not as efficient as backtracking and it’s typically not worth it.

31 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 418 | Lượt tải: 0

Lựa chọn độ dài bước Để tìm cực tiểu địa phương với độ chính xác vừa phải có thể ta phải tính rất nhiều lần hàm mục tiêu f và gradient Vf. Chiến lược thực tế hơn đó là chúng ta tìm các độ dài bước đủ tốt theo nghĩa hàm mục tiêu phải giảm đủ nhiều. Lựa chọn độ dài bước Để tìm cực tiểu địa phương với độ chính xác vừa phải có thể ta phải tính rất ...

54 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 358 | Lượt tải: 0

Tổng quan về thuật toán Các thuật toán đều đòi hỏi được cung cấp một điểm xuất phát Xo. + Từ đó thuật toán tạo ra chuỗi X1, X2,. • Thuật toán sẽ dừng lại nếu không có sự cải thiện hay có vẻ nghiệm đã xấp xỉ đủ tốt. Có 2 chiến thuật cơ bản để tính điểm tiếp theo XK+1 từ điểm hiện tại xk, đó là line search và trust region.

47 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 436 | Lượt tải: 1