TimTaiLieu.vn - Tài liệu, ebook, giáo trình, đồ án, luận văn

Bài viết này được phát triển từ bài viết “Các phương pháp và kỹ thuật chứng minh” mà chúng tôi đã trình bày tại Hội nghị “Các chuyên đề Olympic Toán chọn lọc” tại Ba Vì, Hà Nội, tháng 5-2010 và giảng dạy cho đội tuyển Olympic Việt Nam dự IMO 2010. Trong bài này, chúng tôi tập trung chi tiết hơn vào các ứng dụng của Nguyên lý cực hạn trong giải toán...

15 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 245 | Lượt tải: 0

Comparson to frst-order methods At a hgh-level: Memory: each teraton of Newton’s method requres O(n2) storage (n × n Hessan); each gradent teraton requres O(n) storage (n-dmensonal gradent). Computaton: each Newton teraton requres O(n3) flops (solvng a dense n × n lnear system); each gradent teraton requres O(n) flops (scalng/addng n-dmens...

22 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 220 | Lượt tải: 0

End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. But SGD s slow to converge, can’t adapt to strong convexty. And mn-batches seem to be a wash n terms of flops (though they can stll be useful n practce). End of the story? Short story: SGD can be super effectve n terms of teraton cost, memory. Bu...

24 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 200 | Lượt tải: 0

What good did this do? You have a right to be suspicious . may look like we just swapped one minimization problem for another. Key point is that proxh(·) is can be computed analytically for a lot of important functions h1. Note: I Mapping proxh(·) doesn’t depend on g at all, only on h. I Smooth part g can be complicated, we only need to comp...

50 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 207 | Lượt tải: 0

Improving on the subgradient method In words, we cannot do better than the O(1="2) rate of subgradient method (unless we go beyond nonsmooth first-order methods). So instead of trying to improve across the board, we will focus on minimizing composite functions of the form f (x) = g(x) + h(x) where g is convex and differentiable, h is convex a...

34 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 184 | Lượt tải: 0

Why subgradients? Subgradients are important for two reasons: I Convex analysis: optimality characterization via s monotonicity, relationship to duality. I Convex optimization: if you can compute subgrad you can minimize any convex function.

36 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 187 | Lượt tải: 0

Exact line search We could also choose step to do the best we can along direction of negative gradient, called exact line search: t = argmins≥0 f (x − srf (x)): Usually not possible to do this minimization exactly. Approximations to exact line search are typically not as efficient as backtracking and it’s typically not worth it.

31 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 283 | Lượt tải: 0

Lựa chọn độ dài bước Để tìm cực tiểu địa phương với độ chính xác vừa phải có thể ta phải tính rất nhiều lần hàm mục tiêu f và gradient Vf. Chiến lược thực tế hơn đó là chúng ta tìm các độ dài bước đủ tốt theo nghĩa hàm mục tiêu phải giảm đủ nhiều. Lựa chọn độ dài bước Để tìm cực tiểu địa phương với độ chính xác vừa phải có thể ta phải tính rất ...

54 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 219 | Lượt tải: 0

Tổng quan về thuật toán Các thuật toán đều đòi hỏi được cung cấp một điểm xuất phát Xo. + Từ đó thuật toán tạo ra chuỗi X1, X2,. • Thuật toán sẽ dừng lại nếu không có sự cải thiện hay có vẻ nghiệm đã xấp xỉ đủ tốt. Có 2 chiến thuật cơ bản để tính điểm tiếp theo XK+1 từ điểm hiện tại xk, đó là line search và trust region.

47 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 301 | Lượt tải: 1

More operations preserving convexity • Affine composition: if f is convex, then g(x) = f(Ax + b) is convex • General composition: suppose f = h ◦ g, where g : Rn → R, h : R → R, f : Rn → R. Then: I f is convex if h is convex and nondecreasing, g is convex I f is convex if h is convex and nonincreasing, g is concave I f is concave if h is con...

76 trang | Chia sẻ: thanhle95 | Ngày: 15/07/2021 | Lượt xem: 230 | Lượt tải: 0