CONVERGENCE AND CONVERGENCE RATES OF DAMPED NEWTON METHODS

Abstract

Trong bài báo này, chúng tôi nghiên cứu sự hội tụ và tốc độ hội tụ của các thuật toán damped Newton để giải các bài toán tối ưu không ràng buộc với các hàm mục tiêu khả vi liên tục cấp hai. Dưới giả thiết về tính xác định dương của ma trận Hessian của hàm mục tiêu trên một tập mở chứa tập mức ứng với giá trị hàm mục tiêu tại điểm khởi động, chúng tôi chứng minh dãy lặp sinh bởi thuật toán damped Newton sẽ nằm trong tập mở đó và dãy giá trị hàm tương ứng là đơn điệu giảm. Nếu dãy lặp có điểm tụ thì điểm tụ sẽ là điểm cực tiểu mạnh của hàm mục tiêu, và dãy lặp hội tụ toàn cục siêu tuyến tính về điểm cực tiểu này. Hơn nữa, nếu ma trận Hessian liên tục Lipschitz, dãy lặp đạt được tốc độ hội tụ bậc hai.