An Efficient Line Search Algorithm for Large Scale Optimization

Abstract

الملخص
في هذا البحث تم استحداث خوارزمية جديدة للتدرج المترافق في الأمثلية ذات القياس العالى خط البحث للخوارزمية الجديدة يمكن الحصول عليه بتقريب مبسط لمصفوفة هـسي لحل المسـائل غير الخطية في الأمثلية غير المقيدة. الخوارزمية الجديدة تتناول ترتيب جديد لمصفوفة هـسي. الفكرة الاساسية تعتمد على قيمة الدالة ومشتقاتها في نقطتين ناجحتين (ذكيـتين) على طول خطوط البحث. أحدى هاتين النقطتين تستخدم صيغة Biggs لأيجاد الخطوات الخوارزمية الجديدة التي تعتبر ضمن خوارزميات التدرج المترافق في حل المسائل غير المقيدة. الخوارزمية الجديدة تمتلك خاصية التقارب فوق الخطي وقد أثبتت النتائج العددية كفاءة الخوارزمية الجديدة وحاجتها الى وقت أقل وسرعتها أكبر في حل المسائل غير المقيدة ولأبعاد مختلفة .
ABSTRACT
In this work we present a new algorithm of gradient descent type, in which the stepsize is computed by means of simple approximation of the Hessian Matrix to solve nonlinear unconstrained optimization function. The new proposed algorithm considers a new approximation of the Hessian based on the function values and its gradients in two successive points along the iterations one of them use Biggs modified formula to locate the new points. The corresponding algorithm belongs to the same class of superlinear convergent descent algorithms and it has been newly programmed to obtain the numerical results for a selected class of nonlinear test functions with various dimensions. Numerical experiments show that the new choice of the step-length required less computation work and greatly speeded up the convergence of the gradient algorithm especially, for large scaled unconstrained optimization problems.