<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none"><!--P{margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr" style="font-size:12pt;color:#003366;background-color:#FFFFFF;font-family:Calibri,Arial,Helvetica,sans-serif;">
<p><br>
</p>
<p>Dear all, </p>
<p><br>
</p>
<p>I am using IPOPT (through Matlab interface) with&nbsp;the option&nbsp;<em>limited memory&nbsp;bfgs hessian approximation</em> to solve a problem of the following characteristics (the total number of variables can change but it is often between 5000 and 10000).
<br>
</p>
<p><br>
</p>
<p>*************************************************************************<br>
This is Ipopt version 3.11.8, running with linear solver ma57.<br>
<br>
Number of nonzeros in equality constraint Jacobian...:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; 0<br>
Number of nonzeros in inequality constraint Jacobian.:&nbsp;&nbsp;&nbsp; 60613<br>
Number of nonzeros in Lagrangian Hessian.............:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0<br>
<br>
Total number of variables............................:&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; 8659<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; variables with only lower bounds:&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; 8659<br>
&nbsp;&nbsp;&nbsp;&nbsp; variables with lower and upper bounds:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp;0<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; variables with only upper bounds:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 0<br>
Total number of equality constraints.................:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>
Total number of inequality constraints...............:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 7<br>
&nbsp; inequality constraints with only lower bounds:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; 7<br>
&nbsp;&nbsp; inequality constraints with lower and upper bounds:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;0<br>
&nbsp;&nbsp; inequality constraints with only upper bounds:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0</p>
<p><br>
</p>
<p>**************************************************************************<br>
</p>
<p><br>
</p>
<p>Here below you can find the ipopt options I am using (those&nbsp;which&nbsp;do not appear are set by the program to their default value)</p>
<p><br>
</p>
<p>&nbsp;% Initialization<br>
options.ipopt.bound_frac = 0.01; <br>
options.ipopt.bound_push = 0.001;</p>
<p><br>
</p>
<p>options.ipopt.dual_inf_tol&nbsp;&nbsp;&nbsp;&nbsp; = 1; <br>
options.ipopt.constr_viol_tol&nbsp; = 0.0001; <br>
options.ipopt.compl_inf_tol&nbsp;&nbsp;&nbsp; = 0.0001; <br>
options.ipopt.acceptable_constr_viol_tol = 0.01; <br>
<br>
% NLP scaling<br>
options.ipopt.nlp_scaling_max_gradient = 100; <br>
</p>
<p><br>
</p>
<p>% Quasi-Newton<br>
options.ipopt.hessian_approximation = 'limited-memory'; <br>
options.ipopt.limited_memory_update_type = 'bfgs';<br>
<br>
% Barrier parameter<br>
options.ipopt.mu_strategy = 'monotone';<br>
options.ipopt.mu_init = 0.1; <br>
</p>
<p><br>
</p>
<p><br>
</p>
<p>My problem is that I need a lot of iterations (more than 1500) to get a good result because the objective function (which has a very big value in the beginning) is decreasing extremely slowly. As an example here you have the print output for the iteration
 10 and 500:</p>
<p><br>
</p>
<p>iter&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; objective&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; inf_pr&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;inf_du &nbsp; &nbsp;&nbsp; lg(mu)&nbsp; &nbsp; &nbsp; ||d||&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; lg(rg) &nbsp; &nbsp;alpha_du &nbsp; &nbsp;alpha_pr&nbsp; &nbsp;ls<br>
</p>
<p>&nbsp;10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5.4760000e&#43;10&nbsp;&nbsp;&nbsp; 0.00e&#43;00 &nbsp; &nbsp; 6.20e&#43;02 &nbsp;&nbsp; -0.2 &nbsp; &nbsp; 3.33e&#43;02&nbsp;&nbsp;&nbsp; -&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;6.13e-02 &nbsp; 1.23e-02f&nbsp; &nbsp;&nbsp;1&nbsp; &nbsp;sigma=1.00e-06 qf=13Ws</p>
<p><br>
</p>
<p>&nbsp;500&nbsp;&nbsp; 2.9078333e&#43;10 &nbsp; &nbsp;1.38e&#43;10 &nbsp; &nbsp; &nbsp;1.00e&#43;00&nbsp; &nbsp; -2.9 &nbsp; &nbsp; 9.18e&#43;13&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4.66e-09 &nbsp; &nbsp;3.06e-10f&nbsp; &nbsp;1&nbsp; sigma=6.04e-01 qf=12Wp</p>
<p><br>
</p>
<p><br>
</p>
<p>I wonder if I could use any other ipopt options to make the objective function decrease faster so that I can reduce the number of iterations. Moreover, I am using ma57 solver, do you recommend me any other (as PARDISO for example) for large problems as this
 one? </p>
<p>I guess that it is normal that the program takes longer at the beginning to find the good search direction since it does not have the information about the hessian because I am using the bfgs approx. In my case I have the information to calculate analytically
 the hessian. To calculate it at each iteration would increase considerably the computation time, however, I could calculate it at the beginning and thus initialize the hessian to the right value. Do you think that would reduce the number of iterations?
<br>
</p>
<p><br>
</p>
<p>I am new with IPOPT and I don't have much experience&nbsp;in the field of optimization so please let me know if you need more information about my problem (formulation, variables, etc..) that can help you to find a solution.</p>
<p><br>
</p>
<p>Thank you in advance, </p>
<p><br>
</p>
<p>Ana<br>
</p>
<div id="Signature">
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:; margin:0">
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; margin:0px">
<span style="background-color:rgb(255,255,255)"><font color="#000080"><b><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px"><br>
</span></b></font></span></div>
<div name="divtagdefaultwrapper" style="font-family:Calibri,Arial,Helvetica,sans-serif; margin:0px">
<span style="background-color:rgb(255,255,255)"><font color="#000080"><b><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px"><br>
</span></b></font></span></div>
<hr style="font-family:Calibri,Arial,Helvetica,sans-serif">
<div name="divtagdefaultwrapper" style="margin:0px"><span style="font-family:Calibri,Arial,Helvetica,sans-serif; background-color:rgb(255,255,255)"><font color="#000080"><b><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px">Ana
 María Barragán Montero</span><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px">,&nbsp;</span></b></font></span>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif"><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)"><font color="#333399">PhD student</font></span><br style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">
<font color="#333399"><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">Université catholique de Louvain</span><br style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">
<span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">Molecular Imaging, Radiotherapy and Oncology (MIRO)</span></font></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif"><font color="#333399"><span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">Avenue Hippocrate 54&nbsp;</span><br style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">
<span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">B-1200 Bruxelles, Belgium</span><br style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">
<span style="font-family:'Segoe UI WPC','Segoe UI',Tahoma,'Microsoft Sans Serif',Verdana,sans-serif; font-size:13px; background-color:rgb(255,255,255)">ana.barragan@uclouvain.be</span></font></div>
<div><span style="background-color:rgb(255,255,255)"><font face="Segoe UI WPC, Segoe UI, Tahoma, Microsoft Sans Serif, Verdana, sans-serif" color="#333399" size="2">&#43;32(0) 27649527</font></span></div>
</div>
</div>
</div>
</body>
</html>