<html>
<head>
<style>
P
{
margin:0px;
padding:0px
}
body
{
FONT-SIZE: 10pt;
FONT-FAMILY:Tahoma
}
</style>
</head>
<body>Hi,<BR>
&nbsp;<BR>
I have been noticing some behaviour that I can't explain relating to the scaling of the NLP problem.<BR>
&nbsp;<BR>
I was having problems with slow convergence and after trying a few things, I switch the nlp_scaling_method option from the default ("gradient-based") to "none" and this seemed to improve the situation a lot.<BR>
&nbsp;<BR>
I did some experiments and to simplify things, I kept the nlp_scaling_method switched to "none" and tried different values for the <FONT class="">obj_scaling_factor. My problem was simple: 2 variables, a nonlinear objective, no nonlinear inequalities, min/max bounds for both variables.</FONT><BR>
&nbsp;<BR>
It seems that for different obj_scaling_factor values...<BR>
- It always finds the same solution<BR>
- the rate of convergence varies a lot<BR>
- it *always* takes fewest iterations when the problem is unscaled (obj_scaling_factor=1.0)<BR>
- this is the case however I scale the original problem (e.g. I can increase the objective function by a few orders of magnitude in the original definition of the NLP problem, but still a scaling of 1.0 is best)<BR>
&nbsp;<BR>
The following is an example...<BR>
&nbsp;<BR>
obj_scaling_factor&nbsp;&nbsp;iterations<BR >0.1&nbsp;&nbsp;&nbsp;&nbsp;220<BR >0.2&nbsp;&nbsp;&nbsp;&nbsp;118<BR >0.4&nbsp;&nbsp;&nbsp;&nbsp;58<BR >0.6&nbsp;&nbsp;&nbsp;&nbsp;35<BR >0.8&nbsp;&nbsp;&nbsp;&nbsp;23<BR >1.0&nbsp;&nbsp;&nbsp;&nbsp;11<BR >1.2&nbsp;&nbsp;&nbsp;&nbsp;21<BR >1.4&nbsp;&nbsp;&nbsp;&nbsp;31<BR >1.6&nbsp;&nbsp;&nbsp;&nbsp;50<BR >1.8&nbsp;&nbsp;&nbsp;&nbsp;98<BR>
&nbsp;<BR>
I tried on a few different problems and got similar behaviour.<BR>
&nbsp;<BR>
I am using the C++ interface, so it is difficult to post the example, but I checked gradients, hessian etc. and I am happy that I am getting the correct solution - it just looks like the automatic and manual scaling seems to be causing problems. Given that any scaling that is applied seems to make the convergence slower (no matter what the scale of the original problem), I am wondering whether there is an issue with the way in which the scaling is being applied?<BR>
&nbsp;<BR>
Any suggestions would be most welcome. Has anybody else seen such problems?<BR>
&nbsp;<BR>
I apologise in advance that shortly after sending this email, I am going to be away for a week and not able to collect emails, but I will follow up as soon as I get back.<BR>
&nbsp;<BR>
Thanks in advance,<BR>
&nbsp;<BR>
Graham<BR ><BR><br /><hr />With MSN Spaces email straight to your blog. Upload jokes, photos and more. It's free! <a href='http://clk.atdmt.com/MSN/go/msnnksac0030000001msn/direct/01/?href=http://www.imagine-msn.com/spaces' target='_new'>It's free!</a></body>
</html>