Вероятно, наиболее существенная ошибка, которую делают пользователи фьючерсных торговых систем — это предположение, что результативность оптимизированного набора параметров во время тестового периода представляет собой прогноз потенциальной результативности подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоценке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из наборов параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятности показывают, что если протестировано достаточное количество наборов параметров, даже в бессмысленной торговой системе обнаружатся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т.е. наборах с наилучшей результативностью на рассматриваемом периоде), является подгонкой системы под прошлые результаты, а не тестированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следующий раздел описывает два разумных подхода.
