Олег Карпушев, Константин Копыркин - Визуальный анализ поверхностей дохода
Лучше один раз увидеть, чем сто раз услышать
Народная мудрость
«Имы ищем различного даже здесь, наверху... Ибо я ищу побольше устойчивости...»
Ф. Ницше «Так говорил Заратустра»
Несмотря на все усилия исследователей в этой области, до сих пор не придуман единственный, универсальный и охватывающий все аспекты метод количественной и качественной оценки различных параметров механических торговых систем (МТС). И как мы предполагаем, никогда не будет найден, в силу разного подхода разработчиков к полученным результатам и различных торговых предпочтений каждого трейдера. Для кого-то более важна общая доходность системы, кто-то ищет наименьший DrawDown, кому-то некомфортно торговать МТС с небольшим процентом прибыльных сделок.
Какую систему выбрать? Каковы должны быть ее параметры? Подходов в решении этой задачи существует великое множество, и каждый разработчик МТС выбирает те методы, которые в наибольшей степени отвечают его торговым предпочтениям и свойствам характера.
Оптимизация
Вначале необходимо остановиться на таком важном аспекте разработки МТС, как оптимизация ее параметров. Отношение к этой теме далеко не однозначно. Существует расхожее мнение, что чем меньше торговая система подвергалась оптимизации, тем устойчивее она будет в дальнейшем. Находятся даже полные противники какой-либо оптимизации. Однако, полностью отказываясь от оптимизации некоторых параметров МТС, ее разработчик искусственно сужает рамки, за пределами которых возможно значительное улучшение результатов торговли. Мы не сторонники полного отказа от оптимизации параметров МТС. Однако здесь необходимо помнить следующее: каждый раз, запуская процесс оптимизации, разработчик подвергает себя и свою торговую систему риску попасть в ловушку так называемого Equity Curve Fitting — подгонка результатов под кривую цен.
Вот что говорит по этому поводу Джеффри Оуэн Кац (Jeffrey Owen Katz): «На самом деле, оптимизация не так уж вредна, и не всякая оптимизация должна вызывать опасения. Только плохая оптимизация страшна и опасна. Оптимизация большого числа параметров на небольшом количестве данных, без последующих тестов за пределами выборки (Out-Of-Sample) или правильных статистических выводов, есть просто ошибочная практика, которая приводит к разрушительным результатам по ряду причин».
Итак, остановимся на том, что при определенной осторожности и внимательном анализе полученных данных оптимизация параметров торговой системы есть вполне допустимая практика улучшения ее показателей.
Доходность или устойчивость?
Проведя тесты и получив какие-то значения оптимизируемых параметров, дающие максимальную доходность на исторических данных, вправе ли мы ожидать повторения этих цифр в будущем? Вряд ли. «Над будущим — пелена...», как пел в одном из своих шлягеров Максим Леонидов. Так что же можно и должно извлечь из результатов оптимизации?
Думается, мы окажемся правы, если заявим, что оптимизация служит отнюдь не для вычисления цифры максимального дохода торговой системы, полученного на исторических данных. Это, скорее, поиск неких диапазонов оптимизируемых параметров, в которых доходность системы будет приемлемой и прогнозируемой. Это поиск компромисса между двумя извечными соперниками — максимальной доходностью и устойчивостью торговой системы.
Устойчивость (Robustness) торговой системы — именно то ее качество, которое позволяет ожидать от торговли в будущем результатов, близких к тем, которые были получены при испытании на исторических данных. Неустойчивая МТС, в свою очередь, уже при небольшом изменении характера рынка в
реальной торговле будет приносить заметно худшие результаты, чем на оттестированной истории.
Однозначно оценить устойчивость МТС стандартными средствами, встроенными в программные пакеты для технического анализа, такие как MetaStock или Omega TradeStation, практически невозможно. Однако существует несколько методик, позволяющих сделать это в той или иной степени. Наиболее известными и распространенными на сегодняшний день являются методы «испытания за пределами выборки» (Out-Of-Sample method) и «прогонная оптимизация» (Walk-Forward-Optimization).
Мы же хотим предложить для оценки устойчивости торговой системы использовать визуальный анализ трехмерных поверхностей параметров доходности торговой системы, полученных в результате оптимизации.
Помимо всего прочего, этот метод также позволяет оценивать степень влияния на доходность системы того или иного параметра, определять достоверность диапазонов оптимизации и уточнять масштаб шага оптимизируемой выборки, что тоже немаловажно при разработке МТС.
Забегая вперед, следует отметить, что данным методом можно оценивать любые показатели доходности торговой системы, такие как Profit Factor, Percent Profitable, Avg. Win/Loss, Max. DrawDown и другие, но для простоты изложения мы будем называть такой подход «Методом визуального анализа поверхностей дохода».
«Лучше один раз увидеть...»
Для построения трехмерных поверхностей мы использовали файл с макросом в среде Excel (готовый файл можно свободно получить через Интернет по адресу: . narod.ru/3d.htm). В этой программе трехмерные поверхности можно представлять в виде как объемных диаграмм, так и плоских диаграмм. По осям X и Y откладываются значения оптимизируемых параметров, по оси Z — значения доходности МТС. На объемных диаграммах удобно предварительно оценивать форму поверхности, высоту и глубину экстремумов, угол наклона поверхности в различных зонах, что также имеет определенное отношение к устойчивости (рис.1).
На плоских диаграммах можно более точно выделять конкретные фрагменты поверхности для анализа и уточнения значений оптимизируемых параметров в них (рис. 2).
Каждая точка на поверхности диаграммы соответствует значению дохода МТС, полученному при конкретных значениях оптимизируемых параметров.
Визуальный анализ поверхностей дохода выгодно отличается от других методов оценки параметров МТС. В первую очередь, мы имеем возможность быстро, буквально окинув взглядом поверхность, оценить, насколько сильно каждый из оптимизируемых параметров влияет на доходность системы. Насколько высоко отстоит от средних значений величина максимального дохода и где находятся параметры, при которых МТС уже нельзя торговать ни при каких обстоятельствах. Крутизна или пологость склонов поверхности, взаимное расположение вершин и впадин явным или косвенным образом указывают на устойчивость либо «шизофреничность» системы. Первые признаки нестабильности могут проявиться при малом количестве сделок в определенных областях в виде связанных с этим скачками доходности. «Покрутив» диаграмму под разными углами, мы быстро определяем, насколько верно выбраны диапазоны оптимизации, не слишком ли мал или велик шаг выборки параметра, нет ли необходимости просто сдвинуть весь диапазон параметра в ту или иную сторону.
![](i01/2.jpg)
Рис. 1. Объемная диаграмма поверхности дохода торговой системы
Немаловажным качеством визуального анализа поверхностей является упомянутая выше возможность анализировать любые параметры доходности МТС. Построив поверхности, например, общего дохода системы, процента прибыльных сделок, значений Profi Factor и Max. DrawDown, можно достаточно легко выделить на всех диаграммах общие зоны, в которых значения каждого из параметров доходности будут приемлемыми и соответствующими нашим торговым предпочтениям.
Очевидно, что подход к анализу поверхностей может быть самым разным. Однако в общем случае можно отметить некоторые особенности:
![](i01/3.jpg)
Рис. 2. Плоская диаграмма поверхности дохода
![](i01/4.jpg)
Рис. 3. Значения доходности в области острых пиков на поверхности носят достаточно случайный характер.
В этих точках система демонстрирует явную неустойчивость
1. Любые островерхие пики на поверхности будут говорить о достаточной неустойчивости системы в данных точках и высокой степени случайности величины дохода, полученной в них. Вряд ли вы захотите торговать систему, изменение параметра которой всего на один шаг «проваливает» доходность на несколько десятков процентов (рис. 3).
2. Пологая поверхность, плавно снижающаяся от точки экстремума, укажет, скорее всего, на неплохой результат. Можно «срезать» вершину поверхности в этой области на определенную величину от максимума. Тогда мы сможем найти достаточно достоверную зону устойчивости, в которой незначи-
![](i01/5.jpg)
Рис. 4. Срезав вершину поверхности по определенному значению, можно установить некоторую зону устойчивости параметров МТС
тельное изменение характера рынка практически не скажется на результатах торговли МТС в будущем. Однако здесь следует не забывать о возможно присутствующем занижении диапазонов и шага оптимизации (рис. 4).
3. Если значения максимального дохода охватывают лишь малую зону поверхности, то в данном случае можно говорить о явном завышении диапазонов и шага оптимизации. Следует уменьшить их значения и рассмотреть поверхность в более «подробном» разрешении. При определенном изменении масштаба выборки параметра любой шип на поверхности можно превратить в плоскость, а любую плоскость — в шип (рис. 5).
4. Иногда на поверхностях можно увидеть явно выраженные «горные хребты». Чаще всего это говорит о высокой чувствительности системы к значениям одного параметра и меньшей чувствительности к значениям другого. В случае параллельности «хребта» одной из осей иногда можно просто исключить один параметр из работы системы, либо необходимо более тщательно проверить достоверность масштаба выборки этого параметра. Непараллельные осям «хребты» или «овраги» будут говорить о более сложной взаимосвязи параметров, на что тоже следует обратить внимание (рис. 6).
Выводы
Метод визуального анализа дохода МТС вполне может занять свое законное место в ряду других подходов оценки параметров систем. К его достоинствам относятся доступность и наглядность результатов, интуитивно понятная интерпретация и логичность выводов. Проведя неоднократные исследования «на поверхность» множества торговых систем, мы обнаружили приятную возможность очень быстро отсеивать явно неудачные МТС (несмотря на впечатляющие цифры общего дохода) с помощью описанного метода и концентрировать основное внимание на доводке параметров систем, имеющих перспективу. Ни одним другим методом невозможно так же быстро оценить достоверность выборки оптимизируемого параметра и шага оптимизации. Опасность Over-Curve-Fitting многократно снижается благодаря комплексному взгляду на оптимизируемые параметры и степень их влияния на доходность системы.
Очень интересные результаты можно получить, комбинируя анализ поверхностей с традиционными Out-Of-Sample и Walk-Forward-Optimization. Для некоторых систем бывает полезно масштабировать шкалу Z в значениях от нуля до показателя Maximum Profit System (MetaStock) и рассмотреть полученную поверхность дохода в этом диапазоне.
К недостаткам метода «визуального анализа поверхностей дохода» можно отнести его определенную субъективность. Это сближает данный метод с классическим «фигурным» техническим анализом. Подходы к оценке поверхностей могут быть у каждого свои. Например, в известном продукте от фирмы Rina Systems — построителе трехмерных поверхностей 3D SmartView, при оценке зон устойчивости анализируется «крутизна склона» поверхности. Чем выше угол наклона поверхности к горизонту в данной зоне, тем менее устойчива система при этих значениях параметров. Однако нам кажется более правильным именно «срезание» вершины диаграммы и нахождение плоского фрагмента поверхности, в центре которого значения оптимизируемых параметров будут наиболее робастны. На полноразмерной диаграмме эта точка может оказаться на достаточно крутом склоне. Но с параметрами торговой системы, взятыми именно из этой зоны, даже при определенном изменении характера рынка
![](i01/7.jpg)
Рис. 5. Очень узкая зона максимальных значений дохода на поверхности говорит о слишком большом диапазоне оптимизации с увеличенным масштабом шага выборки
![](i01/8.jpg)
Рис. 6. Ярко выраженный «горный хребет» на поверхности говорит о большей чувствительности МТС к одному из параметров (opt2)
доходность системы не должна опуститься ниже прогнозируемого уровня. Это именно тот показатель, который мы вкладываем в понятие устойчивости торговой системы.
Заключение
В данной статье мы не ставили перед собой задачи рассмотреть все возможные варианты использования «визуального анализа поверхностей дохода». Скорее мы преследовали цель сделать
еще одну попытку шагнуть в сторону от классических, ставших уже догмами методов анализа торговых систем. Несмотря на существование программных продуктов (таких, как упоминавшийся выше 3D SmartView), позволяющих проводить подобные исследования, в специальной литературе для трейдинга очень мало серьезных, систематизированных работ на эту тему, особенно приближенных к практике реальной торговли. Надеемся, наша статья будет способствовать развитию этого направления.
Содержание раздела