Выбор периода тестирования
Период тестирования должен быть достаточно продолжительным для проведения минимум 30 торгов на каждой валютной паре.
Получение менее 30 торгов нарушает одно из основных правил теории выборок, которое гласит, что должно существовать по меньшей мере 30 точек данных для того, чтобы набор данных отвечал нормальному распределению.
Любое число менее 30 произведет статистически ненадежные результаты. Чем больше количество торгов, тем лучше.
Приблизительно достоверность проведенного тестирования можно определить по следующей формуле:
где
-
количество тестов.
Например, при
,
то есть достоверность результатов равна
80%.
Этапы тестирования
Тестирование системы проходит в три этапа:
Предварительное тестирование. На этом этапе тестируется идея, положенная в основу Вашей торговой системы.
Оптимизация. На этом этапе происходит подбор наилучших параметров.
Окончательное тестирование. Тестирование происходит с учетом выставленных стопов. Размер открываемой позиции определяется с учетом теории управления капиталом.
Оптимально, чтобы периоды тестирования для всех этих этапов были различны.
Тестирование можно проводить двумя способами:
- Ручное тестирование;
- Компьютерное тестирование.
Определение параметров эффективности торговой системы
По результатам тестирования рассчитываются параметры эффективности используемой торговой системы.
Выделим следующие основные параметры, которые позволяют сделать вывод о применимости той или иной торговой системы либо сравнить между собой несколько систем.
Вот эти параметры:
1. Чистая (итоговая) прибыль Р (в %).
2. Сумма всех прибыльных сделок S(P)
3. Сумма всех убыточных сделок S(L)
4. MIDD (максимальная просадка), drawdown
5. Фактор восстановления RF=P/MIDD
6. Профит-фактор PF=S(P)/S(L)
7. Общее количество совершенных сделок
8. Доля прибыльных сделок (%)
9. Доля убыточных сделок (%)
Часто при создании торговых стратегий трейдеры гонятся за максимальной прибыльностью системы.
Однако важнее бывает не повысить значение ожидаемой прибыльности, а сократить возможный риск, который выражается в максимальной просадке (MIDD). Также имеет значение протяженность этого периода по времени.
Простой, но сравнительно надежный способ оценки эффективности торговой стратегии - определить отношение доходности к максимальной просадке системы на исследуемом периоде, так называемый фактор восстановления (recovery factor). К примеру, если доходность системы 45% годовых, а максимальная просадка вышла 15%, фактор восстановления будет равен 3.
Если сравнивать две системы с различными значениями доходностей и просадок, то лучше будет та система, у которой выше фактор восстановления.
Система, дающая 30% годовых с просадкой 5% будет лучше, чем система с 100% годовых и просадкой в 40%.
Эмпирически установленное граничное значение профит-фактора принято равным 1,6.
Если профит-фактор системы превышает 1,6, то она показывает хорошую эффективность, если менее, то недостаточную.
В последнем случае необходимо проанализировать статистику совершенных торговых операций, выявить сделки, которые максимально повлияли на снижение профит-фактора, и провести целенаправленную модификацию системы.
Параметр «количество сделок» нужен для оценки статистической значимости первых двух параметров. Если сделок будет слишком мало, то тогда результаты тестирования системы вызывают большое сомнение.
Обычно, для получения достоверных результатов достаточно, чтобы в процессе тестирования прошло не менее 30 сделок.
Если ретроспективная результативность удовлетворяет, можно попытаться применить систему на данных реального времени.