Jak odtworzyć cudzy backtest: sprawdzenie wyników strategii ze strony internetowej

W skrócie: strategia z internetu, nawet z kodem, to deklaracja, a nie dowód. Odtwarzam ją u siebie na tym samym instrumencie, w tym samym modelu testu i w tym samym oknie dat. W przypadku strategii ze strony Backtest the Hype liczba transakcji zgodziła się co do sztuki, a zysk co do kilkunastu dolarów na kilkudziesięciu tysiącach.

Skąd ten test

Strona publikuje wyniki strategii zakresu otwarcia Nowego Jorku razem z kodem w trzech wariantach, na NAS100, US30 i US500 (omówiłem je w artykule o NY Open Range z Fibonaccim). Chciałem wiedzieć, czy publikowane liczby da się powtórzyć, zanim ktokolwiek zbuduje na tym bota albo kupi “ulepszoną” wersję. To metoda sprawdzania, nie zarzut wobec autora.

Warunki odtworzenia

1. Ten sam broker lub bardzo podobne dane. Użyłem konta demo tego samego brokera, z czasem serwera równym czasowi nowojorskiemu plus siedem godzin (artykuł o czasie serwera).
2. Ten sam model testu. Świece jednominutowe OHLC, bo takiego modelu użył autor.
3. Te same założenia kapitałowe. Depozyt 100 000, jedno R równe 1000 USD.
4. Zgodne okno dat, co do dnia.
5. Dane historyczne za ten okres. U mnie dostępne tylko od stycznia 2025, więc lat wcześniejszych nie mogłem sprawdzić.

Co wyszło

Zgodność jest bardzo dobra, więc kod z opisu i wyniki ze strony opisują ten sam system.

Rozjazd w 2026 roku

Dla roku 2026 dostałem początkowo +16,5 tys., a strona pokazywała +14,1 tys. Przyczyną było okno: strona liczyła do 7 listopada, ja do 1 listopada. Po ustawieniu daty końca na 7.11 wyszło +14 095, PF 1,17 i 156 transakcji, czyli tyle, co na stronie. Pierwszy test do pierwszego listopada zawierał transakcje, których po zakończeniu okna dalej nie było, i na odwrót. Okno dat jest pierwszym podejrzanym przy każdej niezgodności.

Czytaj kod, nie tylko opis

Przy lekturze kodu wariantu B zobaczyłem, że bufor stopa wynosi 5 razy najmniejszy krok ceny, czyli około 0,05 pkt, a nie 5 punktów ceny, jak sugerował opis. Wynik strony dotyczy kodu, który faktycznie działa, nie jego opisu. Jeśli opis i kod się różnią, to kod jest prawdą o wyniku, a opis tylko komentarzem.

Czego ten test nie mówi

• Że strategia zarobi w przyszłości. Zgodność odtworzenia oznacza tylko, że wynik historyczny jest powtarzalny.
• Że wynik jest realny na tikach i innym brokerze (artykuł o OHLC kontra tiki).
• Że dłuższa historia będzie podobna. Lat 2021-2024 nie sprawdziłem.

Checklista

• Ten sam instrument, broker lub bardzo podobne dane.
• Ten sam model testu (OHLC lub tiki).
• Te same założenia kapitału i R.
• Okno dat zgodne co do dnia.
• Porównuję liczbę transakcji i profit factor, a nie tylko zysk.
• Przy rozjeździe najpierw sprawdzam okno dat.
• Czytam kod, a nie tylko opis.

Powiązane

• NY Open Range z Fibonaccim: test darmowej strategii
• OHLC kontra tiki
• Lista transakcji zamiast sumy
• Sprzedawcy botów i 100% rocznie
• Pojęcia z artykułu: słowniczek, skorowidz

Ostrzeżenie: handel CFD i forex wiąże się z wysokim ryzykiem utraty kapitału. Artykuł ma charakter edukacyjny i nie jest rekomendacją inwestycyjną.