AI jako analityk wyników backtestu: co mu oddaję, a co sprawdzam sam
W skrócie: agent AI dobrze radzi sobie z zestawieniem setek wierszy i porównaniem dwóch przebiegów. Gorzej z tym, że podaje wniosek pewnym tonem także wtedy, gdy liczba pochodzi z domysłu. Dlatego każdą liczbę z analizy zlecam brać z pliku wyników, a wniosek o bocie wymaga u mnie wersji kodu, ustawienia i okresu testu.
Gdzie AI naprawdę pomaga
Po optymalizacji dostaję tysiące wierszy. Ręcznie sortuję je w arkuszu po jednym kryterium i tracę godzinę. Agentowi wystarczy jedno polecenie: pokaż dziesięć najlepszych wierszy wraz z wartościami inputów, zyskiem, spadkiem kapitału i liczbą transakcji. Tabelę top 10 robię po każdej optymalizacji, bo pojedynczy najlepszy wiersz często jest szumem (opisuję to w artykule o pułapce najlepszego wiersza).
Drugie zastosowanie to porównanie: ten sam bot przed i po zmianie kodu, ten sam bot u dwóch brokerów, wynik na świecach i na tikach. Agent szybko wskaże, w którym miesiącu rozjeżdżają się krzywe kapitału. To pierwszy trop, nie wyrok.
Pięć reguł, które narzuciłem
- Liczby tylko z pliku wyników. Liczbę transakcji, zysk i spadek agent bierze z tabeli, którą zapisał skrypt uruchamiający test, nigdy z przeglądania logów Testera. Brak pliku znaczy brak liczby i propozycję ponownego testu.
- Wynik wiąże się z wersją i ustawieniem. Rekord bez commita bota i pliku ustawień jest dla mnie anegdotą. Dwa testy “tego samego bota” z różnych wersji nie dają się porównać.
- Stabilność liczę rok po roku. Zysk z całego okresu może wynikać z jednego dobrego roku. Proszę o przebieg na każdy rok kalendarzowy osobno i sprawdzam, czy wynik trzyma się w większości lat.
- Filtr oceniam przy wyłączonych zabezpieczeniach prop. Gdy chcę wiedzieć, co dał filtr wejścia, porównuję bota z filtrem i bez niego przy tych samych pozostałych ustawieniach. Zabezpieczenia konta wycinają transakcje i zasłaniają efekt filtra.
- Najnowszy to nie najlepszy. Agent chętnie opisuje ostatni test jako aktualny wynik bota. Zatwierdzony wynik to ten, który ja oznaczyłem w bazie, a nie ten, który powstał jako ostatni.
Gdzie AI się myli
- Wykrywa wzorce w szumie. Poproszony o wyjaśnienie, dlaczego jeden zestaw działa lepiej, poda przekonujące uzasadnienie, choć różnica mieści się w losowym rozrzucie. Zawsze pytam wprost, czy różnica jest większa niż rozrzut między sąsiednimi ustawieniami.
- Miesza kolumny i jednostki. Punkty z dolarami, procent salda początkowego z procentem bieżącego. Przy każdej tabeli proszę o podpisy jednostek i zaglądam do kilku wierszy.
- Zaokrągla w górę własną pewność. “Bot jest stabilny” po trzech miesiącach historii to nie wynik. Wymagam liczby transakcji obok każdego wniosku. Jak na ironię, najładniejsze krzywe mają często najmniej transakcji.
- Zapomina o tym, co zostało wcześniej ustalone. Kryteria oceny trzymam w pliku z zasadami projektu, który agent czyta na początku sesji, zamiast powtarzać je w rozmowie. Więcej o tym w artykule o agencie uruchamiającym testy.
Mały test przed zaufaniem
Zanim oprę decyzję na zestawieniu od AI, wybieram losowo dwa-trzy wiersze i sprawdzam je w źródle: otwieram raport albo plik wyników i porównuję zysk, spadek i liczbę transakcji. Jeśli któryś się nie zgadza, odrzucam całą tabelę. To zajmuje dwie minuty, a oszczędza decyzji opartych na pomyłce. Skrypty, które liczą statystyki deterministycznie, opisuję w artykule o Pythonie i skryptach AI.
[DO UZUPEŁNIENIA: jeden konkretny przypadek, w którym analiza od AI wskazała coś błędnego i jak to wyszło na jaw]
Checklista
- Każda liczba pochodzi z pliku wyników, nie z logów ani z pamięci rozmowy.
- Wynik ma wersję bota, ustawienie, okres i brokera.
- Obok zysku stoi liczba transakcji.
- Sprawdziłem stabilność rok po roku.
- Dwa-trzy losowe wiersze zgadzają się ze źródłem.
- Decyzję o wdrożeniu podejmuję ja, nie agent.
Powiązane
- Pułapka najlepszego wiersza: plateau kontra szum
- Agent AI uruchamia testy
- Python i AI: skrypty do analizy wyników
- Kiedy zakończyć prace nad strategią
- Słowniczek: top 10 wyników; skorowidz: skorowidz
Ostrzeżenie: wynik backtestu nie gwarantuje zysku na koncie. Analiza przygotowana przez AI nie jest poradą inwestycyjną, a handel kontraktami CFD wiąże się z dużym ryzykiem utraty kapitału.