Chodziło o ostatni wpis, faktycznie, w poprzednim testowałeś indeksy. Ale to, co zrobiłeś w ostanim wpisie to jest kolosalny błąd. Sam kiedyś go popełniłem, próbując opracować jakąś strategię dla składników WIG20, wyniki wychodziły świetne, wystarczyło wiedzieć, które spółki wejdą do WIG20 w przyszłości... :)
Pytasz o konstruktywną krytykę. Faktycznie zdarzyło mi się raz porównywać skuteczność strategii z buy and hold w odniesieniu do rynku bitcoinów: steemit.com/bitcoin/@reuptake/is-holding-rational . Jest to bardzo młody i bardzo specyficzny rynek, uznałem za uprawnione przetestowanie kilku strategii z arbitralnie wybranymi parametrami i porównanie z bezparametrowym buy and hold. Natomiast generalnie nie widzę większego sensu takiego testowania samych w sobie wskaźników typu MACD i innych, bo po prostu one nie są stworzone do tego, żeby stanowiły strategię. To są tylko elementy większych całości i takie większe całości (strategie) należy testować.
Sam wiesz, pracując w instytucji finansowej, jak potężny jest to biznes. Nie da się mieć przewagi na rynku stosując strategię opartą na najbardziej typowym zastosowaniu wskaźnika wymyślonego 50 lat temu.
Jeśli miałbym coś podpowiedzieć to:
1. Bardzo starannie trzeba podejść do przygotowania danych. Sprawdzić, czy nie popełnia się survivorship bias, uwzględniając spółki, które dziś są na rynku lub dziś wchodzą w skład indeksu. Uwzględnić odcięcia związane z dywidendami. Nie testować instrumentów, którymi się nie handluje (np. zamiast indeksów użyć kontraktów, jeśli kontrakty istnieją). Jeśli nie: po prostu sobie darować.
2. Uwzględnić nie tylko prowizję maklerską, ale także poślizgi cenowe. Ja mam prowizję 0,19%, ale testuję stategię ustawiając prowizję 0,5%
3. 100x sprawdzić kod, czy nie występuje future leak. Nie kupować na zamknięciu w oparciu o cenę na zamknięciu, bo przed zamknięciem nie znamy ceny na zamknięciu.
4. Nie porównywać zoptymalizowanych wersji strategii. Nigdy. To nie ma żadnego sensu. To jak porównywanie dwóch drużyn piłkarskich na podstawie pojedynczego meczu. Jeśli strategie są podobne (np. porównujemy strategię opartą na MA ze strategią na EMA) to można porównać średnią zyskowność dla losowego doboru parametrów. Pamiętać o tym, że niektóre parametry powinno się optymalizować (jeśli już) jako wielokrotności (różnica między średnią z 2 a średnią z 4 jest o wiele większa niż różnica miedzy średnią z 200 a średnią z 202).
5. W kontrze do poprzedniego: nie porównywać zyskowności, tylko zysk z uwzględnieniem ryzyka. % zyskownych transakcji to jedna z najgorszych miar ryzyka. Wiadomo, że strategie mean reversion mają wysoki ten współczynnik, strategie trend following niski. Nie ma to wielkiego znaczenia. Uwzględnić trzeba zarówno ryzyko chwilowe, maksymalne jak i stały poziomo "stresu" na jaki naraża strategia. Przy porównaniu z benchmarkiem (najlepiej również tradowalnym) też używać miary uwzględniającej ryzyko.
Jeśli szukasz inspirujących lektur to polecam agregator blogów i publikacji
http://quantocracy.com/