Systementwicklung / Auswertung der Ergebnisse

[duncan]

Hallo,

 

im Thread ICHIMOKU (Bereich AmiBroker) wurde ein für mich wichtiges Thema besprochen und ich werde mit diesem Thread das Thema noch einmal aufgreifen.

 

Worum soll es sich in diesem Thread handeln?

 

Um die Bewertung eines System anhand von Auswertung. Nicht, das ich in diesem Bereich irgendwelches Fachwissen habe, aber vielleicht haben wir am Ende eine Checkliste für alle beteiligten.

 

Voraussetzung:

 

1. ein System, welches im Backtest läuft (besser als +/- 0) -> http://klaus-m.blogspot.com/2009/01/swing-...strategien.html

2. das System sollte nachweislich, keine groben Fehler beinhalten (wie z.B. Ergebnisse aus der Zukunft)

 

Portfolio(Russel 1000) Equity des System von 01.01.2008 bis heute:

 

 

Das System zum Spielen:

Test_Swing_Posted_9_orig.zip

technische Grundlage:

1. als technische Grundlage für die Analyse nutze ich AmiBroker und stelle die Datengrundlage als CSV zur Verfügung

Auswertung_1000.zip

2. Excel mit Histogramm Macro von hier

 

Informationen dazu von Krümel in Auszügen(danke ):

Du musst halt sicherstellen, dass Dein Max % Drawdown in den einzelnen Runs nicht so groß wird, denn nen Quotient von 2 entsteht auch, wenn Du 200/100 rechnest.

Von daher hat markoff schon recht, diese Art Plot würde ich auch empfehlen:

mit deinem Scatter-Diagramm stimmt noch etwas nicht, es sollte so aussehen wie hier. X-Achse mit CAR, Y-Achse mit DD%. Jeder Punkt zeigt das Ergebnis eines Runs.

http://www.aktienboard.com/forum/f40/swing.../21#post2059247

 

Und das mit den Wolken seh ich auch so: Ausreißer hast Du immer mal, aber bei hinreichend großer Anzahl an Simulationen sollte man für ein stabiles System nen Mittelwert finden, um dessen Wert die tatsächlich gemessenen Werte möglichst dicht streuen. Ansonsten macht die Mittelwertberechnung auch keinen Sinn. Bsp: Wenn man 2 verschiedene Wolken hat, die (sehr wahrscheinlich ) aus unterschiedlichen Verteilungen stammen.

 

Je nachdem wie die Wolke aussieht (rund, oval, und dessen Richtung) kann man weitere Erkenntnisse über das System gewinnen.

 

Fast jedes System hat irgendwelche Freiheitsgrade, wo Du rumschrauben kannst. Sei es nun das Gesamtkapital, der prozentuale Einsatz, die Auswahl, falls mehr Kandidaten ausgewürfelt werden als man Trades eingehen kann, irgendwelche Indikatoreneinstellungen usw.

 

Ein System kann super sein, aber Du kannst es beispielsweise nur auf nem 6-stelligen Konto handeln, weil Dich bei kleineren Konten die Gebühren killen oder Du Durststrecken drin hast, die das kleinere Konto nicht überlebt.

 

Ich kenn Euer System nicht so genau, vermute aber, dass Ihr zum Teil mehr Kandidaten bekommt, für die ein Signal vorliegt als Trades gemacht werden dürfen.

 

Jetzt ist die Frage, wie geht man bei der Auswahl vor von den Werten, die tatsächlich gehandelt werden.

 

Bsp: Es fällt ne Liste raus (ich nehm mal Nummern statt WKNs): 1,2,3,4,5,6,7,8,9,10,...30

 

Es dürfen aber nur 4 Werte gehandelt werden.

 

Variante 1: ich nehme einfach die ersten 4 Werte der Liste.

Problem: was passiert, wenn das zufällig immer die besten/schlechtesten sind und ich bei anderen Werten schlechter/besser gewesen wäre ?

 

Um solche Effekte auszuschließen, kann man jetzt alle möglichen Kombinationen von je 4 Werten aus der obigen Liste durchsimulieren. Das wird aber recht aufwendig, da man das eigentlich für jedes Signal separat machen muss.

Von daher reduziert man den Rechenaufwand, indem man lediglich eine hinreichend große Anzahl zufälliger Kombinationen "zieht" (also z.B. 100 Minilisten a 4 Werte).

Bsp: {4,9,20,29} ,{5,9,18,25},...

Dann rechnet man sich die Performanceparameter für diese Varianten aus.

 

Wenn die Ergebnisse (als Punkte dargestellt) relativ nah beieinander liegen in dem Plot (z.B. als runde "Wolke", wo man ganz klar ein "Ballungszentrum" ausmachen kann - der "Mittelwert"), kann man daraus schließen, dass das Auswahlverfahren der Aktien keinen sonderlich großen Einfluss auf die Performance hat (v.a wenn es nicht viele Ausreißer gibt, also Werte, die weit weg vom Wolkenkern liegen). Und dass man sich keine Sorgen mehr machen muss, dass man durch ein suboptimales Auswahlverfahren zufällig immer die Loser rausgreift (bei den Gewinnern wäre es ja nicht so schlimm ;) ).

Mit MCS test kann man dieses Problem umgehen. Vielleicht findest Du bei den Untersuchungen aber auch ne gute Heuristik, wie Du Werte auswählst aus der Kandidatenliste.

 

Na ja, ich würde mal noch paar Runs mehr machen (1000 z.B.), denselben Plot nochmal und als zweites noch nen Histogramm mit den CAR/Max DD %, da sich bei den Scatterplots überlagernde Punkte überdecken, so dass man nicht mehr sieht, wie häufig die Kombination vorkam. Da sichergestellt ist (durch den Scatterplot), dass MaxDD% nicht zu dramatisch wird (Maximum -12, wenn ich richtig gucke), kann man auch wieder auf den Quotienten Car/MaxDD% ausweichen. Das spart 1 Dimension bei der Auswertung, die man z.B. für die Häufigkeit des Vorkommens einer Kombination nutzen kann.

 

Wenn's gut läuft, sollte da irgendwas Glockenförmig-Symmetrisches (möglichst schmal) rauspurzeln, mit den meisten Werten in der Mitte, so dass der Mittelwert seinem Namen auch gerecht wird.

 

Meine ersten Ergebnisse nach den genanten Vorgaben:

 

Scatter-Diagramm mit. X-Achse mit CAR, Y-Achse mit DD%:

 

- von den 1000 Messpunkten bleibt nicht mehr viel übrig, dem entsprechend macht das Histogram mehr als Sinn ...

 

Histogramm mit den CAR/Max DD %:

 

- sieht doch eigentlich gut aus, eine schöne Glocke

 

Aus den Informationen, die mir vorliegen, denke ich dass ein System in etwa diese Daten liefern sollte, aber was denket Ihr? Habt Ihr Ansätze die weiter verfolgt werden sollten?

 

Gruß und bis später Duncan

 

PS: Das soll auch mein Einstand hier sein

Edited July 28, 2009 by duncan
Zitat-Tags gesetzt