Dieser Thread http://www.tom-next.com/community/topic/59908-langsame-berechnung-des-backtests/page__pid__119620 hat mich mal aus Interesse auf die Idee gebracht, einen Performancevergleich (Zeitdauer) verschiedener Backtesteumgebungen zu starten.

 

Als Contender würde ich mal die üblichen Verdächtigen des Forums vorschlagen. Amibroker, Metatrader, Multicharts, Ninjatrader. Die anderen drei Jforex, Strategytester, Trade Projekt sagen mir vom Funktionsumfang her gesehen nichts, aber falls diese auch über Backtestmöglichkeit verfügen und jemand diese Programme verwendet, dann natürlich auch diese. Wer andere Programme verwendet, ist natürlich mit eingeladen am Test teilzunehmen, also zum Bleistift Metatstock oder Tradestation oder ... also alles, was vorhanden ist.

 

Ich würde mal als Anfang ein simples Standardsystem mit CCI vorschlagen (CCI(20)). Cross Level 100 dann Buy, Re-Cross Level 100 nach Buy dann Sell, Cross Level -100 dann Short, Re-Cross Level -100 nach Short dann Cover. Als Testperiode würde ich vorschlagen 2005 bis heute sowie als Timeframe M1, Underlying EURUSD. Würde eventuell auch vorschlagen, dass wir alle noch die selbe Historienquelle verwenden, falls überall die Importmöglichkeit bestehen sollte, wovon ich eigentlich ausgehe?

 

Wer hat Lust?

 

Noch irgendwelche Vorschläge (wozu auch "Mach dich vom Acker" gehören würde)?

Wenn ich einen Test mache, dann schließt das alles mit ein, was zum Backtest dazugehört! Aber wenn der Herr und Meister wünscht, dann ziehe ich auch den Programmstart mit hinzu (was ich vermeiden wollte, da hier z.B. Ninjatrader sehr alt aussehen würde) oder gar das Hochfahren des PC, um ganz peinlichst genau zu gehen.

 

Hältst du mich für blöd und zurückgeblieben?

 

Wenn ich einen Test mache, dann ist das einbegriffen ab Knopfdruck des Backtest Buttons! Soviel sollte man schon vorraussetzen.

Da kommen bei AB keine Sekunden zum Laden dazu. Ich sind nicht beim Raketenvorlauf der russischen Weltraumbehörde. Wenn das Programm so etwas benötigt, dann hätte ich das sicher erwähnt. Für die Zeitmessung habe ich eine Uhr im Programm platziert. Ab Start stoppt es und bei Beendigung läuft sie weiter. Aber für den Herrn und Meister gebe ich natürlich gern noch den Nanobereich mit an.

 

Langsam wird’s echt lächerlich. Wenn du einen 10% Trägheits- oder Messfehler mit einbeziehen willst, dann wäre dieser ja bei allen Messprobanden der Selbe. Dann addiere ihn mit dazu, wenn es dich besser durch den Tag kommen lässt.

 

Dass ich den Celeron mit hinzuzog hatte ich dazugeschrieben, da ich wußte, dass es zu keinen großen Unterschieden (mit AB) kommen sollte, da ich es schon mal mit einem anderen Code ausprobierte. Und wie gesehen ist trotz des großen Hardwareunterschiedes zwischen Uraltnotebook und Desktop PC der Performanceunterscheid nicht signifikant, womit ich widerlegt habe, dass es behauptete große Differenzen ausmachen sollte, wenn zudem die Boardteilnehmer ähnliche neuwertige Hardware verwenden. Außer natürlich das jeweilige Programm ist so schlecht programmiert, dass es nur mit optimierter Hardware gut aussieht und sonst nicht zu gebrauchen ist.

 

 

Eventuell kann mir Rainworm sagen, ob man eine Demo von MC ziehen kann, dann teste ich halt mit MC selbst. Damit der Herr und Meister auch zu seiner Wunscherfüllung kommt

Aber wenn der Herr und Meister wünscht,

Ok, damit ist für mich hier Schluss. Ich meine wenn auf meine Nachfrage und fachlichen Bedenken so reagiert wird, erledigt sich das ganze für mich.

 

Für die Zeitmessung habe ich eine Uhr im Programm platziert. Ab Start stoppt es und bei Beendigung läuft sie weiter.

Ok, du misst so. Gut zu wissen. Wie hat Rainworm gemessen? Wie würde man in MT messen?

 

Langsam wird’s echt lächerlich.

no comment

Ok, du misst so. Gut zu wissen.

 

Gibt's daran etwas auszusetzen oder soll ich extra für dich eine Atommuhr besorgen?

Gibt's daran etwas auszusetzen oder soll ich extra für dich eine Atommuhr besorgen?

Hab ich das gesagt? Nimmst du jede sachliche Aussage als Vorwurf? Es ist eine reine Feststellung, ohne Wertung.

Die Frage ist wie messen die anderen? Brutal gesagt: was wenn Rainworm daneben eine stoppuhr liegen hat und zuerst den startbutton drückt und dann die stoppuhr startet? Oder gibt es bei MC einen internen Zeitmesser, nur wie misst der wiederum? Misst der die vergangene Zeit oder die CPU-Zeit die benötigt wurde?

Durch Unterschiede in der Messmethode kommt vermutlich nur ein Fehler von maximal ein paar Sekunden zustande, aber wenn die gemessene Zeit nur ein paar Sekunden beträgt, dann hat das sehr wohl einen Einfluss.

Gibt's daran etwas auszusetzen oder soll ich extra für dich eine Atommuhr besorgen?

Ich verstrehe ehrlich gesagt nicht warum du Mythos andauernd persönlich angreifst.

Er hat fachliche Einwände erhoben auf die du äussert gereizt reagierst.

 

Er hat dich weder angegeriffen noch ist er persönlich geworden.

Wenn man nämlich unbedingt auf dieser Schiene fahren möchte, kann man auch gereizt argumentieren das du als Threadstarter nicht sofort

alle Rahmnenbedingungen festgelegt hast, bzw. berechtigten Einwänden und Fragen ja keine Chance zur Entwicklung gibst, da gleich losgeschimpft wird...

 

my 2 cents

 

und zum Nachdenken, sollte dieses Zitat vllt. mal anregen.

 

Man widersppricht oft einer Meinung während uns eigentlich nur der Ton mißfällt, in dem sie vorgetragen wurde.

— Friedrich Nietzsche

(deutscher Philosoph, Dichter und klassischer Philologe

Nimmst du jede sachliche Aussage als Vorwurf?

 

Wenn ich in Bezug auf dich ehrlich bin, dann ja, denn ich habe denn Eindruck du hältst Andere für unfähig etwas so ordentlich durchzuführen, dass man damit was anfangen kann.

 

Ich halte Rainworm übrigens für so gescheit, dass ich ihm vollkommen zutraue, es ähnlich gemacht zu haben wie ich, statt womöglich noch anzunehmen, er hätte nach dem Start des Backtestes erst seinen Großvater angerufen mit der Frage nach dem Ausleihen dessen Analog Chronometers, den er mal zum 18. Geburtstag geschenkt bekam.

 

Er hat dich weder angegeriffen noch ist er persönlich geworden.

 

 

Ich fühle mich schon unterschwellig für blöd verkauft.

 

Wo habe ich am Anfang losgeschimpft? Entschuldigung, träumst du? Die Rahmenbedingungen waren für meien Begriffe auch klar. Was gibt es denn da noch großartig in einem Forum von angeblich intelligenten Mitgliedern zu umschreiben? Wann ein Backtest beginnt und wann er endet, sollte doch wohl klar sein. Welches System getestet werden sollte und mit welchen Daten ist auch abgesteckt gewesen. Das die Zeit nicht in Gedanken gemessen wird, sollte auch vorrausgesetzt werden.

Also, ich bin wirklich an einem (belastbaren) Ergebnis interessiert. Und zum Einstieg fand ich die ersten in den Raum geworfenen Zahlen durchaus überraschend.

 

Überraschung 1: ich hätte nicht gedacht, dass Amibroker und MC sooo schnell sind (wir liegen hier immer weit unter einer Minute mit Daten ab 2005!)

Überraschung 2: warum sind die RTs so unterschiedlich (bei gleicher Datenlage), meine genannten Zahlen sind übrigens HTs

Überraschung 3: warum kochen hier die Gemüter hoch?

 

Vorschlag: wir bringen zunächst die Signale nahezu in Einklang. Und zum Schluss nutzen wir die gleiche Hardware.

 

Den MT4 habe ich nun auch durch:

 

"Auf die Schnelle programmiert": 104200 HTs in 50sec

clever programmiert: 27sec

 

Und hier hätte ich Zahlen von über einer Minute erwartet. Wenn nicht sogar ein Vielfaches davon. Beim MT4 habe ich allerdings nicht die von joshsmi oben bereitgestellten M1-Daten genommen, da hatte ich erstmal keine Lust zu Kommt noch.

Ich fühle mich schon unterschwellig für blöd verkauft.

Es will dich niemand für blöd verkaufen. Weder unterschwellig noch direkt.

 

Aber bitte denk dran das wir hier auch viel Wert auf den gegenseitigen Respekt legen. Unpassende Vorwürfe, Unterstellungen und persönliche Angriffe passen vielleicht in ein anderes Forum, aber nicht zu Tom-Next!

Man kann über alles sachlich diskutieren, aber wenn dann bitte wirklich sachlich.

Danke Rainworm! Das ist doch mal was. Kannst du mir bitte sagen, ob man eine Testversion von MC laden kann?

 

Mythos, ich schlage vor, wir beenden hier und gehen zurück zu Start. Ich reiche gern mein Hand und falls ich es in den falschen Hals bekommen haben sollte, ist das für mich auch kein Problem. Ich sage aber noch mal, wir machen das hier schon möglichst so, dass es sich durchaus vergleichen läßt. Gleiche Hardware kann man imemrnoch hinzuziehen. Wir müssen ja nicht zum Zug rennen, weil wir verschlafen haben.

Mythos, ich schlage vor, wir beenden hier und gehen zurück zu Start.

Und hier hätte ich Zahlen von über einer Minute erwartet. Wenn nicht sogar ein Vielfaches davon. Beim MT4 habe ich allerdings nicht die von joshsmi oben bereitgestellten M1-Daten genommen, da hatte ich erstmal keine Lust zu Kommt noch.

 

Die größeren Unterschiede kommen dann wahrscheinlich erst mit komplizierteren Rechenoperationen zu Tage. Aber ich wollte am Anfang nicht gleich mit der Tür ins Haus fallen sondern mit etwas einfachen beginnen. Und so ein hohes Interesse hat ja der Thread sowieso erst mal nicht, dass man mit "Nun beginnen wir gleich mal mit was ganz Kompliziertem, weil alle so viel Zeit haben" beginnen kann.

Und hier hätte ich Zahlen von über einer Minute erwartet.

 

Hast du auf Tickbasis getestet? Bei MT sind ja meist lichtjahre zwischen Tickbasis und den 2 anderen Methoden.

 

 

Dito Schieben wir die Schuld einfach dem erhöhten Testoteronspiegel zu. Frauen hätten halt nur zwei Mal mit Wattebäuschen geschmissen. *duck und weg*

Hast du auf Tickbasis getestet? Bei MT sind ja meist lichtjahre zwischen Tickbasis und den 2 anderen Methoden.

 

 

Tickdaten habe ich nicht hochgeladen. Er hat die M1 Historie von mir genommen und im M5 TF getestet.

Er hat die M1 Historie von mir genommen und im M5 TF getestet.

 

Falsch und Kommando zurück. Er hat dazugeschrieben dass es andere waren. Sorry.

Tickdaten habe ich nicht hochgeladen. Er hat die M1 Historie von mir genommen und im M5 TF getestet.

Meinte nicht die Datenbasis.

In MT kann man beim Backtest auswählen wie er rechnen soll. Es gibt "Tickbasis" - da rechnet er alle Ticks einzeln durch die er hat (und wenn er keine hat simuliert er welche... voll umsonst), dann "stützstellen" - da nimmt er innerhalb des Bars ein paar Stützstellen und rechnet diese als "Ticks" durch (nur bedingt sinnvoll) oder "open price" wo er den EA immer nur zum ersten Tick des Bars ausführt.

 

Wenn man jetzt ein System hat das nur beim Open etwas tut und sonst sowieso sofort beendet (zb weil es nur auf den gerade beendeten Bar rechnet), dann kann man mit der OpenPrice Methode extrem viel zeit einsparen (oder umgekehrt mit Tickbasis viel zeit verbraten).

 

Wäre natürlich jetzt auch wieder die Frage wie MC und AB rechnen? OpenPrice (also zu jedem Bar ein Aufruf des "EAs") oder irgendeine Tickvariante?

Hast du auf Tickbasis getestet? Bei MT sind ja meist lichtjahre zwischen Tickbasis und den 2 anderen Methoden.

Ja, auf Tickbasis (also simulierte Ticks), wobei ich in der optimierten Programm-Variante selber nur jede Kerze einmal betrachte. Im Grunde also "begin of candle". Die von MT angebotenen zwei anderen Methoden ergeben für mich nicht nachvollziehbare Ergebnisse.

 

Sollen wir die Programmcodes mal anhängen? Sonst vergleichen wir nicht Backtestumgebungen, sondern Implementierungen...

 

@joshsmi: ja, MC kann man als Demo 30 Tage lang kostenfrei testen. Und da du ja ASCII-Import machst, brauchst du dich auch mit einer Brokeranbindung nicht herumschlagen.

Ja, auf Tickbasis (also simulierte Ticks), wobei ich in der optimierten Programm-Variante selber nur jede Kerze einmal betrachte. Im Grunde also "begin of candle". Die von MT angebotenen zwei anderen Methoden ergeben für mich nicht nachvollziehbare Ergebnisse.

Wenn du wirklich nur zum ersten Tick des Bars was machst, sollten Tickbasis und OpenPrice eigentlich die exakt gleichen Ergebnisse liefern. (die Stützstellen theoretisch auch, aber MT is leider nit so schlau das er einen der Stützpunkte am ersten Tick setzen würde...) Nur das OpenPrice deutlich schneller sein sollte, da das aufrufen des EAs MT einiges kosten dürfte.

 

Mit Betonung auf "sollte", ich vertrau MT da nit 100%.

Meinte nicht die Datenbasis.

In MT kann man beim Backtest auswählen wie er rechnen soll. Es gibt "Tickbasis" - da rechnet er alle Ticks einzeln durch die er hat (und wenn er keine hat simuliert er welche... voll umsonst), dann "stützstellen" - da nimmt er innerhalb des Bars ein paar Stützstellen und rechnet diese als "Ticks" durch (nur bedingt sinnvoll) oder "open price" wo er den EA immer nur zum ersten Tick des Bars ausführt.

 

Wenn man jetzt ein System hat das nur beim Open etwas tut und sonst sowieso sofort beendet (zb weil es nur auf den gerade beendeten Bar rechnet), dann kann man mit der OpenPrice Methode extrem viel zeit einsparen (oder umgekehrt mit Tickbasis viel zeit verbraten).

 

Wäre natürlich jetzt auch wieder die Frage wie MC und AB rechnen? OpenPrice (also zu jedem Bar ein Aufruf des "EAs") oder irgendeine Tickvariante?

 

Dann ist der Begriff für meine Begriffe von Metaquotes schon etwas unplatziert gewählt

Weil ein Bar hat ja nur vier Informationen … O, H, L, C.

 

„da rechnet er alle Ticks einzeln durch die er hat“

Welche Ticks hat Mt4 dann für M1 und welche nicht? Wird da, überspitzt gesagt, gewürfelt?

 

Ein M1 Bar kann real für einen Fall z.B. 100 Ticks haben und für einen anderen Fall nur 4 Ticks. Simulierte Ticks ist ja auch irgendwie ein Krampf, oder?

 

Und welchen Sinn hätte es hier zum Bsp beim CCI System einen Kurs innerhalb des Bars zu nehmen? In Realtime weiß man doch auch erst nach dem M5 Close, ob das Level 100 oder -100 für den jeweiligen Bar über/unterschritten wurde oder nicht, denn innerhalb oder zum Open genommen kann es ja dann beim Bar Close die Richtung schon wieder geändert haben, weshalb dann ein Level Cross gar nicht zu Stande kam.

 

Was in Betracht gezogen werden soll, kann man bei AB angeben also bspw Buyprice = C;

oder Buyprice = O;. Da ich auf Schlusskursbasis rechnen ließ, zieht er für jeden Bar den Schlusskurs zu Rate. Man könnte dann halt auch den Crosswert des CCI zum Open nehmen und Openpreis des Bars als Einstieg.

Dann ist der Begriff für meine Begriffe von Metaquotes schon etwas unplatziert gewählt

Weil ein Bar hat ja nur vier Informationen … O, H, L, C.

Jein, teils hat MT die Tickdaten die diesen Bar erzeugt haben gespeichert, die nimmt er dann. Vor allem in höheren TimeFrames nimmt er dann meist die niederen Timeframes. Also ein M5 Bar wäre "sinnvoll" in 5 Ticks (jeweils zu den M1 closes) zerlegbar... ob das wirklich Sinn macht ist eine andere Frage.

 

„da rechnet er alle Ticks einzeln durch die er hat“

Welche Ticks hat Mt4 dann für M1 und welche nicht? Wird da, überspitzt gesagt, gewürfelt?

Ist nicht überspitzt, es wird soweit wir es getestet haben (gab da einen Thread dazu) wirklich gewürfelt. Und nicht mal sinnvoll. Die Anzahl der gewürfelten Ticks hängt dann von dem Volumen des Bars ab und so...

 

 

Und welchen Sinn hätte es hier zum Bsp beim CCI System einen Kurs innerhalb des Bars zu nehmen?

Gar keinen, Tickbasis macht nur Sinn wenn man wirkliche Ticks hat und wirklich mit ihnen arbeitet. Und dann sollte man sich gut überlegen ob diese Systeme echt mit MT getestet werden sollten ;)

 

Wenn man zB auf H1 arbeitet und inbar die Stops nachzieht etc. kann es Sinn machen... Ob bei solchen Systemen der Backtest dann Aussagekraft hat würd ich mal nicht unterschreiben...

 

Da ich auf Schlusskursbasis rechnen ließ, zieht er für jeden Bar den Schlusskurs zu Rate.

In dem Fall müsste man MT auch auf Schlusskurs/OpenPrice rechnen lassen um vergleichbare Ergebnisse zu haben.

 

In dem Fall müsste man MT auch auf Schlusskurs/OpenPrice rechnen lassen um vergleichbare Ergebnisse zu haben.

 

Ich denke, das hat Rainworm im zweiten Versuch gemacht, der mit 27 sec. ausfiel.

Runterschauen auf niedere TF macht man bei AB mit Timeframeset()

 

 

Sollen wir die Programmcodes mal anhängen? Sonst vergleichen wir nicht Backtestumgebungen, sondern Implementierungen...

 

 

Die interne CCI Funktion von AB ist CCI(Periode);

Wenn ich das richtig sehe, wird bei dessen Berechnung der Durchschnittspreis (Avg) aus HLC genommmen,

da die Werte das gleiche Ergebnis erzielen wie eine User erstellte Funktion des CCI:

 

function MeanDev(array, mean, range)
{
result = 0;
for (i=range; i < BarCount; i++)
{
  result[i] = 0; 
  tm = mean[i];
  for (j=0; j < range; j++)
  {
    result[i] = result[i] + abs(array[i - j] - tm);
  }
  result[i] = result[i] / range;
}
return result;
}

CCILen = Param("CCI Period", 20, 3, 50, 1); 
SMATP = MA(Avg, CCILen);  
MD = MeanDev(Avg, SMATP, CCILen);
CCICUSTOM = (Avg - SMATP) / (0.015 * MD);

 

 

Der Backtest Code zur Signalerzeugung ohne jedwede Custom Positionsgrößeneinbeziehungen, Futuresmode true, Spread Hinzunahme etc, die keine Zeit Unterschiede bringen

 

sähe so aus

 

CCI0   = CCI(20);
Buy   = Cross( CCI0, 100 ); 
Sell  = Cross( 100, CCI0 ); 
Short = Cross( -100, CCI0 );
Cover = Cross( CCI0, -100 );
BuyPrice = SellPrice = ShortPrice = CoverPrice = C;

CCI

 

http://stockcharts.com/school/doku.php?id=chart_school:technical_indicators:commodity_channel_index_cci

Ich denke, das hat Rainworm im zweiten Versuch gemacht, der mit 27 sec. ausfiel.

 

So wie ich es verstanden habe, hat er da dem EA nur gesagt das er an den anderen Ticks nichts machen soll. Der MT geht trotzdem her und ruft bei jedem "Tick" die start() des EA auf. Das Laden des Ticks und aufrufen von start() kostet den MT natürlich trotzdem Zeit (und aus meiner Erfahrung leider sehr viel, die OpenPrice Methode ist nämlich meist Welten schneller... ).

Die interne CCI Funktion von AB ist CCI(Periode)

...

Der Backtest Code zur Signalerzeugung ...

sähe so aus

Auf den ersten Blick sind CCI-Implementierung und Backtestcode inhaltlich gleich umgesetzt. Hier MC.

 

CCI

inputs: 
Len( numericsimple ) ;                                                 

variables: 	
var0( 0 ), 
var1( 0 ), 
var2( 0 ) ;

var0 = Average( H + L + C, Len ) ;                                                  
var1 = 0 ;
for var2 = 0 to Len - 1 
begin
var1 = var1 + AbsValue( ( H + L + C )[var2] - var0 ) ;
end ;
var1 = var1 / Len ;

if var1 = 0 then
CCI = 0
else
CCI = ( H + L + C - var0 ) / ( .015 * var1 ) ;

 

Strategie

value1 = CCI(20);

if marketposition = 0 then
begin
 if value1 crosses over 100 then
 	buy next bar market
 else if value1 crosses under -100 then
      sellshort next bar market;
end
else if marketposition = 1 then
begin
 if value1 crosses under 100 then
   sell next bar market;
end
else if marketposition = -1 then
begin
 if value1 crosses over -100 then
   buytocover next bar market;
end;

 

Den MT4-Code habe ich leider zu Hause auf dem Rechner und bin jetzt erstmal die Woche über irgendwo in Deutschland. Beim MT4 kamen die Zeitunterschiede dadurch zustande, dass ich einerseits nur neue Bars berechnet habe und andererseits mir den CCI in einer Variablen gemerkt und mit dieser weitergearbeitet habe. Dadurch wurde der CCI nicht mehrfach (pro if) berechnet. Hinzu kommt, dass ich im MT4 kein "crosses" habe, und daher den aktuellen mit dem vorhergehenden CCI vergleichen muss.

Beim MT4 brachte mir die Backtesteinstellung "open bar" keine brauchbaren Ergebnisse. Wenn ich den Backtest rein visuell verfolgt habe, hat er nur gelegentlich Positionen bei 100/-100 CCI eröffnet. Manchmal ja, manchmal nein. Also habe ich mir das selbst (Zweizeiler) gebaut. Wie gesagt, Code liefere ich nach.

 

Nun die Frage: warum unterscheiden sich AB und MC bei gleicher History und gleicher Implementierung dennoch in der Anzahl an Signalen merklich?

Nun die Frage: warum unterscheiden sich AB und MC bei gleicher History und gleicher Implementierung dennoch in der Anzahl an Signalen merklich?

Grade dieser Punkt würde mich als absoluter Laie auch brennend interessieren.