Import von Daten in MC über MT4

[Kleinerbroker]

Ok, jetzt HiJacke ich diesen Thread .... ich plage mich sehr mit dem Import von Historieen herum . Nachdem ich von IB und MBT nichts bekommen habe, bin ich zu MT4 gegangen, habe dort Quotes im 1 Min TF Daten in den MT4 gezogen und dann wieder als ASCII in CSV exportiert . Nachdem ich Nase dann auch endlich das Datum (Y.M.D mit ".") richtig mit der "Custom"-Fkt eingestellt hatte, konnt ich in den QM importieren . Dann gab es ein paar Fehlermeldungen, vermutlich weil ich Mehrfacheinträge für eine einzelne Minute hatte . Also notiert für Korrektur und dann geskippt . Danach wollte ich diese Werte editieren aber .... sie waren nicht da . Ich fand nur wenige Wochen anstatt meiner 5 Jahre .

 

Habt Ihr nen Anfängerlink für mich (und wenn ja, dann bitte liebe Admins , dann schiebt diesen Post doch dorthin, damit ich hier nicht weiter kontaminiere) ?

 

KB

 

PS.:Zum Verständnis für diejenigen die meinen Weg schon länger verfolgen => Ich will das HS von Ernten 4.2. in MC entwickeln und dann die Verbesserungen in den MT4-Code einbringen . Ich hoffe, dass ich so schneller voran komme .

[Henrik]

Hab mal ein eigenes Topic draus gemacht.

Zunächst schauen wir mal, warum du unter MC keine Daten herunterladen kannst.

 

Hast du in IB das passende Datenabo?

Unabhängig davon sollte es aber mit MBT klappen.

 

Öffne mal den Quotemanager.

Danach MC und öffne einen Chart mit deinem Instrument, was du sehen willst.

 

Jetzt klicke dich in den Quotemanager (QM) rein und schau mal, was unten in dem Berichtsfenster steht. Evtl. taucht da eine Fehlermeldung auf passend zu deinem Instrument was du herunterladen willst.

[WOGO]

Ok, jetzt HiJacke ich diesen Thread .... ich plage mich sehr mit dem Import von Historieen herum .

Alter Leidensgenosse

 

Ich würd dir mal empfehlen, die Daten von hier zu nehmen.

Ich bin aber immer noch etwas am Kämpfen.

Die Dukascopydaten haben noch eine ms-Stelle. Hab da ewig gebraucht, bis ich das richtige Inputformat gefunden hab und es klappt immer noch nicht 100%ig.

Formatier die Daten momentan über ein Perl-Skript um.

Mal schaun, ob's dann geht...

[Kleinerbroker]

Vielen Dank

 

Zwei Broker, zwei Märkte .

 

1,) IAB ; SLV auf SMART :

 

Habe RT Abbo bei IAB via Captader . Ich erhalte also RT Daten .... aber bedeutet das auch, dass ich dann Historieen bekomme ?

 

Hast du in IB das passende Datenabo?

 

Wo muss ich nachsehen um hier den entsprechenden Text benennen zu können ?

 

2.) MBT , FX , AUD/USD (Ernten 4.2.)

 

Öffne mal den Quotemanager.

 

Danach MC und öffne einen Chart mit deinem Instrument, was du sehen willst.

 

Es werden alte Quotes geplottet , die Lücken nicht gefüllt (oronge) und ich bekomme nur dieses Chart angezeigt (Blau) .

 

Jetzt klicke dich in den Quotemanager (QM) rein und schau mal, was unten in dem Berichtsfenster steht

 

 

Evtl. taucht da eine Fehlermeldung auf

 

 

KB

 

PS.: Meine corrupte MT4-AUSUSD-History habe ich vorher gelöscht

[Kleinerbroker]

PS.: Und ich finde es monstertoll wie Ihr mir hier alle zur Hilfe eilt, habt vielen vielen Dank

 

 

KB

 

EDIT : Aber jetzt ist erstmal Samstag abend und somit für den KB Schluss für heute !

[Henrik]

OK, machen wir es mal anders, einen Weg, den ich auch aufzeigen kann. Über IB, bei IB sind FX immer mit dabei ohne Datenabo.

 

Du gehst in den QM.

Dort auf Instruments oben, Add Symbol, Add from data source, Interactive Brokers.

Dort auf den Reiter Cash, dann gibst du AUD.USD ein und klickst auf Look. Das kommende Symbol addest du.

 

 

Jetzt öffnest du MC, machst einen Chart auf und gehst über IB auf AUD.USD.

Jetzt sollte alles klappen.

 

[Kleinerbroker]

Jetzt sollte alles klappen.

 

Perfekt und auch mit Historie , und zwar bis zum 1.9.2011 .

 

 

Aber dann müßte ich doch auch Historie von SLV in SMART bekommen ? Ich probiere es morgen nochmal, sonst gehe ich nochmals an den Support von MC, dass ist dann wohl das Beste .

 

 

Vielen Dank .

 

(ganz froher) KB

[Henrik]

SLV ist eine US-Aktie?

 

Für IB brauchst du dafür ein Datenabo. Dafür bei dir in den IB-Account Management gehen und unter Trading Access das Datenabo für US Stocks hinzufügen. Kostet 10 $ im Monat, die aber erstattet werden wenn man mittels Kommissionen entsprechenden Umsatz erzielt.

 

Bei IB fügt man die Aktien am besten mit dem oben genannten Weg hinzu (Add from Data source IB).

 

Für MBT weiß ich jetzt nicht so genau. US Stocks sind dort eigentlich mit drin in der "Basisversion". Da muss man etwas herumspielen, welche Einstellung im QM notwendig ist. Für MBT gibt es leider kein "Add from Data source". Dafür ist bei MBT die Auswahl der Exchange egal, MBT schluckt alles und schickt automatisch die richtige Aktie. So kann man per MBT eigene Exchanges erstellen und kann so seine Stocklisten nach Exchange "sortieren". Das geht bei IB nicht, der will die korrekte Exchange, dadurch kann man leider verschiedene Aktien nicht in eine Art Favoritenliste sortieren.

Das wiederum ist bei NT sehr gut gelöst, da kann man beliebige Aktien in beliebige Listen einordnen.

[Kleinerbroker]

Hallo

 

ja, dieses Datenabbo habe ich, es handelt sich bei SLV um einen ETF auf Silber in USD . Ich handele diesen nur Long in kleinen Portionen und nutze einfach nur S&R um ein bischen Ausbruch , dazu dann stockkonservatives RM (Hebel 1) . Das will ich bei IB automatisieren . Ursprünglich hatte ich mal an Tradeprojekt gedacht, aber das hat dann irgendwie leider nicht geklappt .

 

MBT will ich für nur für Ernten nutzen .

 

Ich gucke morgen nochmal in das SLV-Thema von Scratch hinein .

 

Ist es logisch für Dich, dass ich bei IB im 1 Min TF ca 4 Monate Historie bekomme ?

 

Bis morgen

 

KB

[WOGO]

Für MBT weiß ich jetzt nicht so genau. US Stocks sind dort eigentlich mit drin in der "Basisversion".

Bei MBT brauchst du doch ein Equities-Konto für Stocks. Das Forex-Konto ist separat.

[Henrik]

Bei MBT brauchst du doch ein Equities-Konto für Stocks. Das Forex-Konto ist separat.

 

Genau, und was ich eigentlich meinte, dass man bei dem E-Konto kein Datenabo für Stocks braucht. Nur für Futures.

 

 

@ KleinerBroker

Ja das mit der History für 4 Monate kommt hin. IB (und auch MBT) sind in erster Linie Broker. Sie bieten deshalb nur rudimentäre Daten zum download an. Für Aktien gibt es bei IB glaube ich 1 Jahr.

Willst du mehr, wirst du ein Datenabo zB bei eSignal oder IQFeed abschließen müssen, was aber schnell über 100 $ im Monat kostet. Kostenfrei sind nur End Of Day - Daten von Yahoo / Google.

[Kleinerbroker]

Guten Morgen

 

hoffentlich werdet Ihr einen schönen und erholsamen 2.Advent haben !

 

@Henrik : Deine Anleitung oben funktioniert genauso gut bei SLV und , genau,auch hier habe ich Daten ab dem 1.9. bekommen .

Damit ist also meine Datenversorgung durch die Broker sicher gestellt . Das schonmal sehr gut .

 

Nun muss ich nochmal gucken, wie ich größere Historieen bekomme . Und natürlich bin ich dem Hinweis von Wogo zu DJ gefolgt .

Aber hier mache ich wohl noch Fehler . Jedenfalls bekomme ich bei dem Versuch mir Ticks zu ziehen einen Scriptfehler oder aber der Download bricht nach 50% und einer Std ab . Und die MinutenDaten bekomme ich überhaupt nicht . ( Firefox)

 

Aber nun muss ich erstmal auf Reisen gehen und Familie besuchen . :-)

 

Am nachmittag bin ich wieder da und probiere es nochmals .

 

KB

[FinGeR]

OK, machen wir es mal anders, einen Weg, den ich auch aufzeigen kann. Über IB, bei IB sind FX immer mit dabei ohne Datenabo.

 

Du gehst in den QM.

Dort auf Instruments oben, Add Symbol, Add from data source, Interactive Brokers.

Dort auf den Reiter Cash, dann gibst du AUD.USD ein und klickst auf Look. Das kommende Symbol addest du.

 

 

Jetzt öffnest du MC, machst einen Chart auf und gehst über IB auf AUD.USD.

Jetzt sollte alles klappen.

 

 

 

Hallo ich möchte MC mal Testen und habe mir die Testversion heruntergeladen.

Ich habe nirgends ein Account .

 

Habe jetzt versucht über Interactive Brokers.

Läd keine Daten in der log steht Connecting to symbollist data for AUD.USD CASH 0 0 0

 

Muss ich noch eine Server IP eingeben ?

http://content.screencast.com/users/MetaTraders/folders/metatraders.de/media/3a2cc5ae-d804-4cee-a314-7386e59a8288/2011-12-04_1156.png

[Henrik]

Über IB brauchst du einen Account und musst dann entweder die TWS oder den Gateway starten. Dann kann erst MC zu IB connecten. Dann sollte die IP und der Port zusammenpassen.

 

 

Wenn du nur testen willst, arbeite doch erst einmal mit FreeQuotes, also EoD - Daten von Yahoo/Google Finance.

[WOGO]

So, war eine schwere Geburt, aber es hat jetzt geklappt die Dukascopy History Tick-Daten zu importieren.

Für alle, die das auch mal machen wollen, hier mein Vorgehen:

1) Kurs-History mit Dukascopier.exe z.B. von hier, herunterladen. Alternativ kann man die Daten auch über diese Seite herunterladen. Nachteil ist, man kann nicht mehrere Währungspaare auf einmal laden und auch nicht nach Abbruch wieder fortsetzten.

2) Ich hab über ein Perl-Skript die ms aus dem Time-Stamp entfernt. Anders hat MC die Daten nicht akzeptiert.

EDIT: ...und das Volumen um den Faktor 1000000 heruntergesetzt (damit es den korrekten Wert hat; nur bei dem Dukascopier-Ansatz)

Wer sich mit Perl ein bischen auskennt, hier das Script:

FormatDukascopy.zip

3) Im Quote Manager: ASCII data import mit folgenden Einstellungen:

 

Da die CSV-Files Groessen von um die 5-7GB haben sollte man gaaaaaanz viel Zeit mitbringen

 

Wichtig: im CSV-File darf KEINE Leerzeile sein (auch nicht am Ende)!

[Kleinerbroker]

Damit ist also meine Datenversorgung durch die Broker sicher gestellt . Das schonmal sehr gut .

 

Und nun habe ich weitergesucht und Historien hier gefunden, die sich auch noch fehlerfrei durch den QM importieren lassen .

 

Nun stehe ich vor der Frage, wie ich die Daten von IB (also die , die ich von der TWS zurück bis zum 1.9.2011 erhalten habe) mit denen verbinde, die ich oben zurück bis 2001 erhalten habe .

 

Automatisch geht es sooo einfach nicht .

 

Gibt es da auch eine einfache Lösung ? "Mapping" scheint es nicht zu sein .

 

 

@Wogo : ich verstehe Deinen Post nicht .... könntest Du das für Laien klären ? Ich belästige deshalb, weil Tickdaten mit solcher Qualität eigentlich Reichtümer kosten und ich habe da einen EA .......

 

KB

[RAiNWORM]

weil Tickdaten mit solcher Qualität eigentlich Reichtümer kosten und ich habe da einen EA .......

Du bist doch auch bei MB Trading, oder? Dort bekommst du die Forex-Tickdaten auch kostenfrei zum Download. Allerdings nicht ewig zurück.

Einloggen, dann im Menü TOOLS > TICK HISTORY oder LINK

[WOGO]

@Wogo : ich verstehe Deinen Post nicht .... könntest Du das für Laien klären ? Ich belästige deshalb, weil Tickdaten mit solcher Qualität eigentlich Reichtümer kosten und ich habe da einen EA .......

Na klar!

 

Die Tickdaten von Dukascopy sind wirklich kostenlos. Sie garantieren zwar nicht für die Qualität, ich hab sie aber schon länger für meine MT4-Backtests verwendet und konnte keine Probleme erkennen. Also durchaus brauchbar, meiner Meinung nach.

Um an die Daten zu kommen kannst du sie entweder von der Dukascopy-Page aus obigen Link runterladen, oder du benutzt das Freeware-tool DukasCopier.exe.

Das sieht so aus:

Du kannst hier aus 23 Währungspaaren auswählen, die das Tool dann von Dukascopy runterlädt und ins CSV-Format umwandelt.

Unterschied zwischen den Daten von der Dukascopy-Webpage und denen über das Tool geladenen ist, dass das Tick-Volumen um den Faktor 1000000 differiert. Keine Ahnung warum.

Die Daten haben einen timestamp, der so aussieht: hh:mm:ss.ms Mit den Millisekunden kommt MC scheinbar nicht klar (kann aber auch sein, dass ich mich einfach zu blöd anstell ). Um die Daten also in ein brauchbares Format zu bringen hab ich ein Perl-Skript geschrieben, das mir bei allen Zeilen des CSV-Files die Millisekunden löscht und das Volumen berichtigt.

D.h. es wird über das Perl-Skript ein neues, umformatiertes CSV-File erzeugt, das man dann über den MC Quote Manager importieren kann.

Perl deshalb, da es bei den riesigen Dateien noch verhältnismässig schnell ist. Mit Excel z.B. könnte man die Files garnichmehr öffnen.

Das hat heute Abend mit EUR/USD prima funktioniert (wobei ich sagen muss, hier hab ich das File nochmal auf zwei Teilfiles aufgeteilt - händisch per UltraEdit), jetzt bei GBP/USD geht's schon wieder nichtmehr

Evtl. ist das Gesamtfile mit über 6GB auch einfach zu gross für MC.

Ich probiers jetzt nochmal, das File aufzuteilen. Wenn es dann geht, dann ist das Problem wohl die Grösse.

 

Ich hoffe das Vorgehen ist jetzt etwas klarer geworden...

[WOGO]

...

Evtl. ist das Gesamtfile mit über 6GB auch einfach zu gross für MC.

Ich probiers jetzt nochmal, das File aufzuteilen. Wenn es dann geht, dann ist das Problem wohl die Grösse.

Ich hab das GBP/USD-File, das sich vorher nicht importieren liess, geteilt und dann konnte ich auch das importieren.

Heisst also, das CSV-File darf für der Import nicht zu gross sein.

[Kleinerbroker]

Guten Morgen WOGO , habe vielen Dank !

 

Rainworm, auch Dir mein Dank ! Habe alles gefunden, jeder Tag eine Datei .

 

Mein Arbeitswoche beginnt in einer Minute . Im Laufe der Woche werde ich Abends mich immer weiter

vorarbeiten . :-)

 

Euch einen guten Start , bei mir regnet und stürmt es , brrrrrrrrrr

 

Euer

 

KB

[Kleinerbroker]

 

Wer sich mit Perl ein bischen auskennt, hier das Script:

 

Das Script habe ich nun, meinen CSV auch , die beschriebenen Probleme im Format wie Du, also MS und Volumen ......... aber keine Ahnung von Perl .

 

Nach erstem Googlen brauche ich nun einen Interpreter für Perl ?

 

Wäre nett , denn ich möchte in den Bereich

 

KB

 

EDIT : Weiter herumgestöbert, Dein Script mit Notepad durchgesehen, Perl Handbuch gefunden => führt hier bei TN glaube ich zu weit .

[WOGO]

Wäre nett , denn ich möchte in den Bereich

EDIT : Weiter herumgestöbert, Dein Script mit Notepad durchgesehen, Perl Handbuch gefunden => führt hier bei TN glaube ich zu weit .

Ok, also du brauchst erst mal eine Perl-Installation. Kannst du dir hier kostenlos runterladen.

Dann hab ich am Skrip noch einwenig rumgebastelt. Problem bei den CSV-Files ist, dass sie so gross sind, dass man sie nicht auf einmal importieren kann. Die Files per Editor teilen ist sehr mühsam, drum hab ich die Teilung in das Skript eingebaut.

Ausserdem war in der ersten Version nach dem Skriptlauf immer eine Leerzeile am Ende des CSV-Files. Das mag MC garnicht...

FormatSplitDC.zip

Was musst du also machen?

Am einfachsten kopierst du das Skript in das selbe Verzeichnes, wie dein CSV File und öffnest die Eingabeaufforderung. Dann führst du das Skript mit folgendem Befehl aus:

perl FormatSplitDC.plx d:\Dein Verzeichnis\"EURUSD_Tickdata_with_ms.csv" "2009.05.31"

Das Datum am Ende gibt an, wo das grosse File geteilt werden soll.

Es werden dann 2 Files generiert, die im Namen dann ein "vor_2009.05.31" und ein "...nach_2009..." haben (oder so ähnlich).

Wichtig ist nur, dass das Teil-Datum nicht auf ein Wochenende fällt. Dann funktionierts nämlich nicht. War bei mir anfangs so und dann hab ich ewig gesucht, warum's nicht geht.

 

Das Skript braucht ziemlich lange. Also nicht wundern, wenn sich erst mal garnichts tut.

 

Viel Erfolg!

[WOGO]

Ähm,

hab mir grad sagen lassen, dass ich das falsche File geposted habe.

Also, wenn's sonst noch jemand braucht, das hier sollte das Richtige sein

FormatSplitDC.zip

[Kleinerbroker]

ich habe es doch tatsächlich geschafft, nachdem mir Wogo noch ein weiteres mal ganz toll geholfen hat . Als Laie berichte ich nochmal kurz aber nur , weil ich mich trotz der

sehr sehr guten Erklärung durch Wogo oben, immer noch sehr stupide angestellt habe :

 

1.) Zuerst muss man sicherstellen, dass die Daten ordentlich durch den Download gelaufen sind . Fehler führen nicht sofort zum Abbruch , es gibt keine Fehlermeldungen .

1.1.) Tip : DC.exe kann updaten . Fehlt etwas => NICHT löschen, sondern nochmal den Download durchlaufen lassen .

1.2.) Tip : Man kann sich zum einen die Dateigröße des .csv ansehen .

1.3.) Tip : Weiterhin kann man die Ordner des Download von DC durchsehen .

1.4.) Vorsichtsmassnahme : Samstag und Sonntag als Downloaddatum besser meiden .

 

2.) Ich habe mir ActivePerl die richtige Version (in meinem Fall x86) geladen und installiert .

 

3.) Dann habe ich mir die Datei von Wogo in einen seperaten Ordner zusammen mit der Historie gelegt und ge"unzipped"

 

4.) Aufruf der Eingabeaufforderung (Vista) ==>> CMD

 

 

Der rote Text it Output des PC , der Blaue die Eingabe des User

 

 

5.) Nun habe ich mich mit "d:" die Festplatte gewechselt . Auf dieser habe ich meinen Datenmassen gelagert . Nun schlage ich den Ordner auf, wo sich sowohl Wogo´s Programm (Endung ".plx") als auch meine DC-".csv´s" befinden , die History also, die ich nach MC transferieren möchte . Diesen Ordner hatte ich vorher FX_History benannt : also : D:\>CD\FX_History

 

6.) Nun kann ich den Befehl zur Umformatierung geben : "D:\FX_History>perl FormatScriptDC.plx "AUDUSD.csv" "2009.06.01" "

6.1.) zwischen den drei Teilen ist je ein Freizeichen , werden diese nicht eingebracht, gibt es einen Error

6.2.) Das Datum muss auf einem Werktag liegen . So ist der 1. Juni 2009 ein Montag, der 31.Mai 2009 erzeugt einen Fehler

6.3.) Das Umformatieren und Trennen dauert mehrere Stunden . AUDUSD , 5 Jahre Tick , sind etwa 5 GB Datenmenge . Das Umformatieren dauert eine ganze Nacht .

 

KB

[Kleinerbroker]

6.3.) Das Umformatieren und Trennen dauert mehrere Stunden . AUDUSD , 5 Jahre Tick , sind etwa 5 GB Datenmenge . Das Umformatieren dauert eine ganze Nacht .

 

Nicht ganz, heute Nacht hat der PC unter 3 Stunden gebraucht . Aber da habe ich dann den Rechner alleine gelassen und er war mit nichts anderem beschäftigt .

 

 

Nun aber geht es an den Datenimport in Multicharts .

 

Aus

 

2011.01.03 00:00:00.395,1.3356,1.33575,4500000,1500000

 

wurden nach der Umformatierung nun Millionen Zeilen in einer ".csv"-Datei , die wie folgt aussehen :

 

2011.06.30 00:00:00,1.44636,1.44646,1,1

 

Diese gilt es nun in den MC zu importieren .

 

 

KB