Release 13.16.16 - Automatisches Training von ML-Systemen per Auto-Script

Als Nutzer möchte ich automatisiert in der Nacht komplette Modelle trainieren können (Windows-Scheduler). Dabei möchte ich ein Basisnetz definieren und danach verschiedene Marktselektionen übergeben können, die dann für vorgegebenen Modelle die Trainings durchführen. Ein H2o-Server sollte dabei bereits im Hintergrund laufen mit geeigneten Startparametern. Da dies unüberwacht erfolgt, sollte ausreichend Speicher zugewiesen sein (z.B. 8GB) und damit die Anzahl der Trainings überwacht werden. Nach einem Training wird das Modell gespeichert (exportiert) und dann zur Speicherbereinigung wieder umgehend gelöscht.

Von Interesse sind hier:

• Europäische Titel

• Amerikantische Titel

• Bestimmte Asset-Klassen wie Indizes, Rohstoffe

Zudem sollte die ResponseColumn-Auswahl d.h. die Ziele für die Trainings einfach als Feld kopiert werden können aus der UI und dann als "doAutoMLTrainResponseColumnIDs" hinterlegt werden in der INI-Konfiguration. Es werden dann automatisiert alle Zielwerte automatisch für das gegebene ML-Modell trainiert. Manuelle Zwischenschritte sind nicht mehr notwendig.

• doAutoMLTrain=1

• doAutoMLTrainMarktSelections=[2097152]

• doAutoMLTrainResponseColumnIDs=Forecast[5d].MA[1d].ts,Forecast[5d].MA[1d].Rounded.Enum.ts,Forecast[5d].MA[1d].Binaer.ts,Forecast[10d].MA[1d].ts,Forecast[10d].MA[1d].Rounded.Enum.ts,Forecast[10d].MA[1d].Binaer.ts,Forecast[30d].MA[1d].ts,Forecast[30d].MA[1d].Rounded.Enum.ts,Forecast[30d].MA[1d].Binaer.ts)[GBM]

Als Nutzer möchte ich für die Kernprognose-Typen auch entsprechende Watchlisten vorkonfiguriert haben.

Als Nutzer würde ich gerne die automatische Programmsteuerung insb. für das Training der Netze nutzen. Aktuell ist hierfür effektiv aber noch keine ausreichende Dokumentation vorhanden. Diese sollte dringend aktualisiert werden.

Ich möchte als Nutzer die Kursvorhersage automatisiert für meine Watchlisten durchlaufen können. Hierbei möchte ich eine Liste der Watchlisten-IDs hinterlegen können. Nach Durchlauf der Systematik kann ich ALLE ML-Modelle innerhalb von Sekunden nutzen, da die vorbereiteten Daten direkt H2o übergeben werden können und damit praktisch gecached vorliegen.

• doAutoMLPrediction=1

• doAutoMLPredictionWatchlistenIDs=[4;16]

• doAutoMLPredictionScript=d:\ownCloud\transfer\Auto-Execute-Shareholder\doAutoMLPredictionScript.cmd 

Ich möchte die technische Volatilität einer Einzelaktie in den Kurslisten auch für einen kürzeren Zeitraum einblenden können. Ich wünsche mir daher neben 260 und 90 Tagen auch ein 30 Tage Zeitraum.

Als Nutzer möchte ich die AbgSteuer direkt mit Bezug auf eine Einzelaktie erheben können. Diese sollte zudem in den Gesamtkalkulationen als Belastung bewertet werden.

Als Nutzer möchte ich die Datenvorverarbeitung von ML/KI-Systeme nicht manuell durchlaufen, sondern automatisiert zu definierten Zeiten starten können. Ich möchte dabei ein Basisnetz definieren und dann über Marktselektionen automatisierte Exports durchführen können. Dabei sollten auch separate Scripte gestartet werden können, die z.B. eine sFTP-Transfer oder andere Aktivitäten starten können.

Von Interesse sind hier:
- Europäische Titel
- Amerikantische Titel
- Bestimmte Asset-Klassen wie Indizes, Rohstoffe

Die Konfiguration sollte ein multiples Markt-Selektions-Feld beinhalten, was im Auswahldialog im Dialog bei manueller Auswahl für die aktuell ausgewählten Märkte mit angezeigt wird und auch kopiert werden kann mit Doppelklick auf die ID=xxxxxxx-

In der autoupdate.ini-Konfiguration die als Parameter für auto-execute:xxxx übergeben wird, werden dabei die automatische Grundkonfiguration zur automatischen Ausführung definiert.

• doAutoMLBaseNetID=10

• doAutoMLExport=1

• doAutoMLExportMarktSelections=[2097152]

• doAutoMLExportH2oImport=0

• doAutoMLExportScriptAction=1

• doAutoMLExportScript=\transfer\Auto-Execute-Shareholder\doAutoMLExportScript.cmd

Als Nutzer möchte ich meine Einstellungen der Fenstergrößen als auch die Spalteninformationen der Modell-Daten automatisch gespeichert wissen.

Als Nutzer nutze ich sehr umfangreiche und viele Modelle. Die Standardeinstellungen für den Start von ShareHolder reichen hier nicht aus. Es sollte praktisch der komplett verfügbare Speicher in GB - 1GB verwendet werden, um eine optimale Nutzung des H2o-Systems zu erreichen.

Als Nutzer möchte ich verschiedene Forecast-Modelle z.B. 5d, 10d, 30d in einem Durchlauf erzeugen, da sich die Trainingsdaten dadurch nicht wesentlich verändern und nur die Forecast-Spalten mehrfach geschrieben werden müssen. Aktuell bin ich gezwungen mehrere identische Netze aufzubauen, wenn ich nur unterschiedliche Prognosetage nutzen möchte. Zudem kann ich bei Kursvorhersagen die gleichen Prediction-Vorbereitungsdaten verwenden, was die spätere Nutzung deutlich beschleunigt und vereinfacht.

Als Nutzer möchte ich mehrere Modelle hintereinander automatisiert antrainieren. Manuelle Aufwände möchte ich weitgehend vermeiden.

Als Nutzer möchte ich nicht manuell "nachräumen" müssen. Alle Berechnungsdaten sollten daher beim Löschen eines Modells mit entfernt werden.

Die Vorhersagedaten sollten nach der Nutzung einer Kursprognose nicht gelöscht werden, sondern für die Session gültig bleiben. Der CleanUp-Job sollte damit erst beim Verlassen des Programms aufgerufen werden für alle Prediction-Modelle.

Der Nutzer kann so eine Kursprognose nutzen, danach ein anderes Prognosemodell auf der gleichen Datenbasis aufrufen und kann dabei innerhalb von ms die neuen Prognosewerte des Modells sehen. Die zeitaufwändige Datenaufbereitung entfällt. Die Daten bleiben tagesgültig bestehen. Wenn dies zurückgesetzt werden müssen, dann muss das CleanUp im Kursprognose-Fenster aufgerufen werden.

siehe https://github.com/h2oai/h2o-3/blob/db956964c058a877f532e647881874e7e028ec23/Changes.md