Reinforcement Learning im Bereich der Unternehmensanalyse
- Degree programme: MAS Data Science
- Author: Hansjörg Wingeier
- Year: 2021
Reinforcement Learning (RL) verspricht Anwendungsgebiete erschliessen zu können, für die überwachtes und unüberwachtes Lernen nicht geeignet sind. Ein Gebiet, in dem geforscht wird, ist automatisiertes Trading. Die meisten dieser Ansätze verwenden dazu in erster Linie Aktienkurse. In dieser Thesis wurde aber ein anderer Ansatz verfolgt. Basierend auf den Unternehmensdaten wurde ein RL Robo Advisor realisiert, der Empfehlungen für den Kauf und Verkauf von Aktien erteilt.
Ausgangslage
Kurzfristig regieren an Börsen oft Gier und Angst was, zu Übertreibungen führt. Mittel- bis langfristig tendieren Kurse aber dazu, den fairen Wert einer Firma widerzuspiegeln. Deswegen müsste es möglich sein, aufgrund der Daten aus den Geschäftsberichten eine Prognose für die Entwicklung des Aktienpreises zu erstellen.
An U.S. Börsen gelistete Unternehmen sind verpflichtet, bei der U.S. Securites & Exchange Commission (SEC) ihre aktuellen Geschäftsberichte einzureichen. Seit 2012 werden diese Daten standardisiert erfasst und stehen als CSV Dateien zur Verfügung. Können diese Daten so aufbereitet und verwendet werden, dass mit RL ein Robo Advisor entwickelt werden kann, der brauchbare Anlagetipps ausgibt?
Umsetzung
Obwohl Geschäftsberichte Standards folgen, sind die Informationen nicht einfach so vergleichbar. Ein wichtiger erster Schritt während der Thesis war deshalb die Analyse dieser Daten und die Implementierung einer Transformationspipeline, um vergleichbare Daten zu erstellen.
Im zweiten Schritt wurden mit diesen Daten verschiedene Modelle trainiert, um zu prüfen, ob Prognosen des Aktienkurses möglich sind. Das Training erfolgte mit den Daten aus den Jahren 2012-2017.
Mit diesen Modellen wurde anschliessend im dritten Schritt ein RL Robo Advisor entwickelt, der für private Anleger wöchentliche Anlagetipsp erzeugt.
Ergebnisse
Der erzeugte Datensatz fasst die Informationen aus über 100'000 Quartals- und Jahresberichten von über 3'000 verschiedenen Unternehmen zusammen. Dieser Datensatz ermöglicht neue Einblicke und umfassende Analysen.
Mit den Daten der 500 grössten Unternehmen aus diesem Datensatz konnte eine erste Version eines Vorhersagemodells erstellt werden. Basierend auf diesem Modell wurden für die Jahre 2018-2020 Unternehmen selektiert, die anschliessend an der Börse eine überdurchschnittliche Performance zeigten.
Eine erste Version eines auf RL basierenden Robo Advisor konnte umgesetzt werden. Die jährliche Performance des Dow Jones von 8% konnte in der Trainingsperiode durch den Robo Advisor mit einer Performance von bis zu 45% deutlich übertroffen werden (siehe Abbildung).
Fazit
Die erzielten Ergebnisse berechtigten zur Annahme, dass aus Unternehmensdaten automatisiert brauchbare Prognosen erstellt werden können. Aber es gibt noch einige Punkte, die weiter untersucht werden müssen. So wurden beim Vorbereiten der Daten getroffene Annahmen nicht vom Fach geprüft. Im Weiteren zeigt das Vorhersagemodell im Trainingszeitraum eine massive Überanpassung. Ebenso wurde der Robo Advisor noch nicht in einem ungesehenen Zeitraum getestet.
