Mit «Extract Transform Load» (ETL) sollen Daten aus medizinischen Ersteinschätzungen, erfasst durch die Webapplikation «Swiss Medical Assessment System» (SMASS), in ein Data Warehouse (DWH) überführt und in ansprechenden Dashboards aufbereitet werden, um der Medizin, dem Softwarebetrieb und der Geschäftsleitung neue Einsichten zu vermitteln.
Die Webapplikation SMASS der In4medicine AG erzeugt Daten in Form von medizinischen Ersteinschätzungen, womit die Gesprächsführung, Auswertung und Dokumentation von Konsultationen unterstützt wird. Diese Daten wurden bisher nur manuell mit SQL-Abfragen aus den jeweiligen Produktionsdatenbanken für Berichte extrahiert. In einem Vorprojekt wurden verschiedene Technologien zum Erstellen von geeigneten Dashboards evaluiert und erste PoC's (Proof of Concept) erstellt. Dabei wurde die Webapplikation Grafana von Grafana Labs als Plattform gewählt.
Die Daten müssen künftig aus verschiedenen Rechenzentren gesammelt und zentral in einer geeigneten Datenbank (DWH) abgelegt werden, wobei geeignete ETL-Technologien zum Einsatz kommen. Basierend auf den im DWH aufbereiteten Daten sollen mit Grafana möglichst ansprechend Dashboards angeboten werden.
Zuerst wurden Technologien wie Spring Cloud Data Flow, Airbyte und Apache Nifi auf ihre Tauglichkeit und Kompatibilität mit dem Unternehmen geprüft. Die Entscheidung fiel auf Apache Nifi als ETL-Werkzeug. Nifi basiert auf Java und bietet etliche Standardbausteine, welche für den gegebenen Anwendungszweck ausreichen. Neue Bausteine können zudem mit Maven Archtypes generiert werden. Die medizinischen Einschätzungen konnten im Lauf des ETL-Prozesses mit geografischen Informationen angereichert werden. Die Daten werden in eine relationale Datenbank in einem sternförmigen Datenmodell (DWH) geladen. Die Zugänglichkeit mit SQL wird bei Datenanalysten geschätzt und bietet vielfältigere Integrationsmöglichkeiten. Dank der sorgfältigen Aufbereitung und der zentralen Sammlung der Daten war es ein Leichtes, ansprechende Visualisierungen mit Grafana zu ermöglichen.
Für die Einbindung aller Datenzentren und unterschiedlicher Datenstrukturen der Ersteinschätzungen wird die ETL-Lösung weiter angepasst werden. Ebenso sollen rollenbasierte Dashboards für verschiedene Kundengruppen zugänglich gemacht werden.