Obwohl viele Big-Data-Technologien als Open-Source-Software frei verfügbar sind, haben User ohne ausgeprägte IT-Kenntnisse Schwierigkeiten, sie zu integrieren und bereitzustellen. Die »Big Data Europe«-Plattform kann lokal oder in jeder Größenordnung in einer Cloud-Infrastruktur installiert und über eine einfache Benutzeroberfläche konfiguriert werden. Tools wie »Apache Hadoop«, »Apache Spark«, »Apache Flink« und viele andere können leicht instanziiert werden.
»Die Verfügbarkeit der Massen von Erd- und Sensordaten von Satelliten verändert mein Fachgebiet der Landwirtschaft«, sagt Maritina Stavrakaki von Agroknow, »allerdings ist es schwer, diese Daten mit traditionellen Tools wie Tabellen und einfachen Datenbanken zu kombinieren. Die BDE-Plattform ermöglicht es mir, große Datenmengen in Echtzeit zu verarbeiten. Die Mustererkennung, der Zugriff auf Tabellen innerhalb von Publikationen und die Forschung über ein breiteres Spektrum von Datensätzen ist jetzt viel einfacher.«
Die integrierten Tools wurden nach einem bestimmten Verfahren ausgewählt. Zunächst identifizierte die Europäische Kommission sieben gesellschaftlichen Herausforderungen: Gesundheit, Ernährung, Energie, Verkehr, Klima, Sozialwissenschaften und Sicherheit. Anschließend wurden die Tools danach ausgewählt, wie gut sie welchen Anforderungen entsprechen. Aufgaben wie »Message Passing« werden mit »Kafka« und »Flume« und die Lagerung mit »Hive« und »Cassandra« bearbeitet. Die Veröffentlichung erfolgt durch »geotriples«. Die Plattform nutzt das »Docker«-System, sodass es einfacher wird, neue Tools hinzuzufügen und auf einer Skala zu nutzen, die nur die Rechen-Infrastruktur einschränken kann.
»Diese Plattform ermöglicht smartere Routenplanungen«, sagt Maxime Flament von ERTICO. »Nicht nur veröffentlichte Fahrpläne sind wichtig, sondern auch Straßenwartungspläne sowie Daten, die von Fahrzeugen in Echtzeit generiert werden.«
Prof. Dr. Sören Auer, Projektkoordinator am Fraunhofer IAIS, erklärt, dass die Plattform in der zweiten Hälfte des Projekts gemeinsam mit BenutzerInnen und den Projekt-Partnern im Hinblick auf die Anwendungsfälle verbessert und weiter entwickelt wird. Der nächste Schritt sei es, die Datenkonnektivität zu verbessern, indem Graphen-Technologien verwendet werden, um das Konzept des semantischen »Data Lake«, einer »Stack-Engine« und eine semantische Plattform für die Protokollierung und Integration der Cluster-Resilience einzuführen.
Das Projekt bietet eine einfache Anleitung für die Installation der Plattform sowie einen Video-Guide für neue Nutzer. Die Benutzer und Benutzerinnen können Bilder gebrauchsfertig herunterladen oder eine »Dataflow Pipeline« erstellen, um eine vollständige Daten-Wertschöpfungskette mit Verwendung der verfügbaren Komponenten umzusetzen.
»Wir glauben, dass die Plattform die Einstiegsbarriere für neue Big-Data-Anwender sowie für WissenschaftlerInnen aus verschiedenen Bereichen verringert. Sie können mittels »Plug and Play« mit einer Vielzahl von Big-Data-Tools experimentieren. Es macht Spaß - probieren Sie es!«, so Ronald Siebes von der Vreij Universität Amsterdam, einer der Entwickler.
Für weitere Informationen, besuchen Sie bitte: www.big-data-europe.eu
Über Big Data Europe
Big Data Europe ist ein Projekt des »Horizon 2020«-Rahmenprogramms der Europäischen Union. Ziel ist es, eine wissens- und innovationsbasierte Gesellschaft aufzubauen, die die Wettbewerbsfähigkeit der europäischen Wirtschaft stärken soll. Gemeinsam mit dem Fraunhofer IAIS nehmen die folgenden Institutionen und Unternehmen am Projekt teil: AgroKnow (GR), CESSDA (NO), Nationales Zentrum für Wissenschaftliche Forschung DEMOKRITOS (GR), ERCIM (FR), ERTICO-ITS Europe (BE) EU-Satellitenzentrum (ES), Ernährungs- und Landwirtschaftsorganisation der Vereinten Nationen FAO (IT), Institut für Angewandte Informatik (InfAI) eV (DE), Kentro Ananeosimon Pigon Ke Exikonomisis Energeias (Zentrum für Erneuerbare Energien), (GR), Nationalen und Kapodistrias-Universität Athen (GR), The Open PHACTS Stiftung (GB), Tenforce (BE), Semantic Web Company ( AT), VU Universität (NL) und W3C (FR).
