Die Einsatzbereiche von Streaming-Frameworks sind in den letzten Jahren deutlich vielfältiger geworden. Neben analytischen und echtzeitkritischen Anwendungen (z.B. Dashboards, Betrugserkennung) sowie ETL-Flüssen bildet Stream Processing heute oft das Rückgrat operationaler Anwendungen und event-basierter Microservices-Architekturen. Diese neuen Szenarien erfordern ein hohes Maß an Vollständigkeit, Korrektheit und Verfügbarkeit. Voraussetzung dieser Entwicklung war eine neue, mittlerweile erwachsene Framework-Generation, dominiert durch Technologien wie Flink, Spark Streaming, Akka Streams oder Kafka Streams.
Dieser Vortrag wird auf deren wichtigste Merkmale eingehen und ableiten, welches Framework in der Praxis wann das richtige ist.
Vorkenntnisse
Die Teilnehmer sollten Grundkenntnisse im Bereich verteilter Datenverarbeitung mitbringen (z.B. Apache Hadoop, Apache Spark) sowie Java-Code lesen können.
Lernziele
Nach dem Vortrag kennen Teilnehmer die wichtigsten Konzepte moderner Stream-Processing-Frameworks (Zeitkategorien, Zustellgarantien ...) und wissen, worin sich die Frameworks im Praxiseinsatz unterscheiden.
//
Konstantin Knauf
@snntrable
hat an der TU Darmstadt Informatik und Mathematik studiert. Als Senior Consultant bei TNG Technology Consulting unterstützt er Kunden schwerpunktmäßig in den Bereichen Verteilte Systeme und Automatisierung. Sein besonderes berufliches Interesse gilt der verteilten Echzeitdatenverarbeitung oder Stream Processing. In den letzten drei Jahren haben er und sein Team eine Datenplattform für einen großen deutschen Telekommunikationskonzern entwickelt, die mit Hilfe von Flink, Kafka und Akka mehrere Milliarden Events täglich verarbeitet.
//
Maximilian Bode
arbeitet nach einem Studium der Theoretischen und Mathematischen Physik in München heute als Software Consultant bei TNG Technology Consulting. Im Zuge seines aktuellen Projekts bei einem großen Kunden aus der Telekommunikationsindustrie entwickelt er an einer datenintensiven Plattform, mit besonderem Fokus auf Konzepte wie Automatisierung, Continuous Integration und Observability.