Episode Details

Data Streaming und Stream Processing mit Apache Kafka und dem entsprechenden Ecosystem.

Eine ganze Menge Prozesse in der Softwareentwicklung bzw. für die Verarbeitung von Daten müssen nicht zur Laufzeit, sondern können asynchron oder dezentral bearbeitet werden. Begriffe wie Batch-Processing oder Message Queueing / Pub-Sub sind dafür geläufig. Es gibt aber einen dritten Player in diesem Spiel: Stream Processing. Da ist Apache Kafka das Flaggschiff, bzw. die verteilte Event Streaming Platform, die oft als erstes genannt wird.

Doch was ist denn eigentlich Stream Processing und wie unterscheidet es sich zu Batch Processing oder Message Queuing? Wie funktioniert Kafka und warum ist es so erfolgreich und performant? Was sind Broker, Topics, Partitions, Producer und Consumer? Was bedeutet Change Data Capture und was ist ein Sliding Window? Auf was muss man alles acht geben und was kann schief gehen, wenn man eine Nachricht schreiben und lesen möchte?

Die Antworten und noch viel mehr liefert unser Gast Stefan Sprenger.

Bonus: Wie man Stream Processing mit einem Frühstückstisch für 5-jährige beschreibt.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback

• EngKiosk Community: https://engineeringkiosk.dev/join-discord 
• Buy us a coffee: https://engineeringkiosk.dev/kaffee
• Email: stehtisch@engineeringkiosk.dev
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Twitter: https://twitter.com/EngKiosk

Links

• Stefan Sprenger auf LinkedIn: https://www.linkedin.com/in/stsprenger/
• Buch “Streaming Data Pipelines with Kafka” von Stefan Sprenger: https://www.manning.com/books/streaming-data-pipelines-with-kafka
• Kafka: https://kafka.apache.org/
• Kafka Streams: https://kafka.apache.org/documentation/streams/
• Kafka Connect: https://docs.confluent.io/platform/current/connect/index.html
• Apache Flink: https://flink.apache.org/
• Apache Spark: https://spark.apache.org/
• Apache Camel: https://camel.apache.org/
• Change Data Capture: https://en.wikipedia.org/wiki/Change_data_capture
• Debezium: https://debezium.io/
• Wartungsfenster Podcast:

  Listen Now