Warszawa, luty 2018

Kafka Streams vs Spark Structured Streaming - kiedy, gdzie i jak użyć

Kafka Streams i Spark Structured Streaming (aka Spark Streams) to dwa stosunkowo młode rozwiązania do przetwarzania strumieni danych. Oba są bardzo podobne architektonicznie i wybór tego właściwego może nie być trywialny. Chyba że... pojawisz się na prezentacji i dowiesz się, kiedy, gdzie i jak je użyć. Podczas prezentacji przedstawię ich cechy, które pozwolą na wybór najwłaściwszego dla danej klasy problemów i środowiska produkcyjnego. Poza niewielką liczbą slajdów, zobaczysz dużo kodu źródłowego w Scali oraz Apache Kafka jako miejsce składowania danych.

 

Jacek Laskowski

Jacek Laskowski jest niezależnym konsultantem, programistą i instruktorem technicznym, który zajmuje się wyłącznie Apache Spark, Apache Kafka oraz Kafka Streams. Aktywny w świecie StackOverflow [1], meetupów, twittera [2], github [3] i quora. Najbardziej znany z książek o Apache Spark (z osobnymi publikacjami dla Spark Core, Spark SQL oraz Spark Structured Streaming), Apache Kafka i Kafka Streams [4]

[1] https://stackoverflow.com/users/1305344/jacek-laskowski

[2] https://twitter.com/jaceklaskowski

[3] https://github.com/jaceklaskowski

[4] https://jaceklaskowski.gitbooks.io