Increase kafka consumers cache size

Fixes #21
This commit is contained in:
Mauro Doglio 2017-02-17 11:36:22 +00:00 коммит произвёл Mauro Doglio
Родитель 4410443787
Коммит 417127b2fc
1 изменённых файлов: 1 добавлений и 0 удалений

Просмотреть файл

@ -197,6 +197,7 @@ object ErrorAggregator {
.format("kafka")
.option("kafka.bootstrap.servers", opts.kafkaBroker())
.option("kafka.max.partition.fetch.bytes", 8 * 1024 * 1024) // 8MB
.option("spark.streaming.kafka.consumer.cache.maxCapacity", 1000)
.option("subscribe", "telemetry")
.option("startingOffsets", "latest")
.load()