Spark Streaming性能调优

2018年05月22日 13:41 | 2646次浏览

集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:

高效地利用集群资源减少批数据的处理时间

设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度

减少批数据的执行时间

设置正确的批容量

内存调优

以上蓝色部分会在接下来的章节介绍,敬请期待!



小说《我是全球混乱的源头》

感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程