集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:
高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
减少批数据的执行时间
设置正确的批容量
内存调优
以上蓝色部分会在接下来的章节介绍,敬请期待!
感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程
本文档使用 V型知识库 发布
集群中的Spark Streaming应用程序获得最好的性能需要一些调整。这章将介绍几个参数和配置,提高Spark Streaming应用程序的性能。你需要考虑两件事情:
高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
减少批数据的执行时间
设置正确的批容量
内存调优
以上蓝色部分会在接下来的章节介绍,敬请期待!
感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程