博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark 调优参数
阅读量:7023 次
发布时间:2019-06-28

本文共 525 字,大约阅读时间需要 1 分钟。

最近用到spark 接kafka数据落到kudu里,如果用默认spark 参数,会出现一些问题,下面是在生产上调优后的一些参数,供参考

//推测执行

spark.locality.wait=2s
spark.speculation=true
spark.speculation.interval=300s
spark.speculation.quantile=0.9
spark.speculation.multiplier=1.5

//常见配置

spark.executor.memory=4000M
spark.executor.cores=1
spark.executor.instances=12
spark.streaming.concurrentJobs=1

//反压

spark.streaming.backpressure.enable=true
spark.streaming.backpressure.initialRate=30000
spark.streaming.kafka.maxRatePerPartition=1000

转载于:https://www.cnblogs.com/zuoql/p/10491592.html

你可能感兴趣的文章
磁盘清理无法删除DUMP文件手工删
查看>>
译著《Fedora和Red Hat Enterprise Linux实用指南(第6版)》即将上市,敬请关注!
查看>>
Java线程:创建与启动
查看>>
彻底学会使用epoll(五)—— ET模式下的注意事项
查看>>
认识.net
查看>>
UNIX和Linux Shell正则表达式语法介绍
查看>>
[Web开发] xenocode 推出浏览器沙盘,无需安装直接运行各种浏览器
查看>>
WFQ加权公平队列(每个队列的计算原则与权重比关系)加权效果后转发取证
查看>>
SCCM 2007系列4 播发操作系统上
查看>>
存储时间:从Symmetrix V-Max看高端存储的未来
查看>>
安装vSphere5玩了玩
查看>>
让开源解读“甲骨文”--RHEL5.3部署安装Oracle Database10g Release2
查看>>
javascript围观IE10中window对象的结构
查看>>
Linux系统性能分析工具-操作篇
查看>>
WF基础知识问答
查看>>
DDos攻击篇
查看>>
.Net开发笔记(八) 动态编译
查看>>
《Linux内核设计与实现》读书笔记 - 目录 (完结)
查看>>
ES配置文件中文版
查看>>
Windows下一个并发阻塞队列(BlockingQueue)
查看>>