Spark提交任务内存不足

Spark提交任务内存不足

清泓
2022-06-14 / 0 评论 / 10,193 阅读 / 706字 / 正在检测是否收录...

出现的异常

spark在yarn模式下运行任务报错
异常信息:
1 、 ERROR cluster.YarnScheduler: Lost executor
2 、 ERROR client.TransportClient: Failed to send RPC
3 、 WARN storage.BlockManagerMaster: Failed to remove RDD
4 、 ERROR cluster.YarnScheduler: Lost executor 1 on 192.168.23.105: Slave lost
出现此问题的原因是任务需要的内存过高,需要修改spark-env.sh调整默认的内存大小

解决

在spark-env.sh文件内添加如下配置

[root@master ~]# vi /usr/local/src/spark/conf/spark-env.sh
  export SPARK_EXECUTOR_INSTANCES=4   # yarn集群中,最多能够同时启动的EXECUTOR的实例个数
  export SPARK_EXECUTOR_CORES=4       # 每个EXECUTOR能够使用的CPU core的数量
  export SPARK_EXECUTOR_MEMORY=4G     # 每个EXECUTOR分配的内存的大小
  export SPARK_DRIVER_MEMORY=2G       # DRIVER分配的内存的大小
0

打赏

评论

博主关闭了当前页面的评论