从百草味到三只松鼠

统计

登录

搜索到 2 篇与的结果 ———

Spark 随记

Spark 随记

这篇随记是笔者粗浅的分析一下spark的源码。使用的是 https://spark.apache.org/downloads.html 下载的源码，若想省事可直接ctrl+f 直接搜索 org.apache.spark.deploy.SparkSubmit 的 SparkSubmit 这个类。但是不能对源码进行自定义的注释之类的还是比较受限的。所以推荐还是自己下载源码使用 idea 打开。笔者也是自己的下的源码简单分析一下。毕竟每次提交任务时都是看着任务开始那么多的日志也不知道发生了啥~ 哈哈部分图片是摘自网上的。侵删。1.1 核心组件1.1.1 DriverSpark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：将用户程序转化为作业（job）；在Executor之间调度任务(task)；跟踪Executor的执行情况；通过UI展示查询运行情况；1.1.2 ExecutorSpark Executor节点是一个JVM进程，负责在 Spark 作业中运行具体任务，任务彼此之间相互独立。Spark 应用...

dongyl

2021-12-28

2021年12月28日

56 阅读

2 评论

Spark -submit 参数及优化

Spark -submit 参数及优化

spark submit 基本格式举例：spark-submit \ --class com.lance.MyMain \ --master yarn-cluster \ --executor-memory 1G \ --num-executors 8 \ --executor-cores 2 \ --queue lance_queue hdfs:////user/lance-1.0.jar arg1 arg2前言不要期待修改一个参数能够像魔法一样立马得到神奇的好效果！（某些时候效果确实很棒^_^）你应当把参数看作一道菜中的调味品，能够丰富味道，但主要还是得靠原材料的质量与炒菜的技艺。开发Spark应用时，应当先优化好你的应用代码，再来思考调参优化（必要的参数的除外）。调参是一个比较复杂的主题，不同的环境、不同的代码都会导致同样的参数产生不同的效果。建议尽量在确定您的生产环境情况后、在优化好存在明显问题的代码后，再做调参测试。下面会列出开发中常用的部分参数，并加以解释，以作参考个人瞎说其实说了这么多，我认为最快捷的调优还是看 web UI 页面查看执行的某行代码所需时间。大部...

dongyl

2021-12-13

2021年12月13日

59 阅读

0 评论

繁

苏ICP备2021053031号-1