Spark系列之Spark启动与基础使用

一、Spark Shell的启动
Spark Shell是Spark提供的一个交互式环境，可用于开发和测试Spark应用程序。要启动Spark Shell，首先需要确保已正确安装Spark。在安装目录的bin目录下，可以找到启动命令：spark-shell。
例如，要使用默认配置启动Spark Shell，只需在终端中输入以下命令：

$SPARK_HOME/bin/spark-shell

为了使用特定的Spark集群，可以通过添加—master参数指定集群URL，例如：

$SPARK_HOME/bin/spark-shell --master spark://hadoop10:7077

此外，还可以通过其他参数调整Spark Shell的执行环境，例如：

$SPARK_HOME/bin/spark-shell --executor-memory 512M --total-executor-cores 2

注意事项：executor memory不能超过虚拟机的内存，cpu cores不要超过spark集群能够提供的总cpu cores，否则会使用全部。
二、日志设置
为了更好地监控和调试Spark应用程序，需要设置适当的日志级别。在Spark的conf目录下，可以创建一个名为log4j.properties的文件来管理日志设置。该文件的内容可以参考已经存在的log4j.properties.template文件。
例如，要将日志级别设置为只显示警告及更严重的信息，可以使用以下配置：

log4j.rootCategory=WARN, console

这将确保只有警告、错误等严重信息被记录和显示，有助于快速定位和解决问题。
三、Spark原理简介
从上层来看，每个 Spark 应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作。 Spark Shell就是驱动程序。通过在Spark Shell中输入代码，可以发起各种并行操作，例如分布式计算、数据流处理等。这些操作会在Spark集群的各个节点上并行执行，从而实现对大规模数据的快速处理。
驱动程序会与集群中的每个工作节点进行通信，协调并行执行的任务。每个工作节点会运行一个或多个executor进程，这些进程负责执行具体的工作任务。通过合理地分配工作任务，Spark能够充分利用集群资源，提高数据处理效率。
此外，Spark还提供了丰富的数据结构和功能，如RDD（弹性分布式数据集）和DataFrame，使得开发人员能够更方便地进行数据处理和分析。这些数据结构具有高度的抽象性，简化了分布式计算的实现难度。通过使用这些数据结构和功能，开发人员可以专注于业务逻辑的实现，而无需过多关注底层细节。
总结来说，启动和基础使用Spark需要了解其Shell的启动方式、日志设置以及其原理。通过掌握这些基础知识，可以更好地开发和调试Spark应用程序，从而更好地利用大规模数据进行数据处理和分析。