spark 集群的手动搭建

可怜惹人爱

1、装置scala

https://pan.百度.com/s/1ukmh35rxG6_60DEf-IifPQ
提与码：c3p0
1.下载 scala 装置包并上传到 Linux 上
2.解压装置包到指定地位

1. tar -zxvf scala-2.11.8.tgz -C /opt/moudle

复造代码

 并修正名字：

1. mv scala-2.11.8.tgz scala

复造代码

3.修正情况变量：vim /etc/profile 并增加

1. export SCALA_HOME=/opt/scala
3. export PATH=$PATH:$SCALA_HOME/bin

复造代码

   保留退出，并革新修正文件 source /etc/profile
4.考证能否装置胜利：正在号令止输进 scala
2、装置spark

https://pan.百度.com/s/1wguRsOu3OcPH50Y3c_SX4g
提与码：c3p0
1.下载并解压 spark 装置包到指定地位

1. tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/moudle

复造代码

2.设置情况变量：vim /etc/profile 并增加

1. export SPARK_HOME=/opt/spark
3. export PATH=$PATH:$SPARK_HOME/bin

复造代码

保留退出，并革新修正文件 source /etc/profile
3.进进spark的coonf目次下复造 env.sh.template 文件并重定名

1. cp spark-env.sh.template spark-env.sh

复造代码

   翻开 vim spark-env.sh并正在开端增加：

1. export JAVA_HOME=/opt/jdk1.8.0_144
2. export SCALA_HOME=/opt/scala
3. export SPARK_MASTER_IP=gz01
4. export SPARK_MASTER_PORT=7077
5. export SPARK_WORKER_MEMOERY=2g
6. export HADOOP_HOME=/opt/hadoop-2.5.1_x64_0/etc/hadoop

复造代码

   保留并退出
4.进进conf 目次下并编纂 vim slaves.template   ，增加主机名(worker节面), 保留并退出

1. gz01
2. gz02
3. gz03

复造代码

5.将设置好的Spark拷贝到其他节面上，记得设置情况变量战变动设置文件中的一些细节

1. scp -r spark/ gz02:/opt/moudle
2. scp -r spark/ gz03:/opt/moudle

复造代码

6.启动hadoop散群 start-all.sh
7.正在spark的sbin目次下施行   ./start-all.sh  启动spark
jps呈现：Master 战 Worker

则胜利而且能够正在浏览器会见 gz01:8080 登录Spark 办理界里检察散群形态
8.进进spark 的 bin 目次 ，利用 spark-shell 掌握台 ​ 并能够经由过程 gz01:4040 从web角度看SparkUI的状况
3、利用spark-submit 提交 jar包号令

正在号令止输进：

1. /opt/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://gz01:7077 --executor-memory 512m --total-executor-cores 1 /opt/spark/examples/jars/spark-examples_2.11-2.0.2.jar

复造代码

免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！