有个小技巧：先配置好一个，在（宿主机上）复制scp -r拷贝Spark到其他Slaves。,【在test-cluster-hap-master-01虚拟主机上】,将已下载好的Spark压缩包（spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt.tgz）通过工具【XFtp】拷贝到虚拟主机的opt目录下：,在容器映射目录下 ：/opt/data/test-cluster-spk-slave-01/data,用Xftp上传包,
,这里需要上传两个，使用的是spark-3.1.1-bin-without-hadoop.tgz,但是需要将spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars包移到/usr/local/spark-3.1.1/jars下,
,
,
,编辑全局变量,增加以下全局变量,即时生效,（4）配置workers,
,
,（宿主机上）复制scp -r拷贝Spark到其他Slaves节点：,如执行命令出现出现问题时，请现在相应的Slave节点执行mkdir -p /usr/local/spark,复制到master-02时，使用start-mater.sh启动master-02,原本是访问http://10.8.46.35:8080 就可，但是我这里在配置镜像的时候，多了8080，导致这里访问不了。看日志可以知道，已经走向8081,所以http://10.8.46.35:8081/即可,这里遇到了许多问题，第一个是包不兼容，导致搭建两次失败,
,然后换了官方的包spark-3.1.1-bin-without-hadoop，启动还是有问题。,最后通过替换jars才成功。（使用spark-3.1.1-bin-hadoop-3.2.2-lbx-jszt下的jars）,done~
© 版权声明
文章版权归作者所有，未经允许请勿转载。
">