第一范文网 - 专业文章范例文档资料分享平台

Spark集群搭建与测试 - 图文

来源:用户分享 时间:2025/5/30 17:44:30 本文由loading 分享 下载这篇文档手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:xxxxxxx或QQ:xxxxxx 处理(尽可能给您提供完整文档),感谢您的支持与谅解。

该目录是我们在spark-defaults.conf中指定的(事实上,若不指定spark.eventLog.dir和spark.history.fs.logDirectory,你也无法启动historyserver,因为系统不知道去哪里存储你的history信息)

我们只需使用hdfs命令hdfsdfs -mkdir -p /historyserverforspark来创建该目录,再启动historyserver,jps可见多了个historyserver进程:

f. 使用webUI来查看historyserver是否成功启动http://master:8080

注1:start-all.sh其实质是先后执行了start-master.sh和start-slaves.sh:

最佳实践是:在master节点上执行start-all.sh.

搜索更多关于: Spark集群搭建与测试 - 图文 的文档
Spark集群搭建与测试 - 图文.doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印
本文链接:https://www.diyifanwen.net/c043cv0893d3fre28i3rv_8.html(转载请注明文章来源)
热门推荐
Copyright © 2012-2023 第一范文网 版权所有 免责声明 | 联系我们
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ:xxxxxx 邮箱:xxxxxx@qq.com
渝ICP备2023013149号
Top