mapreduce2开启https/SSL

最新推荐文章于 2026-06-13 14:00:53 发布
原创 最新推荐文章于 2026-06-13 14:00:53 发布 · 230 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#mapreduce #https #ssl
本文档详细介绍了如何配置并启用HDFS的HTTPS服务。主要涉及mapred-site.xml的设置，包括将HTTP政策设置为HTTPS_ONLY，指定JHS的HTTPS地址，并开启SSL支持及shuffle阶段的SSL。例如，将mapreduce.jobhistory.webapp.https.address设为'apappu-hdp234-2.openstacklocal:19889'，然后重启mapreduce2服务以使更改生效。

参考文档

  1. 首先需要开启HDFS的https(enable HTTPS for HDFS)
  2. 配置mapred-site.xml属性 “Custom mapred-site”
mapreduce.jobhistory.http.policy=HTTPS_ONLY
mapreduce.jobhistory.webapp.https.address=<JHS>:<JHS_HTTPS_PORT> 
mapreduce.ssl.enabled=true
mapreduce.shuffle.ssl.enabled=true

Ex: mapreduce.jobhistory.webapp.https.address=apappu-hdp234-2.openstacklocal:19889
  1. 重启mapreduce2服务即可
hdfs http文件服务器,HDFS的HTTPS配置
weixin_34847198的博客
08-05 948
步骤：在CA服务器上创建证书在CA客户端导入证书修改hdfs的hdfs-site.xml配置hdfs的ssl配置文件在CA服务器上在部署成功了才发现CA服务器上并不是要运行什么服务。随便选一台就行。openssl req -new -x509 -keyout /var/opt/ssl/CA/private/test_ca_key -out /var/opt/ssl/CA/private/test_...
MapReduce的jobHistory介绍
大数据梦想家
11-03 2638
        我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。JobHistoryServer会记录已运行完的MapReduce信息到...
hadoop之jobhistory
chbxw
11-20 3143
mapred-site.xml,jobhistory,hadoop
Hadoop参数汇总
01-04 2094
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用
MapReduce的jobHistory(工作日志)介绍
王傲旗的大数据之路
11-01 6605
前言: 我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志 以下的操作都是在主节点(服务器)中 第一步：node01修改mapred-site.xml 1.进入到hadoop配置文件目录 hadoop安装目录...
Enable HTTPS for YARN and MAPREDUCE2
houzhizhen的专栏
05-11 805
Short Description:Steps to enable HTTPS for YARN and MAPREDUCE2Article1. As a first step, enable HTTPS for HDFS, you can follow the article https://community.hortonworks.com/articles/52875/enable-http...
告别Horizon Security Server：手把手教你用VMware UAG 3.5搭建更安全的远程桌面网关（附防火墙规则详解）
最新发布
06-13 321
本文详细介绍了如何通过VMware Unified Access Gateway (UAG) 3.5替代传统的Horizon Security Server，搭建更安全的远程桌面网关。内容涵盖UAG的架构优势、部署步骤、防火墙规则配置及高级安全加固，帮助企业提升远程访问安全性和管理效率。
数据工程师实战指南：Hadoop、Spark、Flink等五大框架生产调优与避坑
weixin_30772105的博客
06-07 716
大数据（Big Data）指在分布式环境下对海量、高速、多样数据进行采集、存储、计算与服务的系统性工程能力。其核心原理在于通过分而治之（Shuffle/Partition）、容错重试（Speculative Execution/Checkpointing）和统一资源调度（YARN/K8s）保障SLA。技术价值体现在降低TCO、提升分析时效性与支撑实时决策闭环。典型应用场景包括电商用户行为分析、金融风控实时拦截、IoT设备时序处理等。本文聚焦Hadoop、Spark、Flink、Hive、Storm五大高频框
企业级数据调度平台部署：Apache DolphinScheduler高可用架构与数据源配置完全指南
gitblog_00480的博客
06-10 844
Apache DolphinScheduler作为现代化数据编排平台，通过分布式调度、可视化工作流编排和强大的数据源集成能力，为企业级数据处理提供可靠的技术底座。其微服务架构设计支持大规模任务调度，通过低代码方式实现高性能工作流管理，满足复杂业务场景下的数据调度需求。 ## 技术场景与挑战分析 在大数据与AI时代，企业面临日益复杂的数据处理需求：跨系统数据同步、定时ETL任务、机器学习流水线、
MapReduce jobhistory
aicyo8644的博客
02-28 249
jobhistory： 　　记录已运行完的MapReduce信息到指定的HDFS目录下 　　默认不开启 　　 配置： 　　etc/hadoop/mapred-site.xml加入 　　 <property> <name>mapreduce.jobhistory.address</name> <value>master:...
MapReduce配置与优化
梓纾的专栏
01-03 1万+
1. 流程简介参考MapReduce学习笔记之简介（一）2. 配置详解core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。本文配置基于2.7.3版本。另外只列出了部分属性。2.1 core-default.xml 选项 默认值 描述 hadoop.tmp.dir /tmp/hadoop-${user
Ambari Hadoop 开启HTTPS证书制作始末
江河万川
01-14 1447
1 .下文为开启Ambari HTTPS相应步骤。 在集群内每个节点，创建hadoop https目录，执行： mkdir -p /etc/security/hadoopStore; chmod 755 /etc/security/hadoopStore; 在Ambari Server节点，生成CA根证书，执行： openssl req -new -x509 -nodes -keyout...
自动化运维之hadoop——大数据平台
Zhaohui_Zhang的博客
04-02 5975
目录 一、hadoop的下载及安装 二、hadoop的使用模式 1、本地(独立)模式——Standalone Operation 2、伪分布模式——Pseudo-Distributed Operation 官方网站： Apache Hadoophttps://hadoop.apache.org/ 一、hadoop的下载及安装 下载网站： Apache DownloadsHome page of The Apache Software Foundationhttps://www.a
MapReduce jobHistory--结束日志
dingqiu6346的博客
09-11 806
一、 MapReduce jobHistory JobHistory用来记录已经finished（结束）的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 1． 修改mapred-site.xml cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/ha...
爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板
卡布奇诺加点冰
08-03 777
#${cluster_dir}/job_history.sh.template #爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板 #版权声明：不定期更新维护地址，看这里→_→ https://blog.csdn.net/qq_16592497/article/details/81391319 #脚本模板中涉及需要被替换的...
hadoop2.x配置 - MapReduce相关参数
Mrknowledge
06-11 1633
REFER: ---------------------------------------------------------------------------------------------
记一次Hadoop配置操作记录
by_yangge的博客
12-01 237
最近一周都是再看大数据方面的知识,计划着这段时间来学习大数据的知识,然后在搭建Hadoop等环境的时候,也是用了一些时间吧，感觉还是很有必要来记录一下这方面的配置知识。 先安装一太,安装好JDK的环境,然后其他的几台直接克隆就可以了,就不用一个一个的安装,要是一个一个的安装还是比较要时间的。 export JAVA_HOME=/opt/jdk1.8.0_181 export PATH=$J...
摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板
卡布奇诺加点冰
08-03 605
#${logstash_dir}/config/job_history.conf.template #摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板 input { file { path =&gt; "${logstash_input_file}" } } filter {...
HDFS配置Kerberos之创建 CA SSL证书
？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？
10-14 903
hdfs配置Kerberos之前 先创建ca证书
hadoop的配置选项
热门推荐
u011326189的专栏
12-31 1万+
为方便阅读，特在此整理： core_site.xml 引用：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml name value description hadoop.common.configuration.version 0.2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值