基于飞腾平台的Sqoop的安装配置

   【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力，聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域，包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块，旨在共享尖端技术，为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧

​​​

本文分享至飞腾开发者平台《飞腾平台Sqoop1.99.7移植与安装手册》

1 介绍

  Sqoop（SQL–to–Hadoop）是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。

  本文主要介绍移植适配后的Sqoop1.99.7在飞腾平台的安装与部署过程。

2 环境要求

2.1 硬件要求

  硬件要求如下表所示。

2.2 操作系统要求

  操作系统要求如下表所示。

2.3 软件要求

  软件要求如下表所示。

3 安装与部署

3.1 程序部署

  下载apache-sqoop

wget http://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz
mv sqoop-1.99.7-bin-hadoop200.tar.gz /opt
cd /opt/
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
mv sqoop-1.99.7-bin-hadoop200.tar.gz sqoop-1.99.7

3.2 程序配置

  1）配置环境变量

  编辑 /etc/profile 文件，添加以下内容:

export SQOOP_HOME=/opt/sqoop-1.99.7
export PATH=$PATH:$SQOOP _HOME/bin

  2）配置日志信息

# vim /opt/sqoop-1.99.7/conf/sqoop.properties
#日志配置
BASEDIR=/opt/sqoop-1.99.7
LOGDIR=/opt/sqoop-1.99.7/logs

org.apache.sqoop.log4j.appender.file.File=/opt/sqoop-1.99.7/logs/sqoop.log
org.apache.sqoop.repository.sysprop.derby.stream.error.file=/opt/sqoop-1.99.7/logs/derbyrepo.log

# hadoop配置
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/opt/hadoop-3.3.0/etc/hadoop
#授权配置
org.apache.sqoop.security.authentication.type=SIMPLE
org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler
org.apache.sqoop.security.authentication.anonymous=true

  3）进入$ SQOOP_HOME目录，并新建 conf/hive-site.xml 文件添加以下配置

<property>
    <name>hadoop.proxyuser.sqoop2.hosts</name>
    <value>hadoop</value>
</property>
<property&