sqoop 安装配置

注：此配置已验证过通过，配置的sqoop是最新版本，hadoop也是最新版。且在配置前请根据jdk版本选择正确的sqoop版本； sqoop 配置 1.下载 网址： http://www.us.apache.org/dist/sqoop/1.99.7/ 2.安装 上传至目录：/opt/software/ 解压安装： 命令 ： tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /opt/modules/ 在安装目录下重命名： 命令 ： mv sqoop-1.99.7-bin-hadoop200.tar.gz sqoop-1.997 3.配置Sqoop服务器需要Hadoop库的环境变量： 变量配置： export HADOOP_HOME=/opt/modules/hadoop-2.7.5/ ##hadoop的安装路径 export HADOOP_COMMON_HOME=/opt/modules/hadoop-2.7.5/share/hadoop/common/ export HADOOP_HDFS_HOME=/opt/modules/hadoop-2.7.5/share/hadoop/hdfs/ export HADOOP_MAPRED_HOME=/opt/modules/hadoop-2.7.5/share/hadoop/mapreduce/ export HADOOP_YARN_HOME=/opt/modules/hadoop-2.7.5/share/hadoop/yarn/ 4.在hadoop的core-stie.xml文件中配置超级用户代理: <property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.sqoop2.groups</name> <value>*</value> </property> 5.要将任何第三方jar传播到Sqoop服务器类路径 5.1 创建 mkdir -p var/lib/sqoop2 目录 5.2 将所需第三方的驱动架包（jar）复制到这个目录 命令 ： cp sqoop2/mysql-connector-java-5.1.39.jar /var/lib/sqoop2 cp sqoop2/postgresql-42.2.2.jre7.jar /var/lib/sqoop2

5.3 在环境变量文件中配置：导出目录 配置内容： export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/ 5.4 便于操作在环境变量中配置： export PATH=$PATH:'pwd'/bin/

6.配置服务器 指定应该将哪些配置提供程序用于加载Sqoop服务器的配置； 默认值PropertiesConfigurationProvider应该足够了。 配置文件称为sqoop.properties 属性包含可以影响Sqoop服务器的其他配置属性。 配置文件有很好的文档记录，因此检查所有配置属性是否适合您的环境。 在大多数常见的情况下，默认或非常小的调整应该是足够的。 6.1. 在sqoop.properties 文件中修改hadoop的配置目录：

# Hadoop configuration directory org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/opt/modules/hadoop-2.7.5/etc/hadoop/ 7. 库初始化 在安装目录下： /opt/modules/sqoop-1.99.7/bin 7.1 在第一次启动Sqoop2服务器之前，需要对元数据存储库进行初始化。 使用升级工具初始化存储库 命令 ： bin/sqoop2-tool upgread

7.2 通过验证工具来验证所有的配置是否正确: 命名 ： bin/sqoop2-tool verify 显示结果为验证成功： 8. 服务器的生命周期 在安装目录下： /opt/modules/sqoop-1.99.7/bin 8.1 启动： 命令 ： sqoop2-server start 8.2 关闭 命令 ： sqoop2-server stop