String querySql = "SELECT `id` FROM `platform` WHERE `platform_name` = ? AND `platform_version` = ? order by `id`";String insertSql = "INSERT INTO `platform`(`platform_name`, `platform_version`) VALUES(?, ?)";
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
修改配置:
连接本地数据库
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
运行结果
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
数据库中
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
本地测试成功开始打包项目放进集群进行测试
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
把打包好的jar包改名为hive_udf3.jar放到集群里
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
进入MySQL中创建report数据库
create database report;
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
创建表platform
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
进入hive
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
把jar包添加到hive当中
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
可以用list jar 和 delete jar 分别显示jar和删除jar
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
创建临时函数
create temporary function convert_bl as 'com.xlgl.wzy.hive.udf.PlatformConverterUDF';
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
我们可以用show_functions查看函数
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
我们查看已有表的数据
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
select ename,convert_bl(ename,0) lower_name from emp;
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
这里报了一个异常
这个问题可能是出在maven给的版本和hive的版本不一样导致可以替换成自己的版本
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
flink sql udf jar包_编写Hive的UDF(查询平台数据同时向mysql添加数据)
然后重新打成jar包运行一下
再查询一下
select ename,convert_bl(ename,0) lower_name from emp;