天天看点

MaxCompute JDBC 2.2 发布说明

maxcompute jdbc 2.2正式版已于2017年2月24日正式发布。

maven依赖:

在此之前,maxcompute jdbc最新的两个版本分别是v.1.9.1稳定版和v.2.0 beta版,而v.2.0 beta 之所以没有发布正式版,也是因为其依赖的服务端版本当时尚未对外发布。如今随着maxcompute新版的对外发布,maxcompute jdbc 2.2版也正式发布了。

相比于v.1.9.1,v.2.2在易用性、性能以及兼容性方面都有了更好的提升,本文将对其改进与差别做一下简要的说明。

在v.1.9.1中,executequery一个select查询到获得结果集resultset背后的实现是相当低效的。大致的实现逻辑是会通过create table xxx as select …将查询结果集先灌入一张临时表,然后通过tunnel从该临时表下载结果集,最后再drop掉该临时表,其间对于临时表的ddl操作都需要访问底层meta存储,而这些操作的开销本是可以避免的。在v.2.2中,maxcompute引入了一个叫做instancetunnel的新组件,其可用于直接下载一个odps instance的查询结果集,而无需为这些结果集创建临时表,使性能得到了较大的提升。

在v.1.9.1中,maxcompute jdbc仅支持原odps固有的几种老的数据类型,即bigint、boolean、double、varchar、datetime以及decimal。针对maxcompute 2.0开始对hive数据类型的兼容,maxcompute jdbc 2.2也配合该功能对新类型做了兼容,这些类型包括void、bigint、string、datetime、double、boolean、decimal、array、map、struct、int、tinyint、smallint、date、timestamp、float、char(n)、binary、varchar、interval_year_month以及interval_day_time。但是具体的使用需要配合你的project的配置来看,因为这些maxcompute的新功能是需要选择性打开的。

另外,我们对

这类flag的生命周期也作了调整,在v.1.9.1中,其生命周期是statement级别的。而在v.2.2中,将被扩大到connection级别。这样一来,同一connection只需第一次创建statement时设置一次set flag,后续这些flag将对跨statement的操作一直有效。

而对于业界的常见工具,2.2也有了更好的支持,可以参看以下几篇文章来获取集成相关工具的最佳实践。

<a href="https://yq.aliyun.com/articles/60958">《通过apache zeppelin 快速实现数据可视化》</a>

<a href="https://yq.aliyun.com/articles/70749">《借力qlikview玩转数据分析》</a>

如果你在使用maxcompute jdbc过程中遇到任何疑问或需求,欢迎向我们反馈。你可以在我们的github中给我们留言或新建issue。当然,我们更欢迎支持maxcompute jdbc的社区朋友向我们贡献代码,帮助我们一起更快更好的健康发展。

MaxCompute JDBC 2.2 发布说明