天天看点

数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据

本期导读 :【OSS 访问加速】第九讲

主题:Presto 如何高效查询 OSS 数据

讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家

内容框架:

  • P​resto 介绍
  • JindoSDK 安装
  • 使用介绍
  • 相关资料

直播回放链接:(9/10讲)

https://developer.aliyun.com/live/246875

一、Presto 介绍

Presto 介绍:SQL-on-Anything

  • 为性能和规模而生
  • 存储计算分离,没有存储
  • 最初针对 HDFS 进行设计
  • 原地查询,无需迁移数据
数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据

二、JindoSDK 安装

1、下载最新的 jar 包 jindofs-sdk-x.x.x.jar,然后在所有 Presto 节点安装 JindoFS SDK

2、配置 JindoFS OSS 实现类

数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据

3、配置 OSS Access Key

4、 重启 Presto 所有服务,使配置生效

5、现在 hive catalog 即可访问 OSS

三、使用介绍

演示逻辑:

  • 安装 JindoSDK
  • 配置 Presto
  • 读取鸢尾花数据集并写入 OSS
  • 从 OSS 查询鸢尾花数据集

⭐点击回放链接,直接观看第9/10讲视频回放,获取讲师实例讲解:

四、相关资料

⭐Github链接:

https://github.com/aliyun/alibabacloud-jindofs

不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!

数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据