天天看点

SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值

本文介绍如何通过向导创建SLS的OSS投递数据源发现任务,自动发现您当前区域下所有的Logstore投递到OSS的日志数据(包括新增的投递到OSS的日志数据,以及增量的分区及数据),并自动创建DLA库表映射到投递的OSS日志数据上。

前提条件

当前区域下的SLS已经将日志服务数据投递到OSS。具体操

作请参考将日志服务数据投递到OSS

业务场景

企业会把服务日志、行为日志等数据存储在日志服务SLS中,当数据量较大时,可以通过投递的方式把全量数据归档到OSS。以前这些数据不可可分析计算,使用DLA的元信息发现功能,能够一键构建数据湖的元数据,接入DLA的统一数据分析平台。使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据,可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。

SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值

操作步骤

  1. 登录Data Lake Analytics管理控制台。在左侧导航栏,单击数据湖管理 > 元信息发现->SLS的OSS投递数据源。
    SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
  2. 在SLS的OSS投递数据源页签,根据页面提示进行参数配置。
    SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
  3. SLS的OSS投递数据源发现任务创建成功后,单击立即发现开始运行自动发现SLS的OSS投递数据源任务。
    SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
  4. SLS的OSS投递数据源发现任务执行成功后,单击schema名称/前缀列下面的数据库名称链接(如单击muyuantestonline),跳转到Serverless SQL > SQL执行页面。您可以看到DLA自动发现创建成功的库、表、列信息。
    SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值
  5. 在Serverless SQL > SQL执行页面编写SQL语句,单击同步执行或者异步执行,执行SQL语句。

    例如在muyuantestonlinedla_crawler_hangzhou下执行 select * from `muyuantestonlinedla_crawler_hangzhou

    .

    sls_crawler_test__csv_full_types` limit 20;
    SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值

更多信息参考,

帮助文档

用户福利

新用户1元购DLA 10TB按量扫描套餐,

点击购买套餐

现在活动期间,用户1元首购原价315元的DLA 1000CU时资源包,

使用DLA SQL优势

DLA SQL(兼容Presto)的目标是提供比开源自建更高的性价比、开箱即用的体验、方便的数据摄入、MySQL生态带来的简单易用、内置各种优化的数据湖分析计算服务。用户可以结合场景,选用Serverless或者CU版来降低成本或者提高运行性能。一句话就是使用兼容标准SQL方式低成本分析Tablestore等各种数据源。

欢迎大家关注我们的钉钉群获取最新的信息:

SLS投递到OSS不仅仅是归档!借助DLA元信息发现功能一键激活日志数据的分析价值

继续阅读