Spark Sreaming实战(二)-小试流式处理

1 业务分析

1.1 需求

统计主站每个(指定)教程访问的客户端、地域信息分布

地域: ip转换 Spark SQL项目实战

客户端:useragent获取 Hadoop基础教程

=》如上两个操作:采用离线(Spark/MapReduce )的方式进行统计

1.2 实现步骤

课程编号、ip信息、useragent

进行相应的统计分析操作: MapReduce/Spark

1.3 项目架构

日志收集: Flume

离线分析: MapReduce/Spark

统计结果图形化展示

看起来很简单，没什么高深的，但是现在需求改了嘛，很正常的骚操作对不对！

现在要求实时的精度大幅度提高！那么现在的架构已经无法满足需求了！

1.3.1 问题

小时级别

10分钟

5分钟

1分钟

秒级别

根本达不到精度要求！

实时流处理，应运而生！

2 实时流处理产生背景

◆ 时效性高

◆ 数据量大

◆ 实时流处理架构与技术选型

3 实时流处理概述

• 实时计算：响应时间比较短。
• 流式计算：数据不断的进入，不停顿。
• 实时流式计算：在不断产生的数据流上，进行实时计算

4 离线计算与实时计算对比

4.1 数据来源

离线：HDFS历史数据，数据量较大。

实时：消息队列（Kafka），实时新增/修改记录实时过来的某一笔数据。

4.2 处理过程

离线：Map + Reduce

实时：Spark(DStream/SS)

4.3 处理速度

离线：速度慢

实时：快速拿到结果

4.4 进程角度

离线：启动 + 销毁进程

实时： 7 * 24小时进行统计，线程不停止

5 实时流处理架构与技术选型

• Flume实时收集WebServer产生的日志
• 添加Kafka消息队列，进行流量消峰，防止Spark/Storm崩掉
• 处理完数据，持久化到RDBMS/NoSQL
• 最后进行可视化展示

Kafka、Flume一起搭配更舒服哦~

6 实时流处理在企业中的应用

• 电信行业：推荐流量包
• 电商行业：推荐系统算法