如何实现T+0实时数据统计分析

传统数据集市T+1方式

 系统架构图如下：

由于业务系统中的数据需要在分组聚合计算后，才能在报表或者管理驾驶舱中使用。所以常规的数据分析平台中，建立数据集市对业务系统的明细数据根据需要进行维度分组的聚合计算并将结果存储在数据集市中。后边会定期对数据集市的数据进行增量更新。对应的会有定时任务的周期，一般周期为晚上运行当天的数据到数据集市，当天只能查看到昨天的数据。

传统T+1模式的优缺点：

优点：

1、 数据的查询和计算在数据集市服务处理，不增加现有业务系统数据库压力

2、 可对数据进行预加工计算，大大提高查询展现速度。

3、 通过ETL将数据进行清洗转换，大大提高数据的标准和质量。

缺点：

1、 需要周期性抽取业务数据库中数据加载到数据集市，有一定的数据延迟。

2、 实时数据如果全部直接在业务系统查询计算，会给业务系统数据库带来很大的运行压力。而且计算时间过长给用户代理很长的等待时间。

硕迪T+0方式

系统架构图如下：

硕迪T+0方式在传统数据集市T+1基础上增加实时数据查询、计算、合并方式，将当天实时的数据计算后与数据集市T+1的数据合并后再次计算，然后将结果返回给数据消费者，

从而实现大数据量快速响应T+0的统计分析需求。

硕迪T+0模式的优缺点：

优点：

1、 拥有传统T+1模式的所有优点。

2、 支持快速的实时数据查询，通过分别查询数据集市和实时业务系统数据库进行合并后计算，提升查询速度的同时，给业务系统数据库带来的运行压力也很小。

3、 支持sql之外的复杂的计算逻辑。

4、 支持库外计算和多源混算。

5、 支持集算器提供的数据接口，为其他数据消费者服务。

缺点：

1、 需要增加提供集算器的硬件资源，主要是cup和内存。