解决问题

企业在数智化运营过程中越来越关注数据的价值,然而,海量的系统日志、用户行为日志等数据的实时接入、低成本存储、灵活高效查询分析给企业来带了一大技术挑战。数据的时效性和维度数对数据价值和分析的灵活性有很大影响,传统的技术方案难以满足时效性要求,维度的限制导致难以充分挖掘数据的价值,更无法快速灵活满足业务需求的变化。

时效性

  • 数据产生后不能立即查询,时效性差。
  • 高速生产的海量数据得不到实时有效处理。

查询性能

  • 海量数据的统计分析查询响应时间长达几分钟甚至数小时。
  • 单个查询占用了整个集群资源,无法满足并发查询需求。

数据更新

  • 全量覆盖,效率低,资源消耗高。
  • 基于MVCC的数据更新会存储相同数据的多个版本,冗余度高,影响查询性能。

数据存储

  • 行式存储,数据查询需要扫描所有列,当表很宽时会扫描很多用不到的列。
  • 业务分析的数据范围横跨实时数据和历史数据。

技术优势

数据实时处理规模大
大幅度的加快数据的检索速度,实时处理数据规模超过万亿甚至十万亿,数据从产生到能够查询到结果这个间隔不超过5秒。
毫秒级响应
显著减少查询中分组、统计和排序的时间,从几万亿规模的数据里,查询到相关数据,响应时间为秒甚至毫秒,大幅度的提高系统的性能,节约资源。
安全可靠
能够支撑可靠的容灾,并且保证良好的数据的准确性,一次写入,高保真,高可用。
快速响应业务需求
支持表达式级别自由定义指标,并且实时高维查询结果,快速响应业务需求。

应用场景

用户行为分析
支持每天千亿级增量用户行为记录的明细/预聚合存储,并提供留存、漏斗等常见分析模型。
实时监控
Tindex性能优越,可实时采集各类监控指标数据,支持对关键业务指标的实时监控预警。
Ad-Hoc 查询
支持灵活的维度组合和指标定义,通过多维分析工具可实现可视化数据探索,并可将查询结果以图表形式展现在数据看板、数据大屏。
商业智能 / OLAP
融合多源数据形成事件大宽表,可让业务人员进行数据探索和分析,有效支撑业务对市场变化的快速响应。
物联网
Tindex对于时序数据高效的读写、压缩存储以及实时计算能力,可以高效处理物联网设备产生的海量数据。

应用案例

客户生产环境: 16台,32核cpu, 128GB, 2T* 12。日增数据600亿,原始数据大小为 60~70TB。
明细数据模型:9个索引维度和1个参数维度,预聚合数据模型:三个维度和两个聚合指标
场景 测试点 响应时间
数据导出 根据单个imei查询一天内的全部行为数据 不超过6秒
查PV 分析指定应用全天的每小时访问量变化情况 (明细) 不超过3秒
分析指定应用全天的每小时访问量变化情况 (预聚合) 不超过1秒
分析各应用全天的访问量情况 (明细) 不超过5秒
分析各应用全天的访问量情况 (预聚合) 不超过2秒
查UV 查询系统全天活跃用户(明细) 不超过6秒
查询系统全天活跃用户(预聚合) 不超过2秒
分析各应用全天的活跃用户情况 (预聚合) 不超过10秒

开启全新数智化时代