数据采集的痛点
随着移动互联网时代的兴起及数据量大规模爆发，越来越多的企业开始重视数据质量。
数据质量的好坏，主要受数据采集方案的影响，好的数据采集方案能够帮助企业获取准确丰富的数据，帮助企业进行数据化运营。
随着企业对数据要求越来越高，对数据采集的需求也越来越迫切，但是数据采集的路越来越泥泞……
无处不在的数据
- 关系数据库内的业务数据。
- 应用系统输出的日志数据。
- 用户访问系统时产生的用户行为数据。
- 操作系统生成的系统日志。
- 网络设备产生的流量日志数据。
采集难度大
杂乱无章的数据格式
- 格式固定的数据库数据。
- 具有一定规则的业务系统日志数据。
- 多行且不规则的异常日志。
- 格式各异的中间件日志数据库日志数据。
无法解析
各显神通的采集方式
- 采用Crontab定时调用脚本抽取数据。
- 使用Kettle同步业务数据。
- 业务逻辑中嵌入大量代码用于捕捉用户行为数据。
- 使用Flume采集日志文件数据。
缺乏统一管理
独立自主的数据管理
- 各部门只关注需要的数据，存在重复抽取和存储。
- 采集的数据质量差, 数据不准确。
- 数据之间关联性差，无法有效融合。
- 数据的孤立降低了数据的价值，数据挖掘难度大。
数据难以融合
实时全域数据采集
为了更好地帮助企业实现快速数据采集，数果智能结合了iOS、Android、小程序、web网页等数据采集的应用场景，打造一套简单易用的可视化埋点方案，同时针对业务数据和各类日志数据，数果智能也提供了全面配套的产品，为企业解决数据采集的难题。
可视化全埋点
- 全平台化采集，Web、iOS、Android、小程序平台。
- 全可视化操作，降低使用者的数据接入成本。
- 兼容应用升级，版本迭代无需重新埋点。
- 智能埋点延伸，减少同类元素重复埋点工作。
- 高级埋点模式，实现页面内容上报与不可见元素埋点。
- 自动获取维度，埋点完毕后即可获取丰富的数据维度。
实时业务数据同步
- 支持Oracle、Mysql等关系数据库数据的实时同步。
- 支持断点续传并动态修改采集配置。
- 按需配置支持全量/增量同步策略。
- 运行状态实时监控，异常实时报警。
- 界面化查看任务日志，快速故障排查。
- 可视化界面简单便捷采集业务数据。
实时日志采集
- 采集全域日志记录。
- 支持任意格式的日志解析。
- Syslog采集网络设备日。
- 海量日志数据高效低延迟的写入。
- 实时查询，支持灵活高效的数据查询。
实时数据清洗
- 可视化配置实时数据清洗规则。
- 多源数据实时融合，提高数据分析价值。
- 简单配置校验规则，实时监控数据质量。
- 支持多类数据源，并可快速扩展。
