900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 机器学习从入门到精通50讲(四)-实时数仓应用实践案例

机器学习从入门到精通50讲(四)-实时数仓应用实践案例

时间:2019-10-30 21:42:07

相关推荐

机器学习从入门到精通50讲(四)-实时数仓应用实践案例

前言

随着实时技术的不断发展和商家实时应用场景的不断丰富,有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验,内容包括以下五个部分:

建设背景

应用场景

方案设计

项目应用

未来展望

一、建设背景

实时需求日趋迫切

产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决部分时效性要求不高的场景,对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。

实时技术日趋成熟

实时计算框架已经经历了三代发展,分别是:Storm、SparkStreaming、Flink,计算框架越来越成熟。一方面,实时任务的开发已经能通过编写SQL的方式来完成,在技术层面能很好地继承离线数仓的架构设计思想;另一方面,有赞在线数据开发平台所提供的功能对实时任务开发、调试、运维的支持也日渐趋于成熟,开发成本逐步降低,有助于去做这件事。

二、应用场景

实时BI看板

通过有赞BI工具基于实

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。