1.电商实时数仓分层介绍
1.1 普通实时计算与实时数仓比较
1.2 实时电商数仓，项目分为以下几层
2.实时需求概览
2.1 日常统计报表或分析图中需要包含当日部分
对于日常企业、网站的运营管理如果仅仅依靠离线计算，数据的时效性往往无法满足。通过实时计算获得当日、分钟级、秒级甚至亚秒的数据更加便于企业对业务进行快速反应与调整。 所以实时计算结果往往要与离线数据进行合并或者对比展示在BI或者统计平台中。
2.2 实时数据大屏监控
数据大屏，相对于BI工具或者数据分析平台是更加直观的数据可视化方式。尤其是一些大促活动，已经成为必备的一种营销手段。 另外还有一些特殊行业，比如交通、电信的行业，那么大屏监控几乎是必备的监控手段。
2.3 数据预警或提示
大数据实时计算出一些风控预警、营销信息提示后，可以快速让风控或营销部分获取信息，以便采取多种应对措施。例如，如果用户在电商和金融平台进行一些非法或欺诈操作，大数据的实时计算可以快速筛选出情况并发送到风控部门进行处理，甚至自动屏蔽。或者检测到用户的行为有很强的购买一些商品的意愿，那么就可以将这些“商机”推送给客服部门，让客服主动跟进。
[En]
After big data real-time calculation of some risk control early warning, marketing information tips, can quickly let the risk control or marketing part get information, in order to take a variety of responses. For example, if users are doing some illegal or fraudulent operations in e-commerce and financial platforms, big data’s real-time calculation can quickly screen out the situation and send it to the risk control department for processing, or even automatically block it. Or detect that the user’s behavior has a strong willingness to buy some goods, then these “business opportunities” can be pushed to the customer service department, let the customer service take the initiative to follow up.
2.4 实时推荐系统
实时推荐是根据用户自身属性结合当前访问行为，通过实时推荐算法计算，从而将用户可能喜欢的产品、新闻、视频等推送给用户。这类系统一般由用户画像的批处理和用户行为分析的流处理组成。
[En]
Real-time recommendation is according to the user’s own attributes combined with the current access behavior, through the real-time recommendation algorithm calculation, so as to push the products, news, videos and so on that the user may like to the user. This kind of system is generally composed of a batch process of user portrait and a stream processing of user behavior analysis.
3.统计架构分析
3.1 离线架构
3.2 实时架构
4.日志数据采集
5.业务数据库数据采集
Original: https://blog.51cto.com/u_12633461/5643781
Author: bigbangsheldon
Title: flink 实时数仓
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/508507/
转载文章受原作者版权保护。转载请注明原作者出处！