1、ODS层将整个业务系统的数据集中起来,然后对数据进行ETL进入IT架构的核心——数据仓库中,从而对数据进行统计、挖掘和分析,最后用可视化工具展示;
2、公司分为:互联网公司和传统公司;
3、互联网公司,如facebook把hadoop用做数据仓库的核心,把结果呈现在Oracle中。(ps.思考问题,不能信马由缰,需要一个核心、一个主题。)
3、hadoop的资源管理能力逐渐在加强。
4、随着云计算和物联网的兴起,实时流数据的处理将成为关注的重点。
5、现在的大数据处理不但需要用作统计,还需要用于机器学习,快速的检测出异常状态。
6、数据源的两大分类:a、人产生的数据,通过分析进行精准营销找到客户,b、机器产生的数据,通过分析找到客户管理,提高生产力。
目前hadoop主要用于数据仓库,后续会逐渐接管负载均衡;
在数据流上做更强的分析和机器学习;
需要有全新的集群的应用。
ps.札记:读书时摘记的要点和心得体会及见闻的单篇文章。