大数据的核心是
大数据的核心是
企服解答
大数据的核心是云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。
大数据的总体架构包括三层：数据存储、数据处理、数据分析，三层相互配合让大数据最终产生价值。
1、数据存储层
数据有很多分法，有结构化，半结构化，非结构化; 也有元数据，主数据，业务数据; 还可以分为GIS，视频，文件，语音，业务交易类各种数据。
传统的结构化数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和半结构化数据存储。从存储层的搭建来说，关系型数据库，NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。
2、数据处理层
数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度，海量存储后带来了数据处理上的时效性要求，这些都是数据处理层要解决的问题。
在传统的云相关技术架构上，可以将hive，pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。mapreduce只是实现了一个分布式计算的框架和逻辑，而真正的分析需求的拆分，分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单，即支持分布式架构下的时效性要求。
3、数据分析层
回到分析层，分析层重点是真正挖掘大数据的价值所在，而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的BI分析的内容。
数据分析我只关注两个内容，一个是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略; 其次是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法。
传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。
相关信息
- 贵州前三季度形成“万企融合”标杆项目培育对象94个
2021年11月5日，36氪贵州从贵州省大数据局获悉，全省前三季度已形成“万企融合”标杆项目培育对象94个，示范项目培育对象972个，2236户融合带动企业，分别占年度目标的94%、97%、112%。
- 中新天津生态城获批设立北方大数据交易中心
2021年11月4日，36氪获悉，天津市政府正式批复，同意在中新天津生态城设立北方大数据交易中心，按照市场监管部门核定的经营范围开展经营活动，形成全国领先的跨行业、跨区域的“数据汇津”流通交易生态系统，集聚大数据相关产业，建设具有天津特色的数字经济产业标杆。（人民网）
