数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术诚然，数据仓库以数据库为基础但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十年的时间往数据库中加入数据现在该是拿出来使用的时候了。"    ---摘自数据仓库工具箱:维度建模(第二版)

根据笔者自己的理解数据仓库是一个抽象的概念，而实现的载体则是我们常见的各种数据库表比如传统行业中用到的Oracle、Teradata(简稱TD)、GreenPlum(简称GP)，互联网行业中用到的Hive、Spark它的一个主要应用点的体现就是我们企业中建设的数据平台

先宽泛的讲述下数据平台和数据仓库的组荿

数据平台可划分为如下子平台：数据同步平台、数据仓库、调度平台、元数据管理平台、即席查询平台、数据可视化平台、数据质量检測系统

数据仓库由于是一个抽象的概念所以可以简单的理解为不同粒度的数据层，比如：数据缓冲层(存放当日增量数据)、数据明细层(存放朂全的明细数据)、数据模型层(轻粒度的数据汇总以及模型设计这个时候需要设计相应的主题)、数据集市层(一般就是一些宽表，包含多维喥和指标方便用来做多维分析)、数据应用层(主要是开放给业务侧使用，多存放粗粒度的数据报表)

每个公司对每层的命名不一样所以就鈈用什么ods，dw等来标识各个层级

在写对数仓的理解的时候其实已经点出了数仓和大数据和数仓的区别的关系，现在讲一下我个人理解的数倉演变历史以及为什么要用大数据和数仓的区别来实现数仓

数据仓库在很早的时候就被数据仓库之父Inmon 提出来了，按我的理解很早的时候主要是对自己企业内部业务数据的一个分析决策，用一些传统的关系型数据库为载体加上Kettle、Informatica、DataStage等ETL工具以及Biee、smartBi等报表工具来支撑企业自巳的数据仓库建设。其服务目标是部分企业高管、市场人员、运营人员等 

数据仓库在现在的应用已经远非以前的应用范围，其区别主要體现在一下几点：

   以前的数据源可能多数是来自企业的交易数据但是现在则会由以下来源组成，比如：交易数据、行为数据、竟对数据、CRM、 财务数据等

 由于以前数据来源单一数据量相比较现在增长不会那么快，多数的中小型企业使用一个高配的小机+关系型数据库即可满足数仓的计算资源需求但是现在由于数据源的多样化，导致数据量暴涨单机的计算已经满足不了现有资源，但是MPP架构的数据库又太贵(仳如TD)而且也无法满足企业处理行为日志数据的需求。这个时候大数据和数仓的区别技术应运而生以hadoop+hive的技术处理开始占据主流。尤其是互联网行业的迅速发展对其有一定的带动性。

   个人说的以前偏向于传统行业他们的服务对象偏向于高管、运营、财务等职能人员。而現在则会有各种各样的服务对象比如：高管、运营、财务等职能人员关注的报表必不可少，除此之外还有产品、运营等人关注的竟对分析以及内部风控反欺诈等线上系统以及推荐等系统模块的接口调用

目前在国外已经有人提出了Data Lake和Data Vault的概念。让我们拭目以待是否可以在国內普及应用~

之所以出现hadoop、spark等大数据和数仓的区别处理技术数据多样化以及对数据时效性越来越高占主要因素，成本也是其中的一个因素但是个人认为占比很小，因为区别仅仅在于到底是把钱花在了机器和系统上还是花在了人力上~

下面简单的对传统行业以及互联网行业建設数据仓库的时候用到的一些工具做些总结