请问数据仓库都用什么建立？

1. 请问数据仓库都用什么建立？

1、首先你得搞清楚建设数仓的目的是什么
是偏向于整合各系统数据，为数据分析决策服务，还是偏向于快速的完成分析决策需求？
如果是前者，那么在数据仓库建模的时候一般会选择ER建模方法；
如果是后者，一般会选择维度建模方法。
ER建模：即实体关系建模，由数据仓库之父BIll Inmon提出，核心思想是从全企业的高度去设计三范式模型，用实体关系描述企业服务。主张的是自上而下的架构，将不同的OLTP数据集中到面向主题的数据仓库中。
维度建模：由Kimball提出，核心思想是从分析决策的需求出发构建模型。这种模型由事实表和维表组成，即星型模型和雪花模型。Kimball倡导自下而上的架构，可以针对独立部门建立数据集市，再递增的构建，汇总成数据仓库。
2、其次你得进行深入的业务调研和数据调研
业务调研：深入的业务调研能使你更加明确数仓建设的目的；同时也利于后续的建模设计，随着调研的开展，如何将实体业务抽象为数仓模型会更加明朗。
数据调研：各部门或各科室的数据现状了解，包括数据分类、数据存储方式、数据量、具体的数据内容等等。这对后续的主数据串联或者维度一致性处理等等都是必须的基础。
3、然后是数据仓库工具选型

传统型数据仓库：一般会选择第三方厂家的数据库和配套ETL工具。因为有第三方支持，相对有保障；但缺点也很明显，受约束以及成本较高。
NoSQL型数据仓库：一般是基于hadoop生态的数据仓库。hadoop生态已经非常强大，可以找到各种开源组件去支持数据仓库。缺点是需要招聘专门人士去摸索，并且相对会存在一些未知隐患。
4、最后是设计与实施
设计：包括数据架构中的数据层次划分以及具体的模型设计；也包括程序架构中的数据质量管理、元数据管理、调度管理等；
实施：规范化的项目管理实施，但同时也需记住一点，数据仓库不是一个项目，它是一个过程。

2. 数据仓库的设计步骤

1)选择合适的主题（所要解决问题的领域）2)明确定义事实表3)确定和确认维4)选择事实表5)计算并存储fact表中的衍生数据段6)转换维表7)数据库数据采集8)根据需求刷新维表9)确定查询优先级和查询模式。硬件平台：数据仓库的硬盘容量通常要是操作数据库硬盘容量的2-3倍。通常大型机具有更可靠的性能和和稳定性，也容易与历史遗留的系统结合在一起；而PC服务器或UNIX服务器更加灵活，容易操作和提供动态生成查询请求进行查询的能力。选择硬件平台时要考虑的问题：是否提供并行的I/O吞吐？对多CPU的支持能力如何？数据仓库DBMS：他的存储大数据量的能力、查询的性能、和对并行处理的支持如何。网络结构：数据仓库的实施在那部分网络段上会产生大量的数据通信，需不需要对网络结构进行改进。

3. 为什么要建立数据仓库

数据仓库是为了满足分析需要，对源数据进行了Transform过程，具体是怎样一个处理过程，可以从Bill Inmon的仓库定义四个特性进行理解。）数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是： 基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。
数据仓库的特点是：
(1)数据仓库是面向主题的.
(2)数据仓库是集成的
(3)数据仓库具有时间相关性.
(4)数据仓库的数据是相对稳定的.

4. 数据仓库的实现方式

数据仓库是一个过程而不是一个项目。数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。从功能结构划分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。

5. 构建企业级数据仓库的步骤是什么？

现如今，很多企业都开始重视数据仓库的构建，其实构建数据仓库不是一个难事，难的地方在于如何构建企业级的数据仓库，这对于企业来说是一件十分困难又必须提上日程的事情。不过，不要灰心，虽然困难，但是我们也可以通过一些方法去构建企业数据仓库，在这篇文章中我们就给大家介绍一下构建数据仓库的步骤。
构建企业级的数据仓库第一步就是要确定主题，其实确定主题就是确定数据分析或前端展现的主题。主题要体现出某一方面的各分析角度和统计数值型数据之间的关系,确定主题时要综合考虑。这一点是非常重要的，大家一定要重视。
第二个步骤就是确定量度。当我们确定主题后，需要考虑分析的技术指标。一般来说，这些都是数据值型数据，其中有些度量值不可以汇总。有些是可以汇总起来，以便为分析者提供有用的信息。量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性指标的设计和计算。
第三个步骤就是确定事实数据粒度。当我们确定量度之后，需要考虑该量度的汇总情况和不同维度下量度的聚合情况。如果我们按照“天”为单位来汇总数据的在ETL处理过程中，按天来汇总数据,些时数据仓库中量度的粒度就是“天”。如果不能确认将来的分析需求中是否要精确的秒，那么，我们要遵循”最小粒度原则”,在数据仓库中的事实表中保留每一秒的数据，对数据提前进行汇总，保障产生分析结果的效率。
第四个步骤就是确定维度，其实维度是分析的各个角度。基于不同的维度，可以看到各个量度汇总的情况，也可以基于所有的维度进行交叉分析。
第五个步骤就是创建事实表。在确定好事实数据和维度后，将考虑加载事实表。业务系统的的一笔笔生产，交易记录就是将要建立的事实表的原始数据。具体的做法是将原始表与维度表进行关联，生成事实表。关联时有为空的数据时，需要使用外连接，连接后将各维度的代理键取出放于事实表中，事实表除了各维度代理键外，还有各度量数据，不应该存在描述性信息。
在这篇文章中我们给大家介绍了构建企业级数据仓库的相关步骤，相信大家看了这篇文章以后已经对数据仓库有所了解了吧？大家在构建数据仓库的时候一定要谨遵上面的步骤进行操作，这样才能够提高工作效率，少走弯路，更出色地完成工作任务。

6. 如何建立数据仓库架构

如何建立数据仓库架构
每一个数据仓库有一个架构。这架构要么是即时的或计划过的；或隐式的或形成文件的。不幸的是，许多数据仓库开发时并没有一个明确的架构，这极大的限制了它的灵活性。在没有架构的情况下，主题区域就无法契合在一起，它们之间的连接变得无目的，并且使整个数据仓库的管理和变更都难于进行。此外，虽然它可能看起来不重要，数据仓库的架构已成为选择工具时的框架。
    让我们把开发一个数据仓库与建造一个真正的房屋进行比较。你如何建造一幢300万美元的大厦呢？更不用说建造一间10万美元的房子了。你要有蓝图、图纸、技术规范、和在多个层次细节上显示这个房子将如何进行建造的标准。当然，针对房子的各种子系统要有不同版本的蓝图，如管道工程、电气、暖通空调系统（HVAC）、通信、和空间。针对所有的家用的设备也有相应的标准，包括插头、灯具、卫生洁具、门的尺寸等。
    对于数据仓库，架构是对数据仓库的元素和服务的一种描述，用具体细节说明各种组件如何组合在一起，和随着时间的推移系统将如何地发展。就像这房子的比喻，数据仓库架构是一套文件、计划、模型、图纸和规范，针对每个关键的组件区域有独立的分区，并且足够详细到让专业技术人员可以实施它们。
    这并是一个需求文件。需求文件说明架构需要做些什么。数据仓库架构也不是一个项目计划或任务清单；它说明数据仓库是什么，而不是怎么去做或为什么去做。
    一个数据仓库的开发也并不容易，因为相对于房屋的5000年建筑史，我们发展数据仓库系统只有20年的时间。因此，我们的标准还不多，工具和技术正在快速发展，关于我们已经拥有数据仓库系统的档案还很少，而且数据仓库的术语还有很大的出入。
    所以，虽然开发一个架构是困难的，但它也是可能的，并且又是至关重要的。首先，最主要的是，架构应该受业务的驱动。如果你的要求是每夜进行更新，这一要求就该包含在架构内，而你必须弄清实现你目标的技术需求。下面是一些业务需求的例子，和针对每种需求的综合技术考量：
    ●每夜更新――充足的数据准备能力
    ●全球可用性—平行或分布式服务器
    ●顾客层次分析――大型服务器
    ●新数据源――带有支持元数据的灵活工具
    ●可靠性――工作的控制功能
    关键组件区域
    一个完整的数据仓库架构包括数据和技术因素。架构可以被分为三个主要区域。首先，是基于业务流程的数据架构。其次是基础设施，包括硬件、网络、操作系统和电脑。最后，是技术区域，包含用户所需的决策制定的技术以及它们的支持结构。对这些区域将在下文分小节进行详述。
    ●数据架构
    如上所述，在整体数据仓库架构中的数据架构部分是受业务流程所驱动的。例如，在一个制造环境里，数据模型可能包括订单、装运和帐单。每一个区域都依据一套不同的维度。但是在数据模型中对相交维度的定义必须相同。所以相同数据项应该有同样的结构和内容，并有一个创建和维护的单一流程。
    当你完成一个数据仓库架构并呈现数据给你的用户，就要做出对工具的选择，但随着需求的设定， 选择就会变窄。例如，产品的功能开始融合，就像多维联机分析处理（M OLAP）和关系型联机分析处理（ROLAP）。如果停留在你建造的立方体，多维联机分析处理（MOLAP）便可以了。它速度快又允许灵活的查询――在立方体的范围内。它的缺点是规模（整体上和一个维度内）、设计的局限性（受立方体结构所限）、需要一个专有的数据库。关系型联机分析处理（ROLAP）是多维联机分析处理（MOLAP）的一种替代方案，它克服了多维联机分析处理（MOLAP）的这些缺点。通常，混合联机处理（HOLAP）更受欢迎，它允许一部分数据存储在维联机分析处理（MOLAP）中，另一部分数据存储在关系型联机分析处理（ROLAP）中，折衷了各自的长处。
    ●基础设施架构
    对硬件及数据库选择的问题在于其大小、扩展性和灵活性。在大约80%的数据仓库项目中，这并不困难，大多数企业有足够的力量来应对他们的需要。
    在网络、检查数据来源、数据仓库准备区、以及它们之间的任何设施方面，要确保有足够的带宽用于数据的移动。
    ●技术架构
    技术架构被元数据目录所驱动。一切都应该受元数据所驱动。服务应该依从表格所需的参数，而不是它们的硬编码。技术架构的一个重要组件是 ETL（提取、转换和加载）流程，它涵盖了五个主要区域：
    ●提取－数据来自多种数据源并且种类繁多。在这个区域如果有数据的应用时必须考虑对它的压缩和加密处理。
    ●转换－数据转换包括代理主键的管理、整合、去标准化、清洗、转换、合并和审计。
    ●加载－加载通常是利用加载最优化和对整个加载周期的支持对多种目标进行加载。
    ●安全－管理员访问和数据加密的策略。
    ●元件控制-－它包括元件的定义、元件安排（时间和事件）、监控、登录、异常处理、错误处理和通知。
    数据准备区需要能够从多种数据源提取数据，如MVS、ORACLE、VM和其它，所以当你选择产品时要具体。它必须将数据进行压缩和加密、转化、加载（可能对多个目标）和安全处理。此外，数据准备区的活动要能够自动化进行。不同的供应商的产品做不同的事情，所以大多数企业将需要使用多种产品。
    一个监控数据仓库使用的系统对查询的采集、使用的跟踪是有价值的，而且也有助于性能的调整。性能优化包括通过“管理者”工具进行的成本估算，而且应包括即时查询的时间表。有工具能够提供查询管理服务。可使用工具来针对这些和其它相关任务，如对前台的基于服务器的查询管理和来自于多种数据源的数据。也有工具可用于报表、连通性和基础设施管理。最后，数据访问块应包括报表的服务（如发布和订阅），还应包括报表库，调度程序和分布管理员。
    关于元数据
    在数据仓库流程中数据的创建和管理要遵循以下的“步骤”：
    ●数据仓库模型
    ●数据源的定义
    ●表的定义
    ●数据源到目标的映射
    ●映射和转换信息
    ●物理信息（表格空间，等）
    ●提取数据
    ●转移数据
    ●加载统计
    ●业务描述
    ●查询请求
    ●数据本身
    ●查询统计
    为显示元数据的重要性，上述的步骤列表中只有三步包括了“真正”的数据－7、8和12。其他的一切都是元数据，而且整个数据仓库流程都依赖于它。元数据目录的专业技术要素包括：
    ●业务规则-－包括定义、推导、相关项目、验证、和层次结构信息（版本、日期等。）
    ●转移/转换信息-－源/目的地的信息，以及DDL（数据类型、名称等等。）
    ●操作信息-－数据加载的工作时间表、依存性、通知和信息的可靠性 （比如主机的重定向和加载平衡）。
    ●特定工具的信息-－图形显示信息和特殊功能的支持。
    ●安全规则-－认证和授权。
    建立架构
    在开发技术架构模型前，要先起草一份架构需求的文件。然后将每一项业务需求计划包含到它的架构中。根据架构的区域对这些内容进行分组（远程访问、数据准备、数据访问工具等）。了解它如何于其它区域相适应。采集区域的定义及其内容。最后提炼和形成模型的文件。
    我们认识到开发一个数据仓库架构是困难的，因此要有一个周密细致的规划。但ZACHMAN框架又超出了大多数企业对数据仓库的需要，所以建议使用一个合理的折衷方案，它由四层流程所组成：业务需求、技术架构、标准和工具。
    业务需求本质上驱动着架构，所以要对业务经理、分析师、高级用户进行访谈。从你的访谈中寻找主要的业务问题，以及企业战略、发展方向、挫折、业务流程、时间、可用性、业绩预期的指标。将它们一一妥善归档。
    从IT的角度来看，跟现有的数据仓库/决策支持系统（DSS）的支持人员、联机分析处理（OLTP）应用组成员、数据库管理员们（DBA）；以及网络、操作系统和桌面支持人员进行讨论。也要与架构师和专业规划人员进行探讨。你应该从这些讨论中得知他们从IT的观点考虑数据仓库的意见。从中了解是否有现存的构架文件、IT原则、标准文件、企业数据中心等。
    关于数据仓库并没有太多现存的标准，但对于许多组件来说是有标准的。下面是一些需要牢记的标准：
    ●中间设备－－开放数据库连接（ODBC）、对象链接与嵌入（OLE）、对象链接与嵌入数据库（OLE DB）、数据通信设备（DCE）、对象请求代理（ORB）和数据库编程（JDBC）
    ●数据库连接－－ODBC, JDBC, OLE DB, 和其它。
    ●数据管理－－ANSI SQL 和文件传输协议（FTP）
    ●网络访问－－数据通信设备（DCE）、域名服务器（DNS）、和 轻量目标访问协议（LDAP）
    无论它们支持的是哪种标准，主流的数据仓库工具都受元数据所驱动。然而，它们通常并不互相共享元数据而且在开放性上也所有不同。所以，要仔细研究和购买工具。架构师是你选择适当工具的向导。
    一个数据仓库架构需要具体到怎样的程度呢？这个问题要问的是：它有足够的信息可以让一个有能力的团队来建立一个满足业务需求的数据仓库吗？至于它要花多长时间，随着更多的人加入到它的开发中来（即：它变成了“复杂的技术策略”）和生成的系统需要变得更复杂（即"复杂的功能”），架构的完成会呈指数倍的发展。
    像数据仓库中几乎所有的事情一样，一个迭代进程是最好的。你不能一次做完所有的事情因为它太大了， 而且业务不能等。同时，数据仓库的市场还没有完备。所以从流程中影响大、高价值部分开始，然后，利用你的成功去带动另外的阶段。
    总结：
    综上所述，建立一个数据仓库架构的好处如下：
    ●提供了一个组织结构的框架-－架构对什么是单独的组件、如何将它们组装在一起、谁拥有什么部分以及优先次序的问题划出了界线。
    ●提高了灵活性和维护性-－让你能快速加入新的数据来源，接口标准允许即插即用，模型和元数据允许影响分析和单点的变化。
    ●更快的开发和再利用-－数据仓库开发者更能够快速了解数据仓库流程、数据库内容和业务规则。
    ●管理和通信的工具-－定义未来方向和项目范围， 确定职务和职责、对供应商传达需求。
    ●协调多项任务同时进行——多种、相对独立的工作有机会成功地集合。
    我们建议公司对准业务需求而又要务实一些。时刻跟上数据仓库产业的进步是很重要的。最后，请记住架构总是存在的：或隐性或具体的，或无计划或计划内的。经验证明，有一个计划内和具体的架构会使数据仓库与 商业智能项目有更多的成功机会。

7. 为什么要建立数据仓库

（DDS）是在管理信息系统的基础上发展起来的，在数据仓库、OLAP技术和数据挖掘工具出现以前，就已经有DSS了，但其在实际应用开发过程中暴露出许多问题，Dw为克服传统DDS存在的问题提供了技术上的支持，基于DW上的DSS效果自然有很大提升），能帮助老板了解企业的整体全貌，看到数据仓库提供的经过整理统计归纳的数据后老板凭自己的管理经验可以发现企业问题或困

难或成功因素在哪一方面，然后可以不断的追溯数据，直到确定到最具体的细节上，这样能
够不断提升老板或管理层的管理水平，不断改善企业的管理。我们知道的最好的一个例子就
是美国某大型超市啤酒和尿布的故事。
数据库是数据仓库的基础。
数据仓库实际上也是由数据库的很多表组成的

（这句话明显不成立，数据仓库里表分为事实表和维表，这和数据库里的表还是有本质区别的，组织方式完全不一样，一个是面向主题，一个是面向业务的）。

需要把存放大量操作性业务数据的数据库经过筛选、抽取、归纳、统计、转换到一个新的数据库中。然后再进行数据展现。老板关注的是数据展现的结果

8. 创建数据库的步骤

MySQL云数据库创建、配置与使用教程，五秒钟创建属于自己的mysql云数据库，申请地址：xmjar.cn