家用电脑照片三层产品结构图联想电脑型号大全

　　云环境提供了多种好处，例如可扩展性、可用性和可靠性……

　　云环境提供了多种好处，例如可扩展性、可用性和可靠性。此外，云提供商有大量的原生组件可供构建。还有多种第三方工具可供选择，其中一些是专门为云设计的，可通过云市场获得。

　　工具自然倾向于强调自己在分析集成中的作用。当您尝试选择最佳工具集时，这通常会令人困惑。在这篇文章中，我们将详细介绍许多工具的优缺点。

　　这是一个由三部分组成的系列文章的第一篇，我们评估了基于数据仓库和数据湖的解决方案的基本方法或范式的差异。

　　基于一些主要组件的选择联想电脑型号大全，云分析解决方案可以分为两类：数据湖和数据仓库。简而言之，数据仓库解决方案传统上是集中式的，而数据湖解决方案则分散到核心。这两种方法都有其优势，并且通常用于略有不同的目的。如今，产品具有这两个类别的典型特征是很常见的。即便如此，产品仍然展示其原始类别及其观点。

　　在这篇文章中，我们深入挖掘了范式的特征和差异。我们首先将分析平台划分为典型的组件阶段。在此之后，我们讨论从两种范式的角度选择组件的方法。

　　数据分析平台通常根据它们所涵盖的过程部分分为多个阶段。典型的批量数据流水线平台如上图所示。但是，文章分析也适用于实时平台。这些工具可以从处理（绿色）或存储（蓝色）的角度进行分类。下面的工具行对应于它们在平台不同阶段的可用性。

　　例如，典型的数据湖解决方案由单独的处理和存储工具组成。在数据仓库的情况下，一个单一的解决方案通常同时兼顾处理和存储功能。让我们更清楚一点。

　　可视化和报告（Visualize & Report ）——信息以可视化或报告的形式提供给最终用户

　　此外，大数据世界的当前趋势是根据应用的处理级别将数据存储在多个层中。数据存储层（蓝色）通常至少包括：

　　数据存储层的确切覆盖范围因源而异，但此处的细节无关紧要。但是，重要的是要注意，尤其是在银层和金层中，数据可以存储不止一次。例如，黄金层通常为不同的使用场景提供多个版本的数据。

　　传统上，数据分析平台是用于公司报告目的的解决方案。对于这个用例，基于关系数据库的数据仓库是事实上的标准。但是，数据仓库不太适合处理新类型的数据，通常称为大数据家用电脑照片。问题是由于数据量、实时要求和类型多样性造成的，其中包括非结构化和半结构化数据。为了补充工具集家用电脑照片，在过去十年左右开发了数据湖类型的解决方案。

　　根据 Wikipedia 中的一个非常广泛的定义，数据湖是一种可以以原始形式存储数据的解决方案。一般来说，这意味着任何文件格式的潜在存储容量都是无限的。在实践中，该术语还涵盖处理存储数据的工具。

　　市场上倾向于将产品展示为“整体数据湖解决方案”。通常他们是对的：理论上，即使是具有大硬盘驱动器的虚拟机也能让有能力的编码人员创建数据湖解决方案。自然，这种极简主义的定义不是很有用。

　　对于数据仓库范式，基本方法是提供一个集中式产品，使数据能够存储在有组织的层次结构中，通常以数据库表的形式。该解决方案包括表之间的外键引用、细粒度数据加密和详细的用户访问管理等内容。对数据的访问主要通过特定的数据仓库产品处理，通常使用 SQL 语言。

　　数据仓库范式的优点是能够定义向用户提供的数据和格式。通常，数据以经过处理和干净的格式提供。例如三层产品结构图，这样我们就可以保证数据的有效性联想电脑型号大全。此外，源系统和数据的变化至少在某种程度上对用户是隐藏的。

　　另一方面，作为限制，我们依赖单一的产品供应商。例如，只能以产品支持的方式从数据仓库解决方案中检索数据。此外，我们需要以一种或另一种方式为数据的检索付费。数据仓库解决方案也可能成为数据处理的资源瓶颈。最近，在解决后一个限制方面取得了重大进展。

　　数据湖范式的核心原则是责任分散。借助大量工具，任何人都可以在访问管理的范围内使用任何数据层中的数据：青铜、白银和黄金。组织数据和表的关系是可以的，但是通常不强制使用，我们可以很容易地绕过它们。

　　数据湖解决方案的一个主要优势是计算和处理工具的去中心化。数据科学家可以在自己的机器上使用青铜层数据进行 Python 图像分析，数据工程师可以使用 Apache Spark 修改银层数据，分析师可以通过报告工具利用黄金层数据。SQL 语言通常作为一种可能性提供。此外，计算是分散的，几乎没有瓶颈。

　　数据湖范式解决方案的一个主要弱点是缺乏数据组织，包括集中的元数据存储库。如果由于纠错或源系统修改而导致处理的数据更改，则可能非常难以跟踪。此外家用电脑照片，不能始终保证数据的有效性或结构。集中式数据湖元数据管理工具越来越多，但使用它们取决于开发过程。技术很少强制这样做。

　　在这篇文章中，我们讨论了数据仓库和基于数据湖的解决方案的基本方法或范式的差异。基于数据仓库的解决方案通常是集中式的，而数据湖解决方案则分散到核心。然而，这两个类别的工具都在发展，并且划分变得越来越不清晰。然而，理解范式方法有助于理解全局。

　　我见过大量基于数据湖工具的功能齐全的平台。在这些情况下，可以使用特定于用例的数据库数据集市来提供信息，而根本不需要数据仓库。

　　另一方面，也有成功的解决方案，其中整个平台都建立在数据仓库产品之上。数据直接读入数据仓库，在那里进行处理和服务。

　　但是，由于此处解释的差异，基于其中一种范例的解决方案不一定在所有情况下都是最佳的。他们的优势和基本理念是不同的。在处理青铜级和白银级数据时，在早期阶段利用基于数据湖的方法可能是有意义的。然后可以将数据存储在数据仓库中，以进一步组织成白银和黄金数据。通过这种方式，所有数据既可以用于快速实验的原始格式，也可以用于报告的结构格式。

　　【jiagoushipro】【超级架构师】精彩图文详解架构方，架构实践，技术原理，技术趋势。我们在等你，赶快扫描关注吧。

　　【ca_cea】50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全三层产品结构图，全栈开发，DevOps，数字化.

　　【285069459】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。加QQ群，有珍贵的报告和干货资料分享。

　　视频号 【超级架构师】1分钟快速了解架构相关的基本概念，模型，方法，经验。每天1分钟，架构心中熟。

　　喜马拉雅 【超级架构师】路上或者车上了解最新黑科技资讯，架构心得。 知识星球 认识更多朋友，职场和技术闲聊。 领英 Harry 领英群组 领英架构群组微博‍‍ 【超级架构师】 哔哩哔哩 【超级架构师】

　　网站 CIO(首席信息官) 网站CIO,CTO和CDO网站架构师实战分享网站程序员云开发分享网站首席架构师社区网站 应用开发和开发平台 网站 开发信息网 网站 超级架构师 网站 企业技术培训 网站 程序员宝典 网站 开发者闲谈 网站 CPO宝典 网站 首席安全官 网站 CIO酷 网站 CDO信息 网站 CXO信息

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186