PDF《用Oracle 信息架构模型征服大数据》

用Oracle 信息架构模型征服大数据 主讲人姓名 主讲人职务 以下内容旨在概述产品的总体发展方向.

该内容仅供参考, 不可纳入任何合同.该内容不构成提供任何材料、代码或功 能的承诺,并且不应该作为制定购买决策的依据.所描述的 有关 Oracle 产品的任何特性或功能的开发、发布和时间安 排均由 Oracle 自行决定. 架构师的企业 计划方法 信息架构功能模型 挑战: 利用 协同效应 大数据,大架构 分析 决策 获取 组织 Oracle NoSQL 数据库 HDFS 企业 管理软件 Oracle Data Integrator Oracle Big Data Connectors Hadoop (MapReduce) Oracle 面向大数据的集成解决方案体系 获取 组织 决策 分析应用程序 分析 数据库中的分析 数据仓库 新增 与结构化数据 关联 对您信息架构的影响 新增 低密度数据分析 方法 新增 更大的信息量和 多样性处理 ? 极度可伸缩 ? 硬件便宜 ? 动态数据模型 ? 统计 ? 可视化 ? 语义 ? 共享元数据 ? 利用技能 ? 统一信息板 信息架构数据范围 评估经济与架构的权衡 数据种类 结构 量 安全性 存储和 检索 建模 集成 使用 主数据 事务 分析数据 元数据 结构化 中―高数据库、应用程 序和用户访问 RDBMS/SQL 预定义的关系建 模或维度建模 ETL/ELT、CDC、 复制、 消息 BI 和统计工具、 运营应用程序 参考数据 结构化和半 结构化 低―中平台安全性 XML/xQuery 灵活、可扩展 ETL/ELT、消息 数据使用基于系 统 文档 和内容 非结构化 高 基于文件系统 文件系统/搜索 随意 操作系统级文件 移动 内容管理 信息架构数据范围 数据种类 结构 量 安全性 存储和 检索 建模 集成 使用 主数据 事务 分析数据 元数据 结构化 中―高数据库、应用程 序和用户访问 RDBMS/SQL 预定义的关系建 模或维度建模 ETL/ELT、CDC、 复制、 消息 BI 和统计工具、 运营应用程序 参考数据 结构化和半 结构化 低―中平台安全性 XML/xQuery 灵活、可扩展 ETL/ELT、消息 数据使用基于系 统 文档 和内容 非结构化 高 基于文件系统 文件系统/搜索 随意 操作系统级文件 移动 内容管理 大数据 - 网志 - 传感器 - 社交媒体 结构化、 半结构化、 非结构化 高 文件系统和数 据库 分布式文件系 统/noSQL 灵活(键值) Hadoop、 MapReduce、 ETL/ELT、消息 BI 和统计工具 跨整个架构的查找协同效应 事务 数据 传统信息架构方法 企业架构主要职责 ? 治理 - 业务协调 - 架构审查 - 标准和培训 ? 卓越中心 主要架构原则 ?优质、及时、安全 结构化 参考数据和 主数据 数据 仓库 分析 功能 企业 集成 管理、 安全、 治理 文本、图像、 音频、视频 大数据信息架构方法 企业架构主要职责 ? 治理 - 业务协调 - 架构审查 - 标准和培训 ? 卓越中心 非结构化 机器生成 Map Reduce 分布式 文件系统 主要架构原则 ?优质、及时、安全 ? 量 实现零延迟 ? 多样性 动态模式 ? 值 挖掘和关联 键值数据 存储 沙盒 数据仓库 分析 功能 集成的大数据架构功能 事务数据 管理 安全、治理 高级 分析 可视 发现 DBMS (OLTP) 主数据和 参考数据 结构化 DW/DM 文本分析 和搜索 报告和 信息板 实时 机器生成 社交媒体 文本、图像、 视频、音频 NoSQL 非结构化 半 结构化 HDFS 报警 数据库中的 分析 EPM BI 应用程序 基于消息 ETL/ELT CDC ODS 流(CEP 引擎) 获取 组织 分析 决策 Hadoop (MapReduce) 服务器 存储 网络 操作系统 制定关键的架构决策 挑战: 实时分析低密度 数据 挑战: 实现低成本的大量 数据挖掘 挑战: 与结构化数据关联 数据挖掘 ― 概念图解 DBMS HDFS SQL 工具 业务机会 ? 会话化网志 ? 丢弃的购物车 技术选择 ? 通过 DBMS 挂载 HDFS ? 将数据加载到 DBMS 架构决策 ? 无数据移动 ? 无新技能 数据挖掘 ― 逻辑图解 关键组件 ? Oracle 大数据机或其他 HDFS 解决方案 ? Oracle 数据库外部表 ? FUSE (Filesystem in Userspace) ? SQL Developer ? Oracle BI 企业版 Oracle 大数据机 FUSE OBIEE (大数据分析) Oracle SQL Developer (任何 SQL 工具) 或者 或者 外部表 实时 批处理 实时警报 ― 概念 流(CEP 引擎) 警报 ? BPEL ? 移动 ? 信息板 ? 数据库 业务机会 ? 金融服务欺诈 技术选择 ? 将大数据与 EDA 集成 ? 使用临时区域 架构决策 ? 实时流 ? 最大限度地减少数据移动 NoSQL HDFS 流(CEP 引擎) 实时警报 ― 逻辑 关键组件 ? Oracle 大数据机 ? Oracle NoSQL 数据库 ? Oracle EDA C CEP ? Oracle SOA C BAM ? Oracle SOA C BPEL Oracle 大数据机 (带NoSQL) 流(CEP 引擎) BAM 信息板 BAM 警报 BPEL 流程 Oracle EDA/SOA Suite 关联和分析 ― 概念 HDFS NoSQL BI 平台 & 分析 业务机会 ? 个性化保险 技术选择 ? 将缩减结果集成到关系数 据库 ? 构建另一个环境 ? 手动关联 架构决策 ? 使用集成元数据 ? 使用标准 BI 平台 ? 最大限度地减少数据移动 数据仓库 数据 集市 数据库中的 分析 MapReduce 关联和分析 ― 逻辑 关键组件 ? Oracle 大数据机 ? Oracle Data Integrator ? Oracle 数据库云服务器 (Exadata) ? Oracle Advanced Analytics ? Oracle 商务智能云服务器 (Exalytics) Oracle 大数据机 HDFS 与NoSQL、 MapReduce Oracle Data Integrator Oracle Exadata Oracle Exalytics InfiniBand Infini Band Oracle Advanced Analytics Oracle BI 基础 决策 与结构化数据 关联 要点重述:Oracle 大数据架构功能 决策 实时 警报 决策 挖掘大量数据 ? 无数据移动 ? 使用 SQL 技能 ? EDA 集成 ? 最大限度地减少数据 移动 ? 利用集成 ? 就地关联 ? 利用 BI 平台 利用 Oracle 和大数据的协同效应 ? 企业弹性和可伸缩性 ? 高性能运营 ? 利用数据库分析 ? 利用 BI 投资 ? 利用云管理 ? 开源支持 和分发 Oracle 的企业架构方法 人员 Oracle 企业架构师 流程 Oracle 架构开发流程 组合 Oracle EA 框架