PDF《技术[TECHNOLOGY]》

0

1 1.

1 1.1.1 1.1.1.1 1.1.2 1.2

2 2.1 2.2 2.3

3 3.1 3.2 3.2.1 3.2.2 3.2.2.1 3.2.2.2 3.2.2.3 3.2.2.4 3.2.3 3.2.3.1 3.2.3.2 3.2.4 3.2.4.1 3.2.4.1.1 3.2.4.2 3.2.4.3 3.2.5 3.2.5.1 目录 介绍 技术[TECHNOLOGY] 架构- 如何工作 数据管理 混合存储 客户端 功能指南-它是什么 开发[DEVELOPMENT] 客户端 开发指南 Aerospike Connectors 部署[DEPLOYMENT] 部署指南 操作手册 概要 规划 存储 容量规划 服务器硬件要求 flash存储要求 网络要求 安装 Install Aerospike on Linux 使用Binary Package安装 配置 网络 常规配置 心跳检测heartbeat 机架感知(Rack aware) 调优 监控关键指标 Aerosp?ike开发指?南23.2.5.2 3.2.6 3.2.6.1 3.2.6.2 3.2.6.3 3.2.6.4 3.2.6.5 3.2.6.6 3.2.7 3.3 3.3.1 3.3.2 3.3.3 3.3.4 3.3.5

4 4.1 4.1.1 4.1.1.1 4.1.2 4.1.2.1 4.1.3 4.1.4 4.2 4.2.1 4.2.1.1 4.2.1.2 4.2.1.3 4.2.2 4.2.2.1 4.2.2.2 4.2.2.3 4.2.2.4 4.2.3 延迟[Latency] 故障排除 安装 启动 节点 集群和网络 跨机房数据复制XDR 客户端 监控 参考手册 配置参考 命令信息参考 度量指标 Log Reference 通信协议Wire Protocol 工具集[TOOLS] 管理控制台 安装 Install on Red Hat and Centos 用户指南 社区版 配置 故障排除 工具和实用程序 备份和恢复 备份 (asbackup) 恢复 (asrestore) 备份文件格式 监控[asmonitor] 命令 常规检查 高级监控用法 collectinfo命令 aerosipke(CLI) Aerosp?ike开发指?南34.2.3.1 4.2.3.2 4.2.3.3 4.2.3.4 4.2.4 4.2.5 4.2.6 4.2.6.1 4.2.7 4.2.8 Key-Value Store Operations ascli C Query Management Scan Management UDF Management 延迟分析asloglatency) as 运行信息工具(asinfo) as管理工具(asadm) 用户指南 cli命令 as查询语言(AQL) Aerosp?ike开发指?南4Aerospike_Development_Guide Aerospike 是一个开源的、实时的 NoSQL数据库和键/值存储,它为必须 立刻 感受和响应并 将此作为前期成本一部分的大数据和上下文驱动的应用程序提供了内存性能.Aerospike 在全 球范围内发挥作用并提供了企业级可靠性. Aerospike 宣布开源其 NoSQL 数据库,使用 AGPL 许可证发布.该许可证要求对源代码的任 意改进都必须提交回主库.Aerospike 相关的所有源码都可通过如下地址获取: https://github.com/aerospike Aerospike 当前将数据库打包成两个版本:社区版和企业版.其中社区版是免费的,但限制了 集群、存储能力以及每秒的事务处理数.在最新的 3.3.5 版本中这些限制已经移除.社区版跟 企业版所提供的功能已经基本一致,除了企业版提供的多个数据中心的复制功能以及补丁和 技术支持服务外. Aerosp?ike开发指?南5介绍 Aerospike 提供 C, C++, Java, C#, Node.js, Python, PHP, Erlang 和 Perl 语言的客户端开发 包,这些客户端开发包的源码使用 Apache 许可证. 在线阅读地址 https://www.gitbook.com/book/kiwimg/aerospike_development_guide/details 参加步骤 在 GitHub 上 fork 到自己的仓库,如 docker_user/docker_practice,然后 clone 到本地,并设 置用户信息. 修改代码后提交,并推送到自己的仓库. 定期使用项目仓库内容更新自己仓库 内容. 感谢贡献者 翻译校正 如有翻译不正确或错误,请email联系12331023@qq.com Aerosp?ike开发指?南6介绍 技术[TECHNOLOGY] Aerosp?ike开发指?南7技术[TECHNOLOGY] 架构- 如何工作 Aerosp?ike开发指?南8架构- 如何工作 数据管理 Aerosp?ike开发指?南9数据管理 混合存储 混合存储系统拥有存储在每个节点中的索引和数据,并处理与物理存储相互作用.它还包含 模块,自动从数据库中删除旧数据,并整理物理存储优化磁盘使用情况. aerospike数据可以存储在DRAM中,传统的介质,和SSD数据,并且每个namespace[命名空 间]能分别配置.这种配置的灵活性,允许应用开发者把一个经常访问的namespace放在 DRAM,而是把更大的空间在成本较低的存储,例如SSD. 并优化数据存储在SSD上,包括绕过文件系统利用低级SSD读写模式. 原理 记录的数据被存储在一起.每行的存储量是默认为1MB大小的 存储采用写时复制技术,并且通过碎片整理过程将回收空余的空间 每个namespace配置有存储的固定量.每个节点必须具有在每个服务器相同的名称 namespace和存储相同量的每个命名空间 每个名称空间配置了一个固定大小的存储空间.每个节点必须具有相同的namespaces,每个 namespaces必须有相同的存储数量. 存储器可以配置纯DRAM,但是不能持久化,要是DRAM存储具有持久性,可以使用闪存 (SSD). 持久性存储(磁盘)必须是Flash或其他高性能的块存储设备(云),或可以在任 何存储设备的文件. 数据在内存 数据纯粹在DRAM中 - 不具有持久,但是具有更高的吞吐量的好处.虽然 Flash storage是有 非常高的性能,但是DRAM甚至更高的性能,而且DRAM的价格持续下降. 数据通过jemalloc分配器分配.jemalloc允许分配到不同的存储池.长期分配-如存储层-可以 单独分配.我们发现jemalloc分配器能内存产生较低碎片的独特功能. 通过使用DRAM的多个副本,可以获得非常高的可靠性.aerosipke自动reshards和复制失败或 集群节点上的数据,可以获得高水平的 k-safety .使一个节点重新上线自动填充的数据从一个 副本中. 由于aerosipke的随机数据分发,数据unavailbility时丢失几个节点可以是相当小的.例如,在 具有两个拷贝的数据,如果两个节点都很快就失去了,一个10节点的集群然后数据不可用的 量为复制为约2%前 - 中的数据的1/50 Aerosp?ike开发指?南10 数据管理 数据在固态硬盘/闪存 数据存储 Flash的优化 基于存储的驱逐 碎片整理程序跟踪对磁盘上的每一块活动的记录数,并回收块从而保证低于最低水平的使 用.如果系统变得超出设定的高水位标记,驱逐者(Evictor)负责清除引用和内存回收过期记 录.当配置一个namespace,管理员指定用于namespace的DRAM的最大空间,以及 namespace中的数据默认存活时间.在正常的操作下的驱逐者寻找已过期的数据,释放内存 和磁盘空间.驱逐者(Evictor)还跟踪namespace使用的内存,并释放旧的,虽然不一定过期, 存储的数据大小如果在内存中超过设定的标记警戒值.则通过允许逐出删除最旧的数据,系 统达到内存限制,aerospike可有效地用作LRU缓存. 请注意,record的存活时间长度市从上一次被修改的开始计算,并且该应用程序可以重写任何 时间它将数据写入记录的默认寿命.应用程序也可以告诉一个特定的记录不应该被自动驱逐 系统. Aerosp?ike开发指?南11 数据管理 客户端 概述 Aerospike数据库是一个客户机-服务器体系结构,通常无状态应用程序驻留在一个单独的服务 器从Aerospike数据库服务器. 为了与Aerospike集群通信,我们提供了一组数据库的客户端 - 驱动程序 - 即允许访问 Aerospike集群.这些客户端都提供相同的基本功能,其中包括传感集群状态,路由交易效 率,故障转移和池的网络连接有效. 这些客户端库分布――以源代码的形式构建到应用程序服务器........