HiDB金融级分布式数据库
一、产品简介
HiDB 是华慧长天公司研发的分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。是基于TiDB的优化完善商用版本。
HiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性,HiDB 对业务没有任何侵入性,能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也让开发运维人员不用关注数据库 Scale 的细节问题,专注于业务开发,极大的提升研发的生产力。
HiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。
二、产品架构
PD Server:Placement Driver 整个集群的管理模块
1、存储集群的元信息。2、对 HiKV 集群进行调度和负载均衡。3、分配全局唯一且递增的事务 ID。
HiDB Server:HiDB Server 负责接收 SQL 请求,处理 SQL 相关的逻辑。
HiKV Server:HiKV Server 负责存储数据,从外部看HiKV 是一个分布式的提供事务的 Key-Value 存储引擎。
HiSpark:HiSpark 是 HiDB 中解决用户复杂 OLAP 需求的主要组件,可将 Spark SQL 直接运行在 HiDB 存储层上,同时融合 HiKV 分布式集群的优势,并融入大数据社区生态。HiDB 可以通过一套系统,同时支持 OLTP 与 OLAP。
三、关键技术
– 存储 HiKV Sever
(1)Region 水平扩展模式,MVCC 版本控制
-Raft Group 以 Region 为单位进行数据的复制和成员管理
-Region 分散在集群中所有的节点上,每个节点上服务的 Region 数量基本一致
(2)Key-Value 数据存储模型
-HiKV 将整个 Key-Value 空间分成很多Region段(每一段是一系列连续的 Key value)
-Region 中保存的数据不超过 64mb,每个 Region 用 StartKey 到 EndKey 左闭右开区间来描述
(3)Raft 协议负责数据复制, RocksDB 负责数据落地
-通过 Raft 这一层的接口写入数据,将数据复制到多台机器上,实现分布式的 KV
-通过RocksDB,数据快速地存储在磁盘上
– 计算 HiDB Sever
用户的 SQL 请求通过 Load Balancer 发送到 HiDB-server,HiDB-server 会解析 MySQL Protocol Packet,获取请求内容、语法解析、查询计划制定和优化、执行查询计划获取和处理数据,最后将查询结果返回给用户。
– 调度 PD Sever
作为一个分布式高可用存储系统,PD Sever 主要作用如下
1、副本数量不能多也不能少
2、副本分布在不同的机器上
3、新加节点后,可以将其他节点上的副本迁移过来
4、节点下线后,可以将该节点的数据迁移走
5、维持整个集群的 Leader 分布均匀
6、维持每个节点的储存容量均匀
7、维持访问热点分布均匀
8、控制 Balance 的速度,避免影响在线服务
9、管理节点状态,包括手动上线/下线节点,以及自动下线失效节点
四、核心特性
(1)真正金融级高可用
Raft 协议可以提供金融级的 100% 数据强一致性保证,且在不丢失大多数副本的前提下,可以实现故障的自动恢复 ,无需人工介入。
(2)无限水平弹性扩展
通过简单地增加新节点即可实现 HiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景。
五、产品特性清单
(1)真正金融级高可用
相比于传统主从 (M-S) 复制方案,基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证,且在不丢失大多数副本的前提下,可以实现故障的自动恢复 (auto-failover),无需人工介入。
(2)无限水平弹性扩展
通过简单地增加新节点即可实现 HiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景。
(3)分布式事务
HiDB 100% 支持标准的 ACID 事务。
(4)高度兼容 MySQL
大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 HiDB,分库分表后的 MySQL 集群亦可通过 HiDB 工具进行实时迁移。
(5)一站式 HTAP 解决方案
HiDB 作为典型的 OLTP 行存数据库,同时兼具强大的 OLAP 性能,配合 HiSpark,可提供一站式 HTAP 解决方案,一份存储同时处理 OLTP & OLAP,无需传统繁琐的 ETL 过程。
(6)云原生 SQL 数据库
HiDB 是为云而设计的数据库,支持公有云、私有云和混合云,配合 HiDB Operator 项目 可实现自动化运维,使部署、配置和维护变得十分简单。
清华大学
咨询+产品+实施+运营的行业智能解决方案平台
品牌专区
联系我们
商务合作:
代理合作:
人才招聘:
业务咨询:
天津市中新天津生态城中天大道1620号生态科技园启发大厦