天谋科技技术

该技术由天谋科技投递并参与金猿组委会×数据猿×上海大数据联盟共同推出的《2025大数据产业年度创新技术》榜单/奖项评选。

本公开提出了一种基于数据文件的分布式多副本高性能高可用方案，包括：获取用户的写入请求，并通过分布式集群中的领导者共识层执行写入请求；监听存储引擎中生成的数据文件；基于数据文件生成加载事项，并将加载事项异步发送给跟随者进行加载数据文件，领导者继续执行下一写入请求；在跟随者通过直接加载技术完成数据加载后，通过异步回调的方式将加载结果更新至分布式集群的共识数据中。相较于当前主流的共识协议，本公开采取异步复制机制，返回用户写入成功不依赖副本同步的结果，无需额外等待，本公开还利用高压缩比的数据文件进行状态同步，在确保系统资源利用效率的同时，有效降低了副本同步的性能瓶颈，具备性能随副本数线性扩展的优势。

在分布式系统中，多副本数据同步与一致性机制是保障高可用与容错能力的关键环节。现有主流一致性协议（如Raft）通常依赖多数派写确认（quorum write）与日志复制来完成副本间同步，从而保证一致性。但在高频写入、数据规模持续增长的场景下，这类机制往往会带来额外网络往返时延（RTT）与同步开销，并且随着副本数量增加，同步成本与资源消耗会进一步上升，从而限制系统吞吐与扩展能力。

本专利提出的“一种基于数据文件的分布式多副本高性能高可用方案”，核心思路是在保持分布式集群由领导者（Leader）协调写入与共识数据管理的前提下，将副本同步的关键载体从“逐条操作日志”转为“存储引擎生成的数据文件”，并通过异步复制与直接加载机制降低副本同步对写入路径的阻塞与资源消耗。

图1是本公开一个实施方式的一种基于数据文件的分布式多副本高性能高可用方案的示意图

图2是本公开一个实施方式的另一种基于数据文件的分布式多副本高性能高可用方案的示意图

图3是本公开一个实施方式的另一种基于数据文件的分布式多副本高性能高可用方案的示意图

图4是本公开一个实施方式的另一种基于数据文件的分布式多副本高性能高可用方案的示意图

图5为本公开一种基于数据文件的分布式多副本高性能高可用方案的架构图

图6是本公开一个实施方式的一种基于数据文件的分布式多副本高性能高可用装置的示意图

图7是本公开一个实施方式的一种电子设备的示意图

具体而言，本方案包括以下关键步骤：获取用户写入请求并由分布式集群中的领导者共识层执行；当领导者完成写入后，监听存储引擎生成的最新数据文件；基于该最新数据文件生成“加载事项”，并将加载事项以异步方式发送给跟随者（Follower）进行加载，同时领导者继续处理下一写入请求；待跟随者通过直接加载技术完成数据文件加载后，通过异步回调的方式将加载结果更新至分布式集群的共识数据中。

与依赖quorum write的同步确认机制相比，本方案的关键突破在于：领导者在异步发送加载事项后无需等待副本同步完成即可继续处理写入请求，从而使“写入成功返回”不再直接依赖多数副本写确认带来的额外等待，减少写入路径中的同步阻塞因素。

第二个关键突破在于利用高压缩比的数据文件进行状态同步。专利中指出，传统日志复制在副本追赶（catch up）时需要逐条重放日志并经历WAL与memtable等多层写入步骤，从而增加网络与存算资源消耗；而本方案在副本同步过程中以数据文件作为同步对象，并结合直接加载技术，能够在减少网络带宽消耗的同时，省略跟随者侧多层写入重放步骤，从而降低追赶开销。

第三个关键突破在于其可扩展性收益。本专利论述了在多副本组架构下，由于副本同步带来的额外资源消耗相对较小且不会随副本数量显著提升，系统具备“性能随副本数线性扩展”的优势；并给出了实验性描述：在生产环境常用的2副本情况下，本方案能够实现逼近单节点单副本的2倍性能。

此外，本方案还考虑了共识任务重启等工程场景：在共识任务重启时，可获取存储引擎中的历史数据文件，确定跟随者尚未加载的最新数据文件，并将对应加载事项重新发送给跟随者进行加载，以保证数据一致性与系统稳定性。

综上，本专利的突破性技术点可概括为：以数据文件为核心同步载体的异步复制机制、直接加载技术与异步回调更新机制相结合，在保证系统高可用与一致性维护的同时，减少同步确认等待与追赶重放开销，缓解传统日志复制一致性方案在多副本与高频写入场景下的性能瓶颈，并提升系统横向扩展能力。

本专利所提出的基于数据文件的分布式多副本高性能高可用方案，已在天谋科技自主研发的工业物联网时序数据库管理系统（TimechoDB）等产品中得到工程化落地应用，成为其分布式集群高可用与高吞吐写入能力的核心支撑技术之一。该技术主要应用于面向工业物联网场景的大规模时序数据管理平台，在能源电力、钢铁冶炼、石油化工、交通运输等行业的生产系统中投入使用。

通过引入文件级异步复制机制，相关产品在多副本部署条件下显著降低了写入延迟和副本同步成本，使系统能够在高采样频率、高并发写入场景中保持稳定性能。同时，该技术有效简化了副本追赶与故障恢复流程，提升了系统在节点重启、网络波动等复杂工况下的可用性和运维效率，为企业级工业数据平台提供了可靠的数据基础设施保障。

·带队负责人姓名：乔嘉林

乔嘉林博士，天谋科技联合创始人兼CTO，高级工程师，清华大学水木学者，北京市海英人才，大数据系统软件国家工程研究中心存储部副组长，国际 Apache软件基金会委员，Apache IoTDB项目管理委员会委员，Apache TsFile项目主席。曾获北京市科技进步一等奖。

作为研发骨干研制工业物联网时序数据库Apache IoTDB，在国际数据库权威榜单TPCx-IoT、benchANT中均排名第一，研究成果广泛应用于规模以上工业龙头企业超过1000家，在钢铁冶炼、石油化工、飞机制造、能源电力、智慧电厂、城市交通运输等行业得到应用。其中，作为IoTDB负责人推动了IoTDB在长安汽车云平台、中车四方轨道交通运维平台、湖南中烟智能制造、四维智联驾驶行为分析平台上线。

参与国家、省部、企业项目十余项。作为课题/子课题负责人，参与多项国家重点研发计划、工信部高质量发展专项、重庆市重大专项等多项。作为项目骨干参与国家重点研发计划、国家自然科学基金委员会重大项目多项，主持清华大学软件学院自主创新项目1项。获中国发明专利授权近20项，美国发明专利授权3项。

入选2025年胡润U30、2024年中关村U30、2023年中国电子信息行业联合会优秀软件工程师、2022年中国开源创新大赛核心贡献者、2022年中国开源云联盟杰出开源贡献者、2022年中国开源先锋33人。

团队其他重要成员姓名：王建民，黄向东，谭新宇，田原，彭俊植，谷新豪

·隶属机构

天谋科技（北京）有限公司（简称“天谋科技”）成立于2021年10月，是一家专注于时序数据库管理系统及相关技术服务的科技企业。公司聚焦大数据底层系统软件研发，核心团队长期从事分布式数据库与时序数据管理技术研究，当前员工规模约60人，研发人员占比超过70%。

围绕工业领域数字化转型过程中产生的海量时序数据管理需求，天谋科技针对数据体量大、采样频率高、数据乱序到达、写入并发度高以及存储与运维成本敏感等共性问题，持续开展数据库内核与分布式系统层面的技术创新，构建高性能、高可靠、可扩展的时序数据管理能力。

公司产品主要服务于工业大数据智能化场景，在状态监控、故障预测、工艺优化与设备数字画像等应用中提供底层数据管理支撑。据不完全统计，相关技术与产品已在能源电力、钢铁冶炼、石油化工、航空制造、城市交通等多个行业的众多企业中应用，并逐步扩展至金融等对时序数据处理性能与可靠性要求较高的领域。

该技术能够支撑工业企业在复杂生产环境中更高效地完成数据汇聚与管理，为智能运维、AI分析和业务优化提供可靠的数据基础。这项技术不仅工程价值高，也在实际产业场景中展现出良好的可扩展性，为工业数智化提供了解决方案和重要支撑。

——博原资本管理合伙人 朱璘

该技术为天谋科技的企业级时序数据管理系统的持续演进提供了技术保障，有助于支撑工业数字化和工业智能化业务的长期发展，具备清晰的技术价值和产业前景。

——诚美资本合伙人 王飞雪