DC娱乐网

古法编程 电子书 How Query Engines Work ,查询引擎是如何

古法编程 电子书 How Query Engines Work ,查询引擎是如何工作的阅读:howqueryengineswork.com/

查询引擎是现代数据基础设施背后看不见的主力。每当你对数据库执行一条 SQL 查询、运行一个 Spark 作业,或查询一个数据湖时,查询引擎都在把你的高层请求转换成高效的执行计划。理解查询引擎的工作方式,可以让你洞察计算领域中最重要的抽象之一。

本书采用动手实践的方式来揭开查询引擎的神秘面纱。我们不会泛泛介绍已有系统,而是会从零开始构建一个功能完整的查询引擎,并以足够的深度讲解每个组件,使你能够实现自己的查询引擎。本书假定你具备基本的编程知识。示例使用 Kotlin,因为它语法简洁,但相关概念适用于任何编程语言。

读完本书后,你将理解如何:🌟使用 Apache Arrow 设计列式类型系统🌟为 CSV 和 Parquet 文件构建数据源连接器🌟将查询表示为 logical plan 和 physical plan🌟创建用于以编程方式构建查询的 DataFrame API🌟将 logical plan 转换为可执行的 physical plan🌟实现 projection 和 predicate push-down 等查询优化🌟解析 SQL 并将其转换为 query plan🌟在多个 CPU 核心上并行执行查询🌟设计跨集群的分布式查询执行

How I AI