Apache Doris 执行引擎的迭代：从 Volcano 火山模型到 Pipeline 模型

在数据库技术的快速发展中，执行引擎作为数据库体系结构中的关键组件，对查询性能及系统资源利用率有着决定性的影响。Apache Doris，作为一款高性能的MPP（Massively Parallel Processing）数据库，其执行引擎的迭代更是引人注目。本文将深入探讨Apache Doris从Volcano火山模型到Pipeline执行模型的迭代过程，并解析这两种模型的特点及其对实际应用的影响。

一、Volcano 火山模型

1.1 模型原理

Volcano模型，也称为迭代器模型（Iterator Model），是数据库查询优化和执行中最为常用的执行模型之一。在Volcano模型中，每个数据库操作都被抽象为一个Operator（算子），整个SQL查询被构建成一个Operator树。查询执行时，树自顶向下调用next()接口，数据则自底向上被拉取处理，因此也被称为拉取执行模型（Pull Based）。

1.2 优缺点

• 优点：Volcano模型具有很高的灵活性和可扩展性，易于实现和优化，能够处理复杂的查询逻辑。
• 缺点：在单机多核的场景下，Volcano模型存在线程阻塞执行的问题。当大量Instance同时请求时，执行线程池可能被占满，导致查询引擎出现假死状态，无法响应后续请求。此外，Instance间的调度依赖于系统调度机制，可能产生较大的Context切换开销，影响查询性能。

二、Pipeline 执行模型

2.1 模型原理

为了解决Volcano模型存在的问题，Apache Doris自2.0版本起引入了Pipeline执行模型，并在后续版本中进行了进一步升级。Pipeline执行模型通过阻塞逻辑将执行计划拆解成Pipeline Task，将Pipeline Task分时调度到线程池中，实现了阻塞操作的异步化。这种模型下，每个Pipeline Task计算完成一个数据块后，根据前置数据是否Ready以及运行时间是否超过上限来决定是否让出线程，从而提高了系统的并发性能和稳定性。

2.2 优缺点

• 优点：Pipeline执行模型解决了Volcano模型中的线程阻塞问题，通过分时调度和异步化处理，提高了系统资源的利用率和查询性能。同时，该模型还采用了数据池化技术，解除了分桶数对Instance数量的限制，提高了对多核系统的利用能力。
• 缺点：Pipeline执行模型的实现相对复杂，需要更多的系统资源和调度策略来支持。此外，在特定场景下，Pipeline Task的拆分和调度可能会引入额外的开销。

三、实际应用与影响

在实际应用中，Apache Doris的Pipeline执行模型带来了显著的性能提升。以Join场景为例，Pipeline执行模型能够将Join操作拆解为多个Pipeline Task，并行处理数据，从而减少了查询的响应时间。此外，Pipeline执行模型还通过灵活的调度策略，实现了CPU资源在大小查询间、不同租户间的合理分配，提高了系统的灵活性和可扩展性。

对于用户而言，Apache Doris的这次迭代意味着更快的查询速度和更高的系统稳定性。在大数据量、高并发的场景下，Pipeline执行模型能够充分发挥多核CPU的计算能力，为用户提供更好的查询体验。

四、总结

从Volcano火山模型到Pipeline执行模型，Apache Doris的执行引擎经历了重要的迭代。Pipeline执行模型通过解决Volcano模型中的线程阻塞问题，提高了系统的并发性能和稳定性。这一迭代不仅体现了Apache Doris在技术创新上的不断追求，也为用户带来了更加高效、稳定的数据库服务。随着技术的不断发展，我们有理由相信Apache Doris将在未来继续引领数据库技术的发展潮流。