该GEQO模块将查询优化问题视为众所周知的旅行推销员问题 (TSP). 可能的查询计划被编码为整数字符串。每个字符串表示从查询中的一个关系到下一个关系的连接顺序。例如,连接树
/\ /\ 2 /\ 3 4 1
由整数字符串“4-1-3-2”编码,这意味着首先连接关系“4”和“1”,然后是“3”,然后是“2”,其中 1、2、3、4 是 PostgreSQL 优化器中的关系 ID。
PostgreSQL 中GEQO实现的一些特点是:
使用稳态GA(替换群体中最不适应的个体,而不是整体世代替换)允许快速收敛到改进的查询计划。这对于在合理时间内处理查询至关重要;
使用边缘重组交叉,特别适用于通过TSP解决GA;
问题时保持低边缘损失。TSP变异作为遗传算子已被弃用,因此不需要修复机制来生成合法的
遍历。GEQO模块的部分内容改编自 D. Whitley 的 Genitor 算法。
该GEQO模块允许 PostgreSQL 查询优化器通过非穷举搜索有效地支持大型连接查询。
该GEQO规划过程使用标准规划器代码为单个关系的扫描生成计划。然后使用遗传方法开发连接计划。如上所示,每个候选连接计划都由一个连接基本关系的序列表示。在初始阶段,GEQO代码只是随机生成一些可能的连接序列。对于考虑的每个连接序列,调用标准规划器代码来估计使用该连接序列执行查询的成本。(对于连接序列的每个步骤,考虑所有三种可能的连接策略;并且所有最初确定的关系扫描计划都可用。估计成本是这些可能性中最便宜的。)估计成本较低的连接序列被认为是比成本较高的连接序列“更适合”。遗传算法会丢弃最不适合的候选者。然后通过组合更适合候选者的基因来生成新的候选者——即,通过使用已知低成本连接序列的随机选择部分来创建新的序列以供考虑。这个过程重复,直到考虑了预设数量的连接序列;然后使用在搜索过程中任何时候发现的最佳序列来生成最终计划。
由于在初始种群选择和随后最佳候选者的“变异”过程中都进行了随机选择,因此此过程本质上是不确定的。为避免所选计划发生意外更改,GEQO 算法的每次运行都会使用当前的geqo_seed参数设置重新启动其随机数生成器。只要geqo_seed
和其他 GEQO 参数保持固定,对于给定的查询(以及其他规划器输入,例如统计信息),将生成相同的计划。要尝试不同的搜索路径,请尝试更改geqo_seed
。
仍需要努力改进遗传算法参数设置。在文件src/backend/optimizer/geqo/geqo_main.c
中,例程gimme_pool_size
和gimme_number_generations
,我们必须为参数设置找到一个折衷方案,以满足两个相互竞争的需求:
查询计划的最优性
计算时间
在当前实现中,每个候选连接序列的适应度是通过从头运行标准规划器的连接选择和成本估算代码来估算的。在不同候选者使用相似的连接子序列的程度上,会重复大量工作。通过保留子连接的成本估算,可以显著加快速度。问题在于避免在保留该状态上花费不合理的内存。
在更基本的层面上,用为 TSP 设计的 GA 算法解决查询优化是否合适尚不清楚。在 TSP 情况下,与任何子字符串(部分遍历)相关的成本与遍历的其余部分无关,但对于查询优化来说肯定不是这样。因此,边缘重组交叉是否是最有效的变异过程值得怀疑。
如果您发现文档中存在不正确、与您使用特定功能的经验不符或需要进一步澄清的任何内容,请使用此表格报告文档问题。