鹦鹉优化算法(PO)是Zhang等人于2024年提出的一种新型元启发式算法。该算法模拟了鹦鹉的4种自然行为：

(1) 觅食行为(Foraging Behavior)：模拟鹦鹉在食物源附近搜索食物的行为，利用Levy飞行策略进行全局探索；

(2) 停留行为(Staying Behavior)：模拟鹦鹉停留在栖息地休息的行为，在当前位置附近进行局部搜索；

(3) 交流行为(Communicating Behavior)：模拟鹦鹉之间的信息交流，通过群体协作提高搜索效率；

(4) 恐惧陌生者行为(Fear of Strangers Behavior)：模拟鹦鹉对陌生威胁的逃避反应，增强算法逃离局部最优的能力；

Q学习是一种无模型的强化学习算法。算法通过维护一个Q值表 Q ( s , a ) 来评估在状态 s 下采取动作 a 的期望累积回报。通过采用贝尔曼最优方程(Bellman Optimality Equation)，利用当前估计来更新对未来的预测。算法无需预先知道环境的转移概率和奖励函数，仅通过与环境的交互经验即可学习最优策略。 Q 值的更新公式为：

其中， α 为学习率， γ 为折扣因子， r t + 1 为即时奖励。Q学习通过不断迭代更新 Q 值表，最终收敛到最优策略。

QLAB-PO算法的核心思想是将Q学习机制融入鹦鹉优化过程，通过构建行为选择Q表，使算法能够根据当前搜索状态自适应地选择最优行为策略。算法框架如图1所示，主要包括以下步骤：

(1) 初始化：随机生成初始种群，初始化Q表；

(2) 状态评估：根据当前解的质量评估个体状态；

(3) 行为选择：基于ε-贪婪策略选择行为；

(4) 行为执行：根据选择的行为更新个体位置；

(5) Q表更新：根据执行结果更新Q值；

(6) 终止判断：若满足终止条件则输出最优解，否则返回步骤(2)。

Figure1. The flowchart of QLAB-PO

图1. QLAB-PO流程图

除了2.1节中提到的4种行为外，本文新加了以下两种行为：

群体学习行为：借鉴人工蜂群算法的思想，通过向优秀个体学习来改进当前解。算法随机选择两个不同的邻居个体，利用GQI (Global Quality Improvement)策略[11]更新位置。

自适应变异行为引入差分进化的思想[12]，根据个体适应度自适应地选择变异概率：

QLAB-PO算法将每个个体的适应度等级作为状态，将六种行为模式作为可选动作，构建一个状态-动作Q值表。Q表的更新采用以下公式：

其中，学习率 α = 0.1 ，折扣因子 γ = 0.25 。奖励函数定义为：若新解优于原解，则 r = 1 ；否则 r = − 1 。行为选择采用ε-贪婪策略，以概率ε选择 Q 值最大的行为，以概率 1 − ε 随机选择行为。贪婪因子ε初始值为0.9，随着迭代进行逐渐减小，以平衡探索与开发。

本文采用了“动作编码状态”简化策略，其核心思想是将智能体的行为选择本身作为状态标识，从而避免了传统Q学习中需要设计复杂状态离散化函数的麻烦。具体来说，算法初始化时为每个个体分配一个状态变量 X _ S t a t e ，其初始值全部设为1。在每一轮迭代中，个体首先根据自己当前的状态值查询Q表中对应的行，然后使用ε贪婪策略选择下一个要执行的动作。这个动作的编号直接决定了个体接下来的行为模式。并且，当动作执行完毕、环境反馈奖励之后，算法会将个体的状态直接更新为刚刚执行的动作编号，保证下一时刻的状态完全由当前时刻的动作选择所决定。

为避免Q表陷入局部最优，算法设计了Q表重置机制。当连续多代最优解没有改善时，以一定概率重置Q表的部分或全部行，重新探索行为选择策略。

为验证QLAB-PO算法的有效性，选取CEC2017测试函数上的30个标准测试函数进行实验。对比算法包括：原始PO算法[5]、粒子群优化算法(PSO) [2]、灰狼优化算法(GWO) [3]、鲸鱼优化算法(WOA) [4]和飞蛾扑火算法(MFO) [13]。

实验参数设置如下：种群规模 N = 30 ，最大判断次数 T = N × 10000 ，维度dim = 30。所有算法独立运行30次，记录最优值、最差值、平均值和标准差并进行比较分析。

为验证关键参数在不同取值下对算法性能的影响，本文通过对Q学习的关键参数进行敏感性分析，进行分析的参数为：贪婪值 g 、学习率 l r 和衰减率 d r ，分别设值如下： g ∈ { 0.1 , 0.9 , 1 } ， l r ∈ { 0.01 , 0.1 , 0.5 } ， d r ϵ { 0.01 , 0.25 , 0.5 } ，分别取单峰函数F3，多峰函数F12、F20以及混合函数F27，进行分别独立运行30次，将运行结果的每个函数进行Friedman排名，最后将排名结果相加，实验结果如图2所示。

Figure2. Convergence curve of QLAB-PO under 12 test functions

图2. QLAB-PO在12个测试函数下的收敛曲线

当贪婪值 g = 0.9 、学习率 l r = 0.1 和衰减率 d r = 0.25 时，算法在所选函数中排名最佳，所选参数具有一定合理性。

从表1中可以看出，QLAB-PO算法在大多数测试函数上均取得了较高的排名且在绝大多数函数上获得了最小平均值，特别是通过Wilcoxon秩与原来的PO算法相比其在所有测试函数上取得更好的结果，尤其在测试函数F23到F29均取得最优值，且观察到符号“+”和“≈”总的出现频率远远高于符号“−”，可见QLAB-PO算法的性能优势明显，表明其具有更强的全局搜索能力和逃离局部最优的能力，在绝大多数测试函数上均显著优于其他对比算法。实验结果的最优值、最差值、平均值和标准差见附录表A1。

Table1. Results of QLAB-PO compared with other algorithms under the CEC2017 test function

表1. QLAB-PO在CEC2017测试函数下与其他算法比较的结果数据

Figure3. Convergence curve of QLAB-PO under 12 test functions

图3. QLAB-PO在12个测试函数下的收敛曲线

图3显示了各算法在部分代表性测试函数上的收敛曲线。可以看出，QLAB-PO算法的收敛速度明显快于其他对比算法，且能够收敛到更优的解。尤其在F12函数中QLAB-PO能在前期跳出局部最优，快速向全局最优收敛。这得益于Q学习机制的自适应行为选择能力，使算法能够根据搜索状态动态调整搜索策略，使得在各种环境下在保证探索能力的同时加快收敛。