Zhuoran Z , Changqiang H , Hanqiao H , et al. An optimization method:hummingbirds optimization algorithm[J]. 系统工程与电子技术（英文版）, 2018, 29(2).
本文仅供自学和交流使用，未经允许请勿转载~谢谢Abstract:
本文介绍了一种优化算法 - 蜂鸟优化算法（HOA），其灵感来自于蜂鸟的觅食过程。所提出的算法包括两个阶段：自我搜索阶段和指导搜索阶段。通过这两个阶段，可以平衡算法的探索和开发能力。约束和非约束基准函数都用于测试HOA的性能。十个经典基准函数被视为无约束基准函数。同时，两个工程设计优化问题被用作约束基准函数。这些实验的结果表明HOA是有效的并且能够进行全局优化。
关键词：基于人口的算法，全局优化，蜂鸟优化算法（HOA），工程设计优化。
1. Introduction
优化问题在科学，经济学，工程学，化学和其他领域中很常见。然而，面对日益复杂的优化问题，尤其是具有许多局部最优点的高维问题，使用目标函数的推导来指导搜索的基于梯度的算法不再适用。
随机算法随机优化优化问题，没有实质的梯度信息。因此，它们比基于梯度的算法更适合于复杂的优化问题。近几十年来，随机算法取得了很大进展，逐渐取代了基于梯度的算法，成为用于优化计算的主流算法。
随机算法包括两种主要类型：基于个体的算法和基于群体的算法。基于个体的算法仅在整个优化过程中生成单个随机解决方案并进行更新。虽然算法具有较少的功能评估，但由于解决方案数量较少，算法缺乏个体之间的信息共享，这使得算法很容易陷入局部最优。相比之下，基于人口的算法随机创建多个解决方案，并在优化过程中改进它们。多种解决方案可以使基于人口的算法能够在不同的空间区域进行搜索，并且个人可以相互交换信息。因此，与基于个体的算法相比，基于群体的算法具有跳出局部最优的能力，代价是增加计算成本。
大多数基于人口的算法有四个基本特征：（i）它们是自然灵感的; （ii）他们使用随机变量; （iii）他们不需要大量的梯度信息; （iv）它们有几个需要调整的参数。根据灵感来源，基于人口的算法可以分为四类：进化，基于群体的智能，基于物理的算法和基于人类行为的算法。进化算法的灵感来自于自然界中生物的进化过程。最具代表性的算法是遗传算法（GA）[1];它基于达尔文的生物进化理论，其主要原则是适者生存。其他流行的算法有差异进化（DE）[2]，无性繁殖优化（ARO）[3]，物种共同进化算法（SCEA）[4]和猴王进化（MKE）[5]。
基于群体智能的算法受到自然界中生物群体行为的启发。最具代表性的算法是粒子群优化（PSO）[6]，它模拟了鸟类的植绒行为。其他流行的算法是布谷鸟搜索算法（CS）[7]，萤火虫算法（FA）[8]，蝙蝠算法（BA）[9]，灰狼优化器（GWO）[10]，蛾火焰优化算法（MFO） [11]，乌鸦搜索算法（CSA）[12]，认知行为优化算法（COA）[13]，抹香鲸算法（SWA）[14]，蚱蜢优化算法（GOA）[15]，以及缎面柏叶鸟优化器（ SBO）[16]。
基于物理的算法受到宇宙中物理规则的启发。最具代表性的算法是引力搜索算法（GSA）[17]，它致力于引力和质量相互作用的规律。其他流行的算法是基于星系的搜索算法（GbSA）[18]，动力学气体分子优化算法（KGMO）[19]，水蒸发优化（WEO）[20]和电子数据算法（ES）[21]。
基于人类行为的算法受到人类社会行为的启发。最具代表性的算法是基于教学的优化（TLBO）[22]，它模拟教师的教学行为和学生在课堂上的学习行为。其他流行的算法是和声搜索（HS）[23]，内部搜索算法（ISA）[24]，基于人类行为的优化（HBBO）[25]和人类心理搜索（HMS）[26]。
对于绝大多数基于人口的算法，如何更有效地平衡探索和利用是提高算法性能的关键。探索代表了基于人口的算法的全局搜索能力，并且它被用于通过用一些随机化方法搜索新区域来增强跳出局部最优的能力。同时，开发可以提高基于种群的算法的收敛速度，并应用于在当前最优解的附近找到更好的解。但是，这两种功能相互矛盾，没有人知道算法中两者的确切比例是否存在任何优化问题。现有的可行平衡策略可以分为三类：（i）全局搜索算法的初始阶段，稍后进行本地搜索。 （ii）更好的个人进行本地搜索，穷人进行全球搜索。 （iii）在算法中以一定概率随机切换全局搜索和局部搜索。
此外，几乎所有基于人口的算法都包含几个需要在运行之前调整的参数。例如，DE需要预先设置缩放和交叉因子。考虑速率，音调调整率和生成带宽，HS应考虑和声记忆的值。 PSO需要确定惯性权重，速度的最大值，认知因素和社会学习因素。对于不同的优化问题，算法通常需要设置不同的参数值。这是一项耗时的工作。因此，与具有多个控制参数的算法相比，具有更少参数的算法更容易实现并且更适应更广泛的优化问题。
尽管各种各样的新算法层出不穷，但无免费午餐定理[27]已经证明，没有一种算法可以解决所有优化问题。换句话说，如果算法对某些问题表现良好，那么对于其他问题，它将不可避免地表现不佳。因此，仍然存在许多需要通过新算法而不是当前优化技术来解决的特定优化问题。为此，提出了一种基于人口的算法蜂鸟优化算法（HOA）来解决优化问题。该算法的灵感来自蜂鸟的觅食过程。
本文的其余部分组织如下：HOA的数学模型在第2节中详细描述。第3节描述了实验设置并演示了实验结果。最后，第4节介绍了进一步工作的结论和建议。
2. HOA
2.1 Inspiration
蜂鸟是世界上最小的鸟类，其中大多数长7厘米至13厘米。这种独特的鸟只分布在美洲，绝大多数物种的栖息地位于热带和亚热带中美洲。蜂鸟可以以每小时45公里的速度飞行。它们可以以快速的翼展速率在半空中盘旋，其中最大物种的速度从大约12次/秒到最小的一些物种的超过80次[28]。蜂鸟需要依靠觅食来维持身体的高代谢，而他们的主要食物来自花蜜。图1显示了自然界中的蜂鸟。
在蜂鸟的觅食过程中有两个搜索阶段。首先是自我搜寻阶段。在这个阶段，蜂鸟可以根据其认知行为进行搜索，而无需与人群中的其他个体进行交互[29,30]。从本质上讲，认知行为是一种选择性搜索过程，它基于个人积累的搜索经验。例如，蜂鸟经常使用他们的经验进行有针对性的搜索，因此可以根据他们的形状或颜色预测花中的花蜜量。如果确定花蜜的数量充足，蜂鸟将进一步利用这朵花。然而，如果它们不充足，它们将很快留下一朵花并随机搜索下一个目标。当蜂鸟缺乏关于食物位置的明确信息时，这无疑是一种简单有效的搜索模型。
第二个是指导搜索阶段。除了搜索经验之外，蜂鸟还可以通过使用各种优势个体作为指导信息进行搜索。例如，在蜂鸟的领土行为中，在一个人占据丰富的食物来源作为其领土后，其他蜂鸟将迅速移动到该领土[31,32]。当这些新来的人被第一个人赶走时，他们将跟随其他杰出人士。这种模式的优点是帮助蜂鸟有一个清晰的搜索方向，避免盲目搜索。
受这两个搜索阶段的启发，我们提出了一种新的优化算法HOA，其详细信息将在下一节中介绍。
2.2 Proposed method description
如上所述，我们的HOA包括两个阶段：自我搜索阶段和指导搜索阶段。 HOA中的蜂鸟代表搜索者，他们的位置对应于优化问题的可行解。食物来源的质量是健身功能的价值，最佳食物来源是最佳解决方案。 HOA的初始化由以下公式完成：
其中
是第i种蜂鸟在种群中的位置（
，N是种群大小），
和
代表变量的上下界。搜索空间，分别。 rand是0到1之间的随机数，它在以下段落中具有相同的含义。
2.2.1 Self-searching phase
为了将认知行为转换为数学模型，我们将最后保留的算法解决方案视为当前搜索的体验。当蜂鸟我不断发现更好的食物来源（
）时，这意味着当前的搜索区域很有前途。
因此，蜂鸟将进一步利用该区域。蜂鸟的新位置可以通过以下公式获得：
其中
和
分别是迭代t和t-1的第i个蜂鸟的位置。如果它给出更好的函数值，则接受
，否则保持不变。
当蜂鸟
i连续搜索但未能找到更好的结果（
）时，这意味着蜂鸟将从经验中知道当前区域不值得继续开发。在这种情况下，蜂鸟会随机改变搜索方向。此程序基于Levy航班实施。 Levy飞行是一种重要的非高斯随机游走，其随机步长受重尾概率分布的影响[33]。由于方差的无限快速增长，这种飞行模式最重要的特征是它可以在不确定的环境中尽可能地搜索空间。与常规随机游走或布朗运动相比，征费飞行更有效。图2展示了两维中Levy飞行和布朗运动的1000步的运动轨迹。
如图2所示，我们可以观察到Levy飞行比布朗运动产生更大的跳跃，从而更广泛地探索搜索空间。因此，它更适合大规模搜索。
蜂鸟的新位置是通过执行Levy飞行产生的，如下所述：
其中
α是应该与感兴趣的问题的尺度相关的比例因子。
⊕是入门乘法。接受
，如果它给出更好的适应值。
根据
[7,34]，α和
Levy（β）可以表示为
其中
最好表示迭代
t的最佳解。
α0是常数。
μ和
υ选自正态分布
和
，
，
.这里，
是Gamma函数。在这项工作中，
α0等于
0.01，
β等于
1.5，如[7]中设定的
CS。
在自我搜索阶段，蜂鸟通常根据原始梯度信息进行学习，这可以加快算法的收敛速度。然而，当算法可能落入局部最优时，蜂鸟在搜索空间中通过Levy飞行进行广泛搜索，这可以增强算法的全局搜索能力。
2.2.2 Guide-searching phase
在这个阶段，蜂鸟通过地域行为在环境中搜寻。目前在HOA中占据领土的最佳个体被称为领土鸟。其他人被称为跟随鸟类。领土的位置与当前最佳个体的位置相同。占领领土后，领土鸟类不断在其领土内巡逻。这个过程可以描述如下：
其中
是第t次迭代中领地鸟的位置。
是介于
-1和1之间的随机值，可以调整个体的搜索方向。
λ是一个比例因子，使领地鸟在其当前位置周围略微移动。这里，
λ设定为
0.1*（ub-lb）。如果
的适应值优于
，则
将代替
.等式（5）旨在向最佳个体添加轻微扰动，允许其在其邻域内执行精细搜索。这种方法可以帮助最佳个体跳出局部最优，从而避免算法演化的停滞。
与领土鸟类不同，下列鸟类的运动分为两种状态。
State1:领土鸟没有找到接近的鸟j。在这种情况下，下面的鸟j将移动到领土鸟。其新职位更新如下：
其中
是第
t次迭代后第
j个跟随鸟的位置。
MF是一个突变因子，可以决定是否要改变下一只鸟的位置。该因子的值是1或2，这也是由等概率随机选择的启发式步骤，因为
。随着人口逐渐收敛于搜索空间，
将接近
。在收敛的后期，假设
，则（6）可以转换成以下形式：
从（7）可以发现，当
MF = 1时，
将总是
。同时，（8）表明群体仍然是探索性的并且允许探索远离空间收敛的解。基于以上分析，
MF可以有效地平衡算法的局部搜索能力和全局搜索能力。
State 2:领土鸟发现下面的
j鸟接近自己并发出警告。以下
j鸟受到惊吓并飞往周围地区。在此过程中，从其他鸟类中随机选择个体。如果所选择的个体具有更好的位置，则下面的
j鸟朝向它飞行。但是，如果所选个人的位置较差，最好远离该个人。该过程由以下公式描述：
结合这两种状态，下列鸟类的运动模式可描述如下：
其中
表示领土鸟类发现下列鸟类的概率。在这项工作中，
确定如下：
其中
是
的适应值，并且等级
是在群体中的其他鸟类中跟随鸟j的等级。
强调个体越好，这个概率就越高。它使优秀的个体能够以更大的概率追随最优秀的个体，而穷人则更有可能追随随机选择的个体。从优化的角度出发，该算法利用当前最优的个体来指导人口，可以迅速缩小搜索空间，提高人口的开发能力。随机选择的个体用作指导信息以增强算法的全局搜索能力。总的来说，引导搜索阶段可以吸收来自不同个体的信息，从而可以更好地平衡算法的开发和探索能力，这使得该算法更适合于找到优化问题的解。
为了避免陷入局部最优，在搜索过程中引入了角色转换机制：如果下一只鸟发现的区域比目前被其他鸟类和领地鸟类占据的区域更好，它将被转换为新领域的鸟类，原始领域的鸟类将在下一次迭代中转化为下一只鸟。
此外，HOA中的个人可能会搜索超出边界的人。因此，我们添加了边界控制策略，其具体过程如下：
其中
是第
t次迭代时第
i个解的第
d维。总之，HOA的伪代码可以如
算法1中那样给出。
3. Experimental study
总共使用了十个经典基准函数和两个众所周知的工程设计优化问题来整体评估HOA的性能。所有实验均在MATLAB 2016a软件中进行，模拟在具有16 GB RAM的Core（TM）i7-6700HQ 2.60 GHz上运行。
3.1 Experiment I: unconstrained benchmarks
在本节中，使用[35]中给出的十个不同的基准函数来评估HOA的性能，并将它们的结果与两组中的11个算法的结果进行比较。在第一组中，使用了已经应用于许多领域的三种经典算法和主流算法，即PSO [36]，人工鱼群算法（AFSA）[37]，人工蜂群（ABC）算法[38]。在第二组中，最近的文献中提出了八种最先进的算法：CS [7]，GSA [18]，FA [8]，GWO [10]，MFO [11]，CSA [12] ]，采用正弦余弦算法（SCA）[39]和SBO [16]。基准函数包括两个类别：单峰
和多峰
。表1总结了十个基准的详细信息。对于
，最大功能评估数（MaxFE）设置为100000。每个算法独立地执行30次测试功能。
首先，我们将HOA与第一组中的主流算法进行比较。为了公平比较，为了比较每个测试函数在相同最大迭代次数下的所有算法，HOA的种群大小设置为50，因为它有两个阶段，其他算法的种群大小设置为100，因为包含一个阶段。本测试中比较算法的控制参数设置详述如下：
(i) PSO: 显示了使用HOA和三个比较算法在单峰函数
上获得的优化结果，其中“最佳”，“最差”，“平均值”和“SD”分别表示最佳，最差和平均适应值与标准偏差。此外，算法按照从小到大的平均解决方案进行排序，并且使用粗体字体突出显示每个函数的最佳结果。最后，为了直观地展示三种算法的性能，我们在
表2中添加了平均等级和总体等级。根据
表2，可以观察到我们的HOA在比较算法和收敛曲线中具有最佳结果。如
图3所示，HOA具有最快的收敛速度
。 所有算法的多峰函数
得到的比较结果总结在
表3中。与单峰函数不同，多模函数包括许多局部最小值，其数量随着问题规模的增加呈指数增长。因此，这些功能可能会破坏优化器的探索能力。从
表3中，我们可以发现HOA在函数上优于其他算法
，并且仅在
中丢失。对于
，ABC表现出最佳性能，而HOA表现出第二好的性能。从
表3的最后一行开始，HOA在所有算法中排名第一。作为
图4所示的所有算法的收敛曲线，HOA在收敛速度方面呈现出有希望的性能。
为了进一步测试算法的性能，将HOA与第二组高级算法进行比较。为了确保比较的公平性，HOA和CS的人口规模设定为50，因为它们分为两个阶段。对于其余算法，总体大小等于100，因为它们只有一个阶段。 HOA不需要特定的控制参数，表4中描述了所有比较算法的控制参数设置。
提供了九种单峰函数算法
的统计结果。从
表5中，我们可以观察到HOA可以比
的其他伴随算法获得更好的结果，并且仅对
更差。
表5的最后一行显示HOA在所有算法中排名第一。 GWO与
相比具有良好的性能，与其他算法相比排名第二。
图5中给出的收敛速度和方差分析（ANOVA）测试的图形结果表明，HOA在收敛速度和解决方案质量方面优于其竞争对手。
Fig. 5 Convergence curve and ANOVA test of four unimodal functions
所有考虑的多模函数算法
得到的优化结果列于
表6.如
表6所示，HOA优于
的其他8种算法，但其性能并不优于
和
。在其他细节中，对于
，GWO可以获得与HOA相同的优异结果，并且MFO显示出
和
的最佳性能。根据总体排名，HOA在多模态功能方面排名第一，这意味着HOA具有出色的探索能力。 GWO和MFO分别排名第二和第三，CS在九种算法中表现最差。
图6描述了HOA的图形结果和四种所选功能的其他算法，并表明我们的HOA具有更好的收敛速度和准确性。
Fig. 6 Convergence curve and ANOVA test of four multimodal functions for different algorithms
表7显示了Wilcoxon符号秩检验[40]的统计结果，其中10个函数的显着性水平为95％。作为非参数检验，Wilcoxon签名等级可以检测HOA与每个比较算法之间是否存在显着差异。在
表6和
表7中，“
+”表示HOA明显优于其他算法，“
-”表示相反。
“≈”表示HOA与竞争对手没有显着差异。 “
R +”表示HOA超过相应竞争者的等级的总和，“
R -”表示相反的等级的总和。根据
表5和
表6的“
+ /≈/ -”结果，我们可以清楚地看到HOA比其他算法获得更多的“
+”，这意味着与竞争对手相比，
HOA表现出统计上优异的性能在威尔科克森签署的排名测试。
通常，由于充分利用其自身的梯度信息和全局最优个体信息，HOA在收敛速度方面比其他算法更快，这有效地提高了算法的局部开发能力。此外，HOA在搜索准确性方面也有其自身的优势。其主要原因是HOA包含两种随机搜索策略：
Levy飞行策略和
随机逃逸策略，增强了算法的探索能力。同时，我们可以注意到CS，FA，AFSA在上述方法中表现不佳。这是因为CS算法的变异是单一的，并且FA和AFSA算法的控制参数更难以调整。因此，多种变异方法和最小控制参数的组合可能是未来优化算法研究的重点。
3.1.1 Search behavior analysis of HOA
为了研究自我搜索阶段和指导搜索阶段的影响，在本节中，将所提出的算法与两种不同的算法进行比较：
（i）没有自我搜索阶段的HOA（表示为HOA-S）和（ii）没有指导搜索阶段的HOA（表示为HOA-G）。此外，两个测试算法的总体设置为100，因为它们中的每一个只有一个阶段。这两种算法和标准HOA由上述经典基准函数中的六种典型函数进行测试。所有算法的30次运行的统计结果如
表8所示，四种函数的每种算法的收敛速度如
图7所示。
根据表8和图6，我们可以很容易地得出几个重要结论：首先，HOA在准确性和收敛速度方面优于HOA-S和HOA-G，这意味着自我搜索阶段和指南的共存 - 研究阶段非常重要。
其次，HOA-G的性能是所有算法中最差的，这表明指导搜索阶段对HOA的性能影响最大。最后，虽然自搜索阶段对算法的影响远小于指导搜索阶段，但前者对HOA的性能也有重要影响。通常，两个阶段在不同程度上影响算法的最终优化结果。当两个阶段共存时，该算法更好地解决了优化问题。因此，每种行为对于HOA都是必不可少的。
3.1.2 Computational complexity of the HOA
我们的HOA的计算复杂度依赖于种群大小
N，问题
D的维度，最大迭代次数
T以及每次迭代中后续鸟类的排序机制。在一次迭代期间，所有个体的时间复杂度更新并且在HOA的自我搜索阶段中的边界控制策略是
。另外，在HOA的引导搜索阶段，领域鸟类更新和边界控制策略的时间复杂度为
;概率
的时间复杂度为
;以下鸟类更新和边界控制策略的时间复杂度为
。基于上述分析，HOA的总体计算复杂度定义如下：
。 （12）表9列出了HOA的计算复杂度与我们实验中的几种代表性算法的比较。从表9中可以看出，CSA的计算复杂度最小，其次是PSO和CS。尽管HOA排名第五，但它比ABC和GSA更好。然而，基于十个基准的有希望的性能，HOA的计算复杂性是可接受的。
3.2 Experiment II: engineering design problems
选择两个着名的工程设计优化问题，三杆桁架设计问题和焊接梁设计问题作为约束函数，以进一步检验HOA的性能。惩罚函数用作约束处理机制，因为它们是最简单的并且具有最低的计算成本。 HOA的种群大小设置为50，并且在30个独立的运行中获得每个工程问题的HOA的统计结果。
3.2.1 Three-bar truss design problem
三杆桁架设计问题是实际工程应用中着名的结构设计问题，常用于评估不同算法的性能。设计问题的一些组成部分的图示说明如图8所示。有两个结构变量，即横截面积（
）。该问题旨在获得最小的重量，但它还需要受到若干约束，例如应力，偏转和屈曲约束。问题的表述如下：
表10显示了通过HOA和几种先前方法获得的最佳优化结果的比较。到目前为止，这个问题已经被许多优化算法处理，包括：社会和文明（SC）[41]，混合进化算法和自适应约束处理技术（HEA-ACT）[42]，DE与动态随机选择（DEDS）[43]，PSODE [44]，CS [45]，矿井爆炸算法（MBA）[46]和CSA [12]。表11中显示了HOA和上述优化器的统计结果的比较。从表11可以看出，最好的结果是2.638958433764684E + 02，只有13000个函数演化（FE），这是所有方法中最低的。特别地，对于均值或标准偏差，即使是具有20 000个FE的HOA的最差值在所有算法中也是最小的，这表明HOA比其他报告的优化器更稳健。
3.2.2 Welded beam design problem
如图9所示，该问题包括四个变量：焊缝h的设计厚度，夹紧杆1的长度，杆t的高度和杆b的厚度。该优化过程的主要目的是获得焊接梁的最小成本，其受到诸如焊接应力，屈曲载荷，梁偏转和梁弯曲应力的约束。这个问题可以解释如下：
表12比较了HOA和其他已发表的工作给出的最佳设计结果。在文献中有很多优化方法来解决这个问题，如共同进化PSO（CPSO）[47]，混合PSO（HPSO）[48]，共同进化DE（CDE）[49]，FA [50]，GA [ 51]，文化算法与进化规划（CAEP）[52]，水循环算法（WCA）[53]，ABC [54]，MBA [46]，ISA [24]，以及改进的全球最佳引导PSO（IGPSO） ）[55]。使用上述优化器和HOA的统计结果显示在表13中。从表13中可以看出，就最佳解决方案和功能评估的数量而言，HOA显然优于公开的方法。最佳总成本为1.724 852 308 597 365，HOA获得10万FE。此外，HOA的平均值是最好的，并且其SD优于其他算法，除了MBA，这意味着我们的HOA与其他比较方法相当具有竞争力。
4. Conclusions
随着社会的发展，研究解决复杂优化问题的新优化算法已成为研究的热点。基于蜂鸟在觅食过程中的搜索行为，本文提出了一种HOA。所提出的算法可以分为两个阶段：自我搜索阶段和指导搜索阶段。自我搜索阶段主要模拟蜂鸟的认知行为。一方面，HOA使用梯度信息进行有针对性的搜索，以提高搜索效率。另一方面，它使用Levy飞行进行随机搜索以跳出局部最优。指导搜索阶段模仿蜂鸟的领土行为。在这个阶段，HOA使用最优和随机个体作为指导信息，有效地平衡了开发和探索能力。通过这两个搜索阶段的协同操作，获得最终解决方案。
对于实验研究，选择十个经典基准函数来测试HOA的性能。结果证明HOA优于其他经典和最先进的算法。此外，两个工程设计优化问题，三杆桁架设计问题和焊接梁设计问题，被用作评估HOA性能的约束问题。结果表明，HOA可以在许多已发布的算法中实现最佳性能。因此，我们的HOA很可能成为一种新的优化工具，可以取代现有的优化方法。
未来的工作可以在以下方面进行扩展：首先，HOA的二元和多目标版本值得研究。其次，HOA可以与其他优化算法混合以改善其性能。最后，研究HOA在图像处理，逆地球物理问题，经济统计设计和石油生产优化等领域的应用具有实际意义。
References
[1] HOLLAND J. Genetic algorithms. Scientific American, 1992, 267(1): 66 – 72.
[2] STORN R, PRICE K. Differential evolution — a simple and efficient heuristic for global optimization over continuous spaces. Journal of Global Optimization, 1997, 11(4): 341 – 359.
[3] FARASAT A, MENHAJ M B, MANSOURI T, et al. ARO: a new model-free optimization algorithm inspired from asexual reproduction. Applied Soft Computing, 2010, 10(4): 1284 – 1292.
[4] LI W, WANG L, CAI X, et al. Species co-evolutionary algorithm: a novel evolutionary algorithm based on the ecology and environments for optimization. Neural Computing & Applications, 2015: 1 – 10.
[5] PAN J S, MENG Z, CHU S C, et al. Monkey king evolution: an enhanced ebb-tide-fish algorithm for global optimization and its application in vehicle navigation under wireless sensor network environment. Telecommunications Systems, 2017, 65(3): 1 – 14.
[6] EBERHART R C, KENNEDY J. A new optimizer using particles swarm theory. Proc. of the 6th International Symposium on Micro Machine and Human Science, 1995: 39 – 43.
[7] YANG X S, DEB S. Cuckoo search via L´evy flights. Proc. of the World Congress on Nature & Biologically Inspired Computing, 2009: 210 – 214.
[8] YANG X S. Firefly algorithm, stochastic test functions and design optimization. International Journal of Bio-Inspired Computation, 2010, 2(2): 78 – 84.
[9] YANG X S, GANDOMI A H. Bat algorithm: a novel approach for global engineering optimization. Engineering Computations, 2012, 29(5): 464 – 483.
[10] MIRJALILI S, MIRJALILI S M, LEWIS A. Grey wolf optimizer. Advances in Engineering Software, 2014, 69(3): 46 – 61.
[11] MIRJALILI S. Moth-flame optimization algorithm: a novel nature-inspired heuristic paradigm. Knowledge-Based Systems, 2015, 89: 228 – 249.
[12] ASKARZADEH A. A novel metaheuristic method for solving constrained engineering optimization problems: crow search algorithm. Computers & Structures, 2016, 169: 1 – 12.
[13] LI M, ZHAO H, WENG X, et al. Cognitive behavior optimization algorithm for solving optimization problems. Applied Soft Computing, 2016, 39(C): 199 – 222.
[14] EBRAHIMI A, KHAMEHCHI E. Sperm whale algorithm: An effective metaheuristic algorithm for production optimization problems. Journal of Natural Gas Science & Engineering, 2016, 29: 211 – 222.
[15] SAREMI S, MIRJALILI S, LEWIS A. Grasshopper optimization algorithm: theory and application. Advances in Engineering Software, 2017, 105: 30 – 47.
[16] MOOSAVI S H S, BARDSIRI V K. Satin bowerbird optimizer: a new optimization algorithm to optimize ANFIS for software development effort estimation. Engineering Applications of Artificial Intelligence, 2017, 60: 1 – 15.
[17] RASHEDI E, NEZAMABADI-POUR H, SARYAZDI S. GSA: a gravitational search algorithm. Intelligent Information Management, 2009, 4(6): 390 – 395.
[18] SHAH-HOSSEINI H. Principal components analysis by the galaxy-based search algorithm: a novel metaheuristic for continuous optimization. International Journal of Computational Science and Engineering, 2011, 6: 132 – 140.
[19] MOEIN S, LOGESWARAN R. KGMO: a swarm optimization algorithm based on the kinetic energy of gas molecules. Information Sciences, 2014, 275(3): 127 – 144.
[20] KAVEH A, BAKHSHPOORI T. Water evaporation optimization: a novel physically inspired optimization algorithm. Computers & Structures, 2016, 167: 69 – 85.
[21] TABARI A, AHMAD A. A new optimization method: electrosearch algorithm. Computers & Chemical Engineering, 2017, 103: 1 – 11.
[22] RAO R V, SAVSANI V J, VAKHARIA D P. Teachinglearning-based optimization: an optimization method for continuous non-linear large scale problems. Information Sciences, 2012, 183(1): 1 – 15.
[23] ZONG W G, KIM J H, LOGANATHAN G V. A new heuristic optimization algorithm: harmony search. Simulation Transactions of the Society for Modeling & Simulation International, 2001, 76(2): 60 – 68.
[24] GANDOMI A H. Interior search algorithm (ISA): a novel approach for global optimization. ISA Transactions, 2014, 53(4): 1168 – 1183.
[25] AHMADI S A. Human behavior-based optimization: a novel metaheuristic approach to solve complex optimization problems. Neural Computing & Applications, 2016: 1 – 12.
[26] MOUSAVIRAD S J, EBRAHIMPOUR-KOMLEH H. Human mental search: a new population-based metaheuristic optimization algorithm. Applied Intelligence, 2017, 3: 1 – 38.
[27] WOLPERT D H, MACREADY W G. No free lunch theorems for optimization. IEEE Trans. on Evolutionary Computation, 1997, 1(1): 67 – 82.
[28] CLARK C J, DUDLEY R. Flight costs of long, sexually selected tails in hummingbirds. Proceedings Biological Sciences, 2009, 276(1664): 2109.
[29] HEALY S D, HURLY T A. Cognitive ecology: foraging in hummingbirds as a model system. Advances in the Study of Behavior, 2003, 32(3): 325 – 359.
[30] GONZALEZG ´ OMEZ P L, V ´ ASQUEZ R A, BOZINOVIC F. ´ Flexibility of foraging behavior in hummingbirds: the role of energy constraints and cognitive abilities. Auk, 2011, 128(1): 36 – 42.
[31] EWALD P W, BRANSFIELD R J. Territory quality and territorial behavior in two sympatric species of hummingbirds. Behavioral Ecology & Sociobiology, 1987, 20(4): 285 – 293.
[32] GONZALEZG ´ OMEZ P L, RICOTEMARTINEZ N, RAZE- ´ TOBARRY P, et al. Thermoregulatory cost affects territorial behavior in hummingbirds: a model and its application. Behavioral Ecology & Sociobiology, 2011, 65(11): 2141 – 2148.
[33] PAVLYUKEVICH I. L´evy flights, non-local search and simulated annealing. Journal of Computational Physics, 2007, 226(2): 1830 – 1844.
[34] MANTEGNA R N. Fast, accurate algorithm for numerical simulation of L´evy stable stochastic processes. Physical Review E: Statistical Physics Plasmas Fluids & Related Interdisciplinary Topics, 1994, 49(5): 4677 – 4683.
[35] LI M, ZHAO H, WENG X, et al. Artificial bee colony algorithm with comprehensive search mechanism for numerical optimization. Journal of Systems Engineering and Electronics, 2015, 26(3): 603 – 617.
[36] SHI Y, EBERHART R. A modified particle swarm optimizer. Proc. of the IEEE International Conference on Evolutionary Computation, 1998: 69 – 73.
[37] LI L X, SHAO Z J, QIAN J X. An optimizing method based on autonomous animals: fish-swarm algorithm. Systems Engineering — Theory & Practice, 2002, 22(11): 32 – 38.
[38] KARABOGA D, BASTURK B. A powerful and efficient algo- 404 Journal of Systems Engineering and Electronics Vol. 29, No. 2, April 2018 rithm for numerical function optimization: artificial bee colony (ABC) algorithm. Journal of Global Optimization, 2007, 39: 459 – 471.
[39] MIRJALILI S. SCA: a sine cosine algorithm for solving optimization problems. Knowledge-Based Systems, 2016, 96: 120 – 133.
[40] DERRAC J, GARC´IA S, MOLINA D, et al. A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms. Swarm & Evolutionary Computation, 2011, 1(1): 3 – 18.
[41] RAY T, LIEW K M. Society and civilization: an optimization algorithm based on the simulation of social behavior. IEEE Trans. on Evolutionary Computation, 2003, 7(4): 386 – 396.
[42] WANG Y, CAI Z, ZHOU Y, et al. Constrained optimization based on hybrid evolutionary algorithm and adaptive constraint-handling technique. Structural & Multidisciplinary Optimization, 2009, 37(4): 395 – 413.
[43] ZHANG M, LUO W, WANG X. Differential evolution with dynamic stochastic selection for constrained optimization. Information Sciences, 2008, 178(15): 3043 – 3074.
[44] LIN G H, ZHANG J, LIU Z H. Hybrid particle swarm optimization with differential evolution for numerical and engineering optimization. Applied Soft Computing, 2010, 10(2): 1 – 12.
[45] GANDOMI A H, YANG X S, ALAVI A H. Erratum to: Cuckoo search algorithm: a metaheuristic approach to solve structural optimization problems. Engineering with Computers, 2013, 29(2): 245 – 245.
[46] SADOLLAH A, BAHREININEJAD A, ESKANDAR H, et al. Mine blast algorithm: a new population based algorithm for solving constrained engineering optimization problems. Applied Soft Computing, 2013, 13(5): 2592 – 2612.
[47] KROHLING R A, COELHO L D S. Coevolutionary particle swarm optimization using Gaussian distribution for solving constrained optimization problems. IEEE Trans. on Systems Man & Cybernetics Part B: Cybernetics, 2006, 36(6): 1407.
[48] HE Q, WANG L. A hybrid particle swarm optimization with a feasibility-based rule for constrained optimization. Applied Mathematics & Computation, 2007, 186(2): 1407 – 1422.
[49] HUANG F, WANG L, HE Q. An effective co-evolutionary differential evolution for constrained optimization. Applied Mathematics & Computation, 2007, 186(1): 340 – 356.
[50] GANDOMI A H, YANG X S, ALAVI A H. Mixed variable structural optimization using firefly algorithm. Computers & Structures, 2011, 89(23/24): 2325 – 2336. [51] COELLO C A C. Use of a self-adaptive penalty approach for engineering optimization problems. Computers in Industry, 2000, 41(2): 113 – 127.
[52] COELLO C A C, BECERRA R L. Efficient evolutionary optimization through the use of a cultural algorithm. Engineering Optimization, 2004, 36(2): 219 – 236.
[53] ESKANDAR H, SADOLLAH A, BAHREININEJAD A, et al. Water cycle algorithm — a novel metaheuristic optimization method for solving constrained engineering optimization problems. Computers & Structures, 2012, 110/111(10): 151 – 166.
[54] AKAY B, KARABOGA D. Artificial bee colony algorithm for large-scale problems and engineering design optimization. Journal of Intelligent Manufacturing, 2012, 23(4): 1001 – 1014.
[55] OUYANG H B, GAO L Q, LI S, et al. Improved global-bestguided particle swarm optimization with learning operation for global optimization problems. Applied Soft Computing, 2017, 52(C): 987 – 1008.