专家视点

机器学习在超快光子学领域的应用越来越广泛。针对基于饱和吸收体的超快光纤激光器的自动锁模问题，Yan等人提出并实现了一种 基于深度 确定性策略梯度的低延迟深度强化学习算法。该算法包括两个提供腔内激光偏振态修正策略的actor神经网络和两个评估actor网络效果的critic神经网络。 actor神经网络的作用是根据状态选择适当的动作。 critic神经网络的目的是评估执行的动作对系统的影响。 将深度强化学习算法和低延迟算法与基于可饱和吸收体的超快光纤激光器相结合，构成自动锁模控制系统。 在算法与环境的交互过程中，为了保证环境状态的稳定，需要经历一个必要的时延， 原因是在更新电偏振控制器的偏振状态后，超快光纤激光器的状态需要一段时间才能变得稳定。进一步地，为了保证其有效性和鲁棒性，研究人员提出了两个实验。在有效性方面，一个实验验证了训练后网络模型的性能，将其应用于在环境振动下恢复锁模状态，模拟了超快光纤激光器快速失去锁模状态的情况。至于鲁棒性，另一个实验首先用不同温度下的超快光纤激光器建立数据库。然后，研究人员对模型进行训练并测试其性能。 实验发现，该算法在振动后最快的基本锁模恢复时间为0.472 s，平均恢复时间为1.948 s。 与以往提出的偏振控制算法相比，该算法可以一步实现大规模的偏振态调整，从而优化初始偏振态远离理想偏振态的解。 在不同温度下，训练后的网络模型也能在短时间内恢复超快光纤激光器的锁模状态。 这是具有低延迟算法的深度强化学习算法在平均锁模恢复时间上比类人算法快的主要原因。此外，在计算机上部署了具有低延迟算法的深度强化学习算法，这意味着系统可以实现远程自动锁模控制，表明该系统能够实现远程维护和监控。最后，一台计算机可以同时控制多个激光系统，对串级系统的调试和控制具有重要意义。 因此，这项研究实现了远程算法训练和自动锁模控制，为超快光纤激光器的远程维护和集中控制奠定了基础。该工作发表在 Photonics Research 上。

Qiu-Quan Yan, Qing-Hui Deng, Jun Zhang, Ying Zhu, Ke Yin, Teng Li, Dan Wu and Tian Jiang, Low-latency deep-reinforcement learning algorithm for ultrafast fiber lasers, Photonics Research 9(8): 1493-1501 (2021).

计算机领域研究的人工智能算法在医学、金融和光学等许多其他领域发挥了巨大作用。人工智能的应用主要包括反馈控制、模式识别、大数据分析、特征提取和降噪。作为人工智能领域的一个重要分支，深度强化学习以其感知和决策能力为复杂系统的反馈控制问题提供了一种解决方案。因此，它被广泛应用于自动驾驶和工业自动化等领域的反馈控制。当深度强化学习在不同的环境中应用时，策略是不同的。因此，出现了大量的基于强化学习的算法，如马尔可夫决策过程、动态规划、蒙特卡罗方法、时态差分、SARSA、深度