皮皮网

1.NAS 学习笔记（十三）- NASP

NAS 学习笔记（十三）- NASP

       NASP：神经架构搜索算法的革新探索

       在探索神经架构搜索(NAS)的无限可能时，我们来到了一篇引人入胜的论文[1]——《通过近端迭代优化的高效神经架构搜索》。本文将聚焦于其中的创新算法NASP，这个在年AAAI会议上发表的杰出之作，旨在解决DARTS[2]的一些关键问题。让我们一同深入理解这个算法如何以独特的架构图源码方式改进了搜索效率和模型性能。

       挑战与突破：DARTS的缺陷与NASP的应对

       DARTS在搜索过程中面临的主要挑战在于其效率问题。首先，由于使用softmax，网络中所有操作都需要进行前向传播和反向传播，这导致计算成本高昂，且涉及复杂的二阶导数计算。其次，开放源码库架构性能上，softmax产生的概率分布可能导致操作之间的相关性模糊，难以确定性能差异。此外，DARTS在模型复杂度控制上也显得力不从心。

       NASP正是代币交易所 源码针对这些问题，提出了一种创新的解决方案。它引入了近端梯度算法(Proximal Algorithm，PA)，并通过PA的变种——懒惰近端步骤，巧妙地解决了搜索空间的离散化限制。

       NASP的0的源码和补码核心技术

       2.1 Proximal Algorithm (PA)：NASP作为首个在NAS领域应用PA的尝试，其关键步骤包括迭代优化。通过PA，NASP能够有效地处理离散限制，使其在保持搜索空间可微分的同时，训练模型时保持架构的离散性。

       2.2 Search Objective：NASP的图片兴趣分享网站源码独特之处在于它在搜索时保持搜索空间连续，但在训练阶段将架构转换为离散，通过argmax选取每个边上的最优操作。通过正则化项，NASP可以有效控制模型的复杂度，确保搜索到的架构更小、更精简。

       加速搜索过程：NASP算法的创新

       NASP算法的核心在于其搜索算法的革新。传统的PA方法仍然面临计算二阶梯度的挑战，而NASP通过发现离散架构的稳定性，巧妙地跳过了这一过程。作者提出的伪代码展示了这一创新，使得搜索过程更为高效，甚至比最先进的方法快倍以上。

       总结与启示

       阅读NASP，我们不仅看到了离散与连续架构转换的巧妙应用，还领略了PA算法在NAS领域的独特创新。尽管作者开源的源码中大部分基于DARTS，但NASP的实现无疑是对基础框架的一次拓展。它不仅提升了搜索效率，还在模型性能和复杂度控制上实现了显著改进。NASP的故事提醒我们，创新总是在解决现有问题的过程中诞生。

       参考文献：

       Q. Yao, X. Chen, J. T. Kwok, Y. Li, and C.-J. Hsieh. "Efficient Neural Interaction Function Search for Collaborative Filtering." In Proceedings of The Web Conference , , pp. -.

       Q. Yao, J. Xu, W.-W. Tu, and Z. Zhu. "Efficient Neural Architecture Search via Proximal Iterations." .