NAS和AutoML
毕设背景调研之autoML
AutoML
之前有了解过神经网络结构搜索(Network Architecture Search)的概念，即用强化学习、进化算法等方法自动搜索有效的神经网络结构，比如像MobileNetV3, EfficientNet等结构都不是人工设计的，而是搜索的结果。
那么什么又是AutoML呢？AutoML和NAS又有什么关系呢？
一篇MIT做的使用强化学习搜索神经网络量化策略的论文中，关于AutoML中的相关研究是如下总结的：首先提了以下最早使用NAS的列子，然后列举了几个NAS的改进方法。然后说由于受到这些AutoML框架的启发，某某使用了强化学习来自动对卷积层通道进行剪枝。最后说自己也是进一步将AutoML思想运用于自动搜索量化策略上。
整体看下来，个人感觉AutoML就是指通过非人工的方法来对神经网络进行设计，其包括网络结构搜索，也包括如自动对模型进行剪枝、量化等压缩，所以NAS算是属于AutoML中的一部分内容。AutoML其他常用方法还包括自动调参，自动数据增强等等。归根结底，只有不是人工参与的就可以归类为AutoML。
NAS on Transformer
使用NAS搜索Transformer结构
来自论文The Evolved Transformer，其使用了一个进化算法来搜索Transformer的结构
具体内容下次在看8