From：Google  编译：T.R

随着摩尔定律的放缓，人们逐渐将目光转向到基于专用架构的硬件加速器上，以继续提升各类应用的计算性能，特别对于机器学习和深度学习来说，针对神经网络等架构开发特定的加速芯片架构变得至关重要。

但放眼数据中心和边缘设备上，很少有网络模型针对硬件进行个性化的改造以释放硬件的最大计算能力。为了充分利用硬件特别是专用芯片的算力，来自谷歌的研究人员通过改造EfficientNet在Edge TPU(ET)上取得可以与数据中心大型机相比拟的性能表现。模型的定制化改造使得Coral开发板和USB加速器的性能可以充分发挥，为机器学习软硬协同的高性能开发给出了新的可能。

基于AutoML为边缘计算TPU定制化高效网络模型

EfficientNet是谷歌在ICML2019中提出的新型模型架构，可以在保持优异精度表现的同时大幅度减小模型大小和计算复杂度。

为了充分利用ET加速架构的计算性能，研究人员引入了自动机器学习架构MNAS并利用ET中高效的执行模块增强了搜索空间。此外研究人员还构建了延迟预测器模块，通过运行循环架构模拟器来估计ET上执行模型的延迟时间。MNAS控制器中利用强化学习算法来进行空间搜索，而此时的奖励函数由模型的精度和延迟共同构成。先前的研究表明，模型大小和设备内存相适应可以发挥出更强的性能，所以将模型大小与内存的适配也集成到了搜索的奖励函数中。

下图显示了AutoML进行模型搜索的算法框架。

搜索空间设计

但在进行空间搜索时，必须考虑到原始版的EfficientNet主要是由深度可分离卷积构成的，这种模块可以分解通常的卷积模块以减小模型参数的操作。对于确定的配置，常规卷积虽然需要消耗更多的计算操作，但在ET架构中运行要更为高效和迅速。

在进行自动机器学习时针对这样的特点对搜索空间进行了有效的优化：

此外，研究人员还从搜索空间中移除了一些操作。例如swish非线性和序列激活模块这些操作在ET中已经有了充分高效的实现和支持，移除这些操作将使算法可以聚焦于搜索更为有效的的潜在架构模式。

模型性能

基于上面的搜索和改造，研究人员实现了第一个基准模型EfficientNet-EdgeTPU-S，以及混合尺度实现了-M 和-L模型。复杂尺度通过结合输入图像的分辨率、模型宽度和深度来构建更大更精确的模型。

由下图可见M和L模型在一定延迟的代价下实现了更高的精度：

与Efficient基准模型B1相比，在边缘设备上实现的S,M,L模具有更高的精度。相比于Inception和ResNet50也有很大的提升，几乎比ResNet快了十倍。

研究人员还发现了一个有趣的现象，在模型的初始阶段，常规卷积在加速器上的执行要比深度可分离卷积更为有效，这意味着通用计算的优化模型(例如减少操作总量)对于专用计算的硬件加速已不再是必需。模型在无需特别复杂的操作下就能实现很高的精度，与其他分类模型相比针对TPU定制的EfficientNet-EdgeTPU 模型更为高效高速。

这一工作证明了利用AutoML针对加速器优化构建的模型的方法，基于AutoML的定制化方法可以被拓展到多种硬件加速器和基于神经网络的应用中去。

从云端训练到边缘部署

研究人员在Github上发布了这一模型的预训练模型，可以在这里找到：

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/edgetpu

在部署过程中，首先使用了tensorflow后处理工具将模型由浮点数量化为整数，在量化过程中精度仅仅损失了0.5%。如果想要学习模型量化和导出过程，可以从上面的代码里进行学习。

模型量化过程

如果想要了解更多边缘计算的能力细节可以参看下面的链接了解详细信息：

https://developers.googleblog.com/2019/08/coral-summer-updates-post-training.html
https://coral.withgoogle.com/docs/edgetpu/models-intro/

ref：
coral：https://coral.withgoogle.com/
nona：https://developer.nvidia.com/embedded/jetson-nano-developer-kit
movidiou：https://software.intel.com/en-us/neural-compute-stick
AIY：https://developers.googleblog.com/2017/05/aiy-projects-voice-kit.html
https://cloud.google.com/edge-tpu/
https://www.blog.google/products/google-cloud/bringing-intelligence-to-the-edge-with-cloud-iot/

img:https://dribbble.com/shots/4837695-Energy-Box

❤️错峰祝大家七夕快乐❤️

-The End-

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: bp@thejiangmen.com

    

点击右上角，把文章分享到朋友圈

 

将门创投

让创新获得认可！

微信：thejiangmen

bp@thejiangmen.com

点击“❀在看”，让更多朋友们看到吧~