原文地址：https://community.arm.com/graphics/b/blog/posts/mwc18-a-smartphone-camera-with-a-brain
移动仍然是一个充满活力的行业，技术创新为这个行业带来了繁荣，特别是围绕摄像头相关技术。2017 年，使用移动设备拍摄的照片有超过 1.2 万亿（即 1,200,000,000,000）张。智能手机每年的出货量超过 15 亿部，它不仅是驱动技术创新的平台和创造经济收益的主要载体，还是能够触及全球大多数人的平台。我们荣幸地宣布，近期将在该领域展开一系列协作，其中一些将在巴塞罗那世界移动大会上演示（有关 Arm 在 MWC 2018 大会上的具体活动，请查看此处的活动页面）
Facebook 利用各种先进技术帮助开发人员打造创新型移动体验，将全世界用户连接在一起，去年在 Facebook F8 会议上推出的 Camera Effects Platform 就是一例。
这些功能采用 Facebook 的机器学习技术来增强移动用户摄像头的智能和性能，Arm 与 Facebook 携手合作，共同优化 Arm Mali 图形处理单元 (GPU) 的 Caffe2 机器学习框架。
2017 年，两家公司共同优化了 Arm Mali GPU 的关键机器学习神经网络，我们荣幸地宣布这些代码现在可供开发人员免费下载。可从 Compute Library 直接获取这些代码，或与 Caffe2 框架结合使用。
Caffe2 是一种轻型可扩展框架，用于机器学习模型的开发和部署。从数据中心到移动设备和嵌入式设备，Caffe2 的使用范围非常广泛，模块化和灵活性使其成为机器学习开发人员的理想之选。
多亏 Arm 和 Facebook 的协作，Caffe 2 开发人员现在能够在采用 Arm GPU 的移动设备上实现性能改进。这种协作还将通过 Compute Library 的现有 API 延伸到未来的 Arm ML 处理器。
Caffe2 框架可兼容新型 Arm 机器学习平台，还能通过 Compute Library 的现有 API 以及新发布的 Arm NN 软件，充分利用当前和未来的 Arm 机器学习处理器。
此外，Arm 致力于打造开放标准，正因如此，我们加入了由 Amazon、 Facebook 和 Microsoft 发起的 ONNX 社区项目，努力实现各种人工智能网络模型之间的互操作性 (http://onnx.ai)。您可以在此处阅读有关该项目的更多内容。
多年以来，Arm 与 ArcSoft 密切协作，优化了多家移动设备 OEM 的摄像头技术。在今年的世界移动大会上，我们将演示ArcSoft PicSelfie 技术，该技术即得益于新的 Google Android 神经网络 API。
下面我们介绍该应用程序的工作原理：
所有这些工作实时进行，由软件通过智能化方式动态完成。这种技术适用于单镜头和双镜头设备，但在双镜头设备中，由于深度计算更加精确，因而性能和质量都得以改进。
ArcSoft PicSelfie - 该算法的双镜头版本
这种技术是独一无二的，因为该应用程序使用去年新推出的 Google Android 神经网络 API (NNAPI)，运行 Android 8.1（API 级别 27）或更高版本的设备都能支持。这种技术将适用于搭载了使用 Arm NEON 加速技术的 Arm Cortex CPU 的所有设备。但是，通过上文提及的 Arm NN 和 Compute Library，应用程序能够利用 Mali GPU 等其他硬件，提高性能和响应能力。
在只有单个摄像头（无深度信息）的设备上，该算法使用传统的分割算法，将拍摄主体与背景隔离开。它使用 Mali GPU，通过 Google Android NNAPI 加快分隔阶段，该 API 已经可以充分利用 Arm NN 软件。您可以在此处阅读有关 Arm NN 的更多内容。
下图是单摄像头设备的各个处理阶段的概览，其中的分隔算法由使用 Arm NN 的 GPU 执行：
ArcSoft PicSelfie - 算法的单镜头版本（框图）
ArcSoft PicSelfie - 算法的双镜头版本（框图）
ArcSoft 的初始分析表明，当使用 GPU 来加快机器学习工作负载时，通常可将性能提升 30%，同时将能耗降低 20%。
有关Arm 对 Google Android NNAPI 的支持的更多详细信息，请参见 Arm 社区上的“Arm 对 Android NNAPI 的支持带来 4 倍以上性能提升”博客文章。
要查找关于 Arm 新型机器学习计算平台的更多内容，我推荐：
Arm 将参加世界移动大会，欢迎光临 6 号展厅 6E30 展台。在此处查看我们的活动页面