MWC18:有大脑的智能手机摄像头

原文地址:https://community.arm.com/graphics/b/blog/posts/mwc18-a-smartphone-camera-with-a-brain

移动仍然是一个充满活力的行业,技术创新为这个行业带来了繁荣,特别是围绕摄像头相关技术。2017 年,使用移动设备拍摄的照片有超过 1.2 万亿(即 1,200,000,000,000)张。智能手机每年的出货量超过 15 亿部,它不仅是驱动技术创新的平台和创造经济收益的主要载体,还是能够触及全球大多数人的平台。我们荣幸地宣布,近期将在该领域展开一系列协作,其中一些将在巴塞罗那世界移动大会上演示(有关 Arm 在 MWC 2018 大会上的具体活动,请查看此处的活动页面

与 Facebook 合作优化面向移动设备的机器学习

Facebook 利用各种先进技术帮助开发人员打造创新型移动体验,将全世界用户连接在一起,去年在 Facebook F8 会议上推出的 Camera Effects Platform 就是一例。

这些功能采用 Facebook 的机器学习技术来增强移动用户摄像头的智能和性能,Arm 与 Facebook 携手合作,共同优化 Arm Mali 图形处理单元 (GPU) 的 Caffe2 机器学习框架。

2017 年,两家公司共同优化了 Arm Mali GPU 的关键机器学习神经网络,我们荣幸地宣布这些代码现在可供开发人员免费下载。可从 Compute Library 直接获取这些代码,或与 Caffe2 框架结合使用。

Caffe2 是一种轻型可扩展框架,用于机器学习模型的开发和部署。从数据中心到移动设备和嵌入式设备,Caffe2 的使用范围非常广泛,模块化和灵活性使其成为机器学习开发人员的理想之选。

多亏 Arm 和 Facebook 的协作,Caffe 2 开发人员现在能够在采用 Arm GPU 的移动设备上实现性能改进。这种协作还将通过 Compute Library 的现有 API 延伸到未来的 Arm ML 处理器。

Caffe2 框架可兼容新型 Arm 机器学习平台,还能通过 Compute Library 的现有 API 以及新发布的 Arm NN 软件,充分利用当前和未来的 Arm 机器学习处理器

此外,Arm 致力于打造开放标准,正因如此,我们加入了由 Amazon、 Facebook 和 Microsoft 发起的 ONNX 社区项目,努力实现各种人工智能网络模型之间的互操作性 (http://onnx.ai)。您可以在此处阅读有关该项目的更多内容。

更智能、更高能效的摄像头

多年以来,Arm 与 ArcSoft 密切协作,优化了多家移动设备 OEM 的摄像头技术。在今年的世界移动大会上,我们将演示ArcSoft PicSelfie 技术,该技术即得益于新的 Google Android 神经网络 API

下面我们介绍该应用程序的工作原理:

  • 拍照时,用户一般会将智能手机摄像头指向拍摄主体:拍摄主体可能是一个人、一群人、一件物体,甚至是风景
  • ArcSoft PicSelfie 引擎通过智能化方式区分照片的拍摄主体,确定哪些要素构成背景,然后针对每个要素应用不同的处理技术
  • 对于背景,算法将应用 Bokeh 效果,让背景变得模糊,从而突出拍摄主体
  • 对于照片的主要拍摄主体,算法将自动应用美化

所有这些工作实时进行,由软件通过智能化方式动态完成。这种技术适用于单镜头和双镜头设备,但在双镜头设备中,由于深度计算更加精确,因而性能和质量都得以改进。

ArcSoft PicSelfie - 该算法的双镜头版本

 

这种技术是独一无二的,因为该应用程序使用去年新推出的 Google Android 神经网络 API (NNAPI),运行 Android 8.1(API 级别 27)或更高版本的设备都能支持。这种技术将适用于搭载了使用 Arm NEON 加速技术的 Arm Cortex CPU 的所有设备。但是,通过上文提及的 Arm NNCompute Library,应用程序能够利用 Mali GPU 等其他硬件,提高性能和响应能力。

在只有单个摄像头(无深度信息)的设备上,该算法使用传统的分割算法,将拍摄主体与背景隔离开。它使用 Mali GPU,通过 Google Android NNAPI 加快分隔阶段,该 API 已经可以充分利用 Arm NN 软件。您可以在此处阅读有关 Arm NN 的更多内容。

下图是单摄像头设备的各个处理阶段的概览,其中的分隔算法由使用 Arm NN 的 GPU 执行:

ArcSoft PicSelfie - 算法的单镜头版本(框图)

ArcSoft PicSelfie - 算法的双镜头版本(框图)

 

ArcSoft 的初始分析表明,当使用 GPU 来加快机器学习工作负载时,通常可将性能提升 30%,同时将能耗降低 20%。

有关Arm 对 Google Android NNAPI 的支持的更多详细信息,请参见 Arm 社区上的“Arm 对 Android NNAPI 的支持带来 4 倍以上性能提升”博客文章

要查找关于 Arm 新型机器学习计算平台的更多内容,我推荐:

 

在世界移动大会上参观我们的展台

Arm 将参加世界移动大会,欢迎光临 6 号展厅 6E30 展台。在此处查看我们的活动页面

Anonymous
  • Arm NN 软件开发套件

    Arm NN 填补了现有 NN 框架和底层 IP 之间的空白。它可以帮助 TensorFlow 和 Caffe 等现有神经网络框架实现高效转换,并在 Arm Cortex CPU 和 Arm Mali GPU 上高效运行,无需修改。 Arm NN 不收取任何费用。 下载 Arm NN SDK (GitHub) 关于 Arm NN SDK Arm NN SDK 是一套开源 Linux 软件和工具,支持在高能效的设备上运行机器学习工作负载…
  • 使用Streamline分析RTOS系统性能

    本文翻译自Analyzing the performance of RTOS-based systems using Streamline ============================================================= Streamline是DS-5中的性能分析工具, Streamline可以用来分析裸机系统,RTOS,Linux,Android和Tizen系统的性能…
  • 免费的原生aarch64 CI/CD

            开源软件社区的朋友们有福了!如果你有个开源软件项目想支持Arm架构平台,却苦于没有Arm服务器做CI/CD (持续集成/持续交付),那这个好消息你可不能错过。7月10日,Shippable宣布和Arm,Packet.net达成合作伙伴关系,为Arm平台上的软件开发提供原生的CI/CD服务,重点是(敲黑板了)对于开源软件项目,Shippble提供免费的CI/CD服务!这些服务运行在给所有开源软件共享的64位的Armv8…