Arm Community
Arm Community
  • Site
  • User
  • Site
  • Search
  • User
  • Groups
    • Arm Research
    • DesignStart
    • Education Hub
    • Innovation
    • Open Source Software and Platforms
  • Forums
    • AI and ML forum
    • Architectures and Processors forum
    • Arm Development Platforms forum
    • Arm Development Studio forum
    • Arm Virtual Hardware forum
    • Automotive forum
    • Compilers and Libraries forum
    • Graphics, Gaming, and VR forum
    • High Performance Computing (HPC) forum
    • Infrastructure Solutions forum
    • Internet of Things (IoT) forum
    • Keil forum
    • Morello Forum
    • Operating Systems forum
    • SoC Design and Simulation forum
    • 中文社区论区
  • Blogs
    • AI and ML blog
    • Announcements
    • Architectures and Processors blog
    • Automotive blog
    • Graphics, Gaming, and VR blog
    • High Performance Computing (HPC) blog
    • Infrastructure Solutions blog
    • Innovation blog
    • Internet of Things (IoT) blog
    • Mobile blog
    • Operating Systems blog
    • Research Articles
    • SoC Design and Simulation blog
    • Smart Homes
    • Tools, Software and IDEs blog
    • Works on Arm blog
    • 中文社区博客
  • Support
    • Open a support case
    • Documentation
    • Downloads
    • Training
    • Arm Approved program
    • Arm Design Reviews
  • Community Help
  • More
  • Cancel
中文社区
中文社区
中文社区博客 MWC18:有大脑的智能手机摄像头
  • Blogs
  • Forum
  • 视频和文件
  • Members
  • Mentions
  • Sub-Groups
  • Tags
  • Jump...
  • Cancel
  • New
中文社区 requires membership for participation - click to join
More blogs in 中文社区
  • ARM中国大学计划博客

  • Arm新闻

  • 中文mbed博客

  • 中文社区博客

  • 恩智浦汽车电子MCU讨论区博客

 

Tags
  • Artificial Intelligence (AI)
Actions
  • RSS
  • More
  • Cancel
Related blog posts
Related forum threads

MWC18:有大脑的智能手机摄像头

Song Bin 宋斌
Song Bin 宋斌
March 1, 2018

原文地址:https://community.arm.com/graphics/b/blog/posts/mwc18-a-smartphone-camera-with-a-brain

移动仍然是一个充满活力的行业,技术创新为这个行业带来了繁荣,特别是围绕摄像头相关技术。2017 年,使用移动设备拍摄的照片有超过 1.2 万亿(即 1,200,000,000,000)张。智能手机每年的出货量超过 15 亿部,它不仅是驱动技术创新的平台和创造经济收益的主要载体,还是能够触及全球大多数人的平台。我们荣幸地宣布,近期将在该领域展开一系列协作,其中一些将在巴塞罗那世界移动大会上演示(有关 Arm 在 MWC 2018 大会上的具体活动,请查看此处的活动页面)

与 Facebook 合作优化面向移动设备的机器学习

Facebook 利用各种先进技术帮助开发人员打造创新型移动体验,将全世界用户连接在一起,去年在 Facebook F8 会议上推出的 Camera Effects Platform 就是一例。

这些功能采用 Facebook 的机器学习技术来增强移动用户摄像头的智能和性能,Arm 与 Facebook 携手合作,共同优化 Arm Mali 图形处理单元 (GPU) 的 Caffe2 机器学习框架。

2017 年,两家公司共同优化了 Arm Mali GPU 的关键机器学习神经网络,我们荣幸地宣布这些代码现在可供开发人员免费下载。可从 Compute Library 直接获取这些代码,或与 Caffe2 框架结合使用。

Caffe2 是一种轻型可扩展框架,用于机器学习模型的开发和部署。从数据中心到移动设备和嵌入式设备,Caffe2 的使用范围非常广泛,模块化和灵活性使其成为机器学习开发人员的理想之选。

多亏 Arm 和 Facebook 的协作,Caffe 2 开发人员现在能够在采用 Arm GPU 的移动设备上实现性能改进。这种协作还将通过 Compute Library 的现有 API 延伸到未来的 Arm ML 处理器。

Caffe2 框架可兼容新型 Arm 机器学习平台,还能通过 Compute Library 的现有 API 以及新发布的 Arm NN 软件,充分利用当前和未来的 Arm 机器学习处理器。

此外,Arm 致力于打造开放标准,正因如此,我们加入了由 Amazon、 Facebook 和 Microsoft 发起的 ONNX 社区项目,努力实现各种人工智能网络模型之间的互操作性 (http://onnx.ai)。您可以在此处阅读有关该项目的更多内容。

更智能、更高能效的摄像头

多年以来,Arm 与 ArcSoft 密切协作,优化了多家移动设备 OEM 的摄像头技术。在今年的世界移动大会上,我们将演示ArcSoft PicSelfie 技术,该技术即得益于新的 Google Android 神经网络 API。

下面我们介绍该应用程序的工作原理:

  • 拍照时,用户一般会将智能手机摄像头指向拍摄主体:拍摄主体可能是一个人、一群人、一件物体,甚至是风景
  • ArcSoft PicSelfie 引擎通过智能化方式区分照片的拍摄主体,确定哪些要素构成背景,然后针对每个要素应用不同的处理技术
  • 对于背景,算法将应用 Bokeh 效果,让背景变得模糊,从而突出拍摄主体
  • 对于照片的主要拍摄主体,算法将自动应用美化

所有这些工作实时进行,由软件通过智能化方式动态完成。这种技术适用于单镜头和双镜头设备,但在双镜头设备中,由于深度计算更加精确,因而性能和质量都得以改进。

ArcSoft PicSelfie - 该算法的双镜头版本

 

这种技术是独一无二的,因为该应用程序使用去年新推出的 Google Android 神经网络 API (NNAPI),运行 Android 8.1(API 级别 27)或更高版本的设备都能支持。这种技术将适用于搭载了使用 Arm NEON 加速技术的 Arm Cortex CPU 的所有设备。但是,通过上文提及的 Arm NN 和 Compute Library,应用程序能够利用 Mali GPU 等其他硬件,提高性能和响应能力。

在只有单个摄像头(无深度信息)的设备上,该算法使用传统的分割算法,将拍摄主体与背景隔离开。它使用 Mali GPU,通过 Google Android NNAPI 加快分隔阶段,该 API 已经可以充分利用 Arm NN 软件。您可以在此处阅读有关 Arm NN 的更多内容。

下图是单摄像头设备的各个处理阶段的概览,其中的分隔算法由使用 Arm NN 的 GPU 执行:

ArcSoft PicSelfie - 算法的单镜头版本(框图)

ArcSoft PicSelfie - 算法的双镜头版本(框图)

 

ArcSoft 的初始分析表明,当使用 GPU 来加快机器学习工作负载时,通常可将性能提升 30%,同时将能耗降低 20%。

有关Arm 对 Google Android NNAPI 的支持的更多详细信息,请参见 Arm 社区上的“Arm 对 Android NNAPI 的支持带来 4 倍以上性能提升”博客文章。

要查找关于 Arm 新型机器学习计算平台的更多内容,我推荐:

  • Project Trillium 公告:Arm 网站上的“Arm 的 Project Trillium 提供业界最具可扩展性、功能最全面的机器学习计算平台”公言
  • Jem Davies 的这篇博客:Arm 社区上的“Arm 正在改变机器学习体验:Project Trillium”博客文章

 

在世界移动大会上参观我们的展台

Arm 将参加世界移动大会,欢迎光临 6 号展厅 6E30 展台。在此处查看我们的活动页面

Anonymous
中文社区博客
  • Armv9-A 构架引入可伸缩矩阵扩展(SME)

    Zenon Xiu (修志龙)
    Zenon Xiu (修志龙)
    原文:https://community.arm.com/arm-community-blogs/b/architectures-and-processors-blog/posts/scalable-matrix-extension-armv9-a-architecture 作者:Martin Weidmann July 14, 2021 翻译: 修志龙(Zenon Xiu) Arm构架为从超级计算机到广泛的设备带来可伸缩的向量处理…
    • February 9, 2022
  • Arm机密计算架构技术白皮书

    Zenon Xiu (修志龙)
    Zenon Xiu (修志龙)
    作者:Arm 首席应用工程师 David Brooke 原文:https://developer.arm.com/documentation/den0125/0100 1.      概述 在本篇文章中,我们将介绍机密计算(Confidential Computing)在现代计算平台中扮演的角色,并解释机密计算的原理。然后我们将说明 Arm 机密计算架构 (Arm CCA) 如何在 Arm 计算平台中实现机密计算…
    • July 16, 2021
  • Armv8.1-M Pointer Authentication 和 Branch Target Identification 扩展

    Zenon Xiu (修志龙)
    Zenon Xiu (修志龙)
    原文作者:Alan Mujumdar   April 7, 2021 原文链接:https://community.arm.com/developer/ip-products/processors/b/processors-ip-blog/posts/armv8-1-m-pointer-authentication-and-branch-target-identification-extension 翻译…
    • April 19, 2021