isp是什么(第二代骁龙8移动平台的ai能力)

天龙生活圈 53226次浏览

最佳答案

机器之心原创





作者:泽南





认知能力,未来手机的标配?




手机是摄影的主流设备,时至今日,全球已有 92.5% 的照片是由智能

机器之心原创

作者:泽南

认知能力,未来手机的标配?

手机是摄影的主流设备,时至今日,全球已有 92.5% 的照片是由智能手机拍摄的。但有些时候,我们对手机拍出的照片质量也并不一定完全满意:人人都向往单反画质、一键成片,但经常因为底不够大,AI 不够智能等问题无法如愿。

从多摄像头到 AI 芯片,手机厂商为此想出了不少办法。最近,有人展示了计算摄影的新技巧,不论你拍照技巧如何,AI 可以自动帮你消除照片中的瑕疵,比如去除眼镜片上的眩光:

自动优化人物面部,并让头发等细节更加清晰:

如果拍到了 PPT,算法还可以自动帮你调成正对画面,让上面的文字更加易读:

此外把天空变蓝,草变绿,水变清等影像算法的「常规能力」更是不在话下,而且这回 AI 识别得更准了,不会像过去那样经常抠错图。

这不是实验室中传出的 demo,而将是最近一系列旗舰机型的标配。11 月 16 日,高通在夏威夷举办的 2022 骁龙峰会上正式发布了第二代骁龙 8 移动平台。作为明年旗舰级手机的核心,除了一系列提升,其还带来了前所未有的 AI 认知能力。

为了让手机成为从拍照到出片端到端的完整影像平台,第二代骁龙 8 移动平台用一块全新的 ISP 实现了移动影像技术的融会贯通。

专用计算单元,搞定实时语义分割

要想让 AI 帮你修图,就要有足够强大的硬件。第二代骁龙 8 移动平台是下一代移动手机芯片的标杆,在使用台积电 4nm 制程提升算力,大幅增强能耗表现的同时,它搭载了高通旗下速度最快、最先进的 AI 引擎,前所未有的「认知 ISP」(Cognitive ISP)则大幅提升了 AI 图像处理能力, 支持实时语义分割实现照片和视频的自动增强

上图中 AI 识别画面中特定内容的过程名叫语义分割(Semantic Segmentation),是计算机视觉经典四任务(分类、定位、检测和分割)中相对最难的一个,结合了图像分类、目标检测和图像分割等任务,需要通过一定的方法将图像分割成具有语义含义的区域,并识别出每个区域块的语义类别,实现从底层到高层的语义推理过程,最终得到一幅具有像素级语义标注的分割图像。

具体来说,算法需要自动帮你把画面中的重要人物、动物、背景,或是人物的五官、头发、手表、背包、眼镜等细节轮廓识别出来,就像这样:

深度学习时代,人们通常使用神经网络来进行语义分割。即使是在 2022 年的 AI 顶会论文里,语义分割推理任务大多也还需要台式机 GPU 来执行。而有了第二代骁龙 8,我们已经可以直接在移动端本地完成这样复杂的任务了。

为了把这种能力塞进手机,第二代骁龙 8 上进行了架构的重大更新。全新的认知 ISP 是 Spectra 图像处理单元的升级,它可以处理 2 亿像素摄像头传来的信息,优化视频和拍照时语义分割的速度,以便对画面中的每个细节进行专门的图像增强。

仅仅划分专门计算单元还不够,认知 ISP 与第二代骁龙 8 上的 AI 处理器之间通过「Hexagon 直连」技术实现了物理层面上的直连,以此来提高带宽,协同工作,以便实现更深层次的图像优化。

骁龙的 AI 专用处理单元 Hexagon 也经历了架构变化,升级了微切片图块推理和更大的张量加速器,由于引入 INT4 精度格式的支持,在 AI 推理时性能最多可以提高 4.35 倍,功耗比提升 60%,可实现持续不断的 AI 推理。

凭借第二代骁龙 8 移动平台的实时语义分割能力,修图的整个过程在认知 ISP 和 AI 芯片里自动完成,手机现在可以实时提升照片画质,其过程在按下快门之前就已经开始了——你在手机屏幕取景框里看到的就是增强过的画面,所见即所得,彻底消除抓拍不到完美瞬间的焦虑。

在认知 ISP 的加持下, Snapdragon Sight 骁龙影像技术开启了专业品质相机体验的新时代,为我们带来了突破性的定制专业画质增强。每家手机厂商都可以基于新的硬件,按照自己擅长的方式调校出特有功能,在新手机到来之后,我们就可以看到实时语义分割的强大能力了。

AI 技术积累带来质变

通过 Mega Multi-Frame Engine,第二代骁龙 8 可以将多达 30 张图像的最佳部分组合成一张图像,大幅增强夜间拍摄效果,捕获上代 5 倍的细节。在超广角摄影任务中,通过几何校正引擎 GCE 校正 120 和 140 度全景照片中的镜头畸变、曝光补偿、色差和边角区域。

还有专用的人脸检测 (FD)引擎,基于深度学习的 3D 人脸界标检测,识别准确率达到 95%,可以识别画面中人物的性别、情绪和表情,进行注视检测、头像叠加和几何个性化,为未来的 AR、IoT 和元宇宙 App 做好了准备。

为了实现最佳图像表现能力,第二代骁龙 8 与一些高端图像传感器进行了联合优化,包括与索尼 IMX 989 和 IMX 800,其率先支持了四倍数字重叠 HDR 技术。三星 ISOCELL HP3 是首款针对第二代骁龙 8 优化的 2 亿像素图像传感器,可提供专业级品质的照片和视频。

影像能力是各家智能手机比拼的关键点,第二代骁龙 8 移动平台为计算摄影带来了强大的基础。不过,支撑它 AI 能力不仅能用来拍照,还能带来很多比以往更加直观的体验,高通还展示了让手机实现多语言翻译和转录、AI 视频增强、更复杂的语音指令、面向下一代游戏的高智能 NPC 等等能力。

最近几年来,高通在 AI 领域的布局逐渐体现出了效果,不知不觉地,AI 成为了新芯片升级的重头戏

高通在人工智能领域的投入由来已久,早在 2007 年该公司就启动了首个 AI 项目,2018 年成立了 AI 研究院,如今每年都有数十篇论文在 AI 学术顶会上出现。

在正在举行的 NeurIPS 2022 上,高通展示了一系列技术,包括 FP8 浮点数降低机器学习算力需求、减小注意力机制内存用量、更高效的批处理贝叶斯优化方法等。看得出很多工作的目标是在有限算力的移动设备上部署 AI 算法。

还有一些方向则是基础研究,高通还探讨了因果表示学习,深度学习有效性,甚至还有一个冷冻电子显微镜 (Cryo-EM) 成像的研究,可以利用 2D 图像高分辨率重建生物分子的 3D 结构。

此前高通曾表示,自己的 AI 技术从最初发现到形成开源或商业化生态,只需要 2 到 3 年时间。等这样的技术落地,不知我们会看到什么黑科技出现。

正如高通总裁、首席执行官 Cristiano Amon 在发布会上所说的:「只有发展出持续工作的处理器、实时连接的网络才能让 AI 的强大能力在生活中展现。高通正处在这一切的中心,我们已经有了完整的路线图。」

基于高通「统一的技术路线图」,AI 能力正在进入骁龙芯片的方方面面, 第二代骁龙 8 移动平台已为终端 AI 技术的应用打开了一扇创新的大门。

参考内容:

https://www.qualcomm.com/news/releases/2022/11/snapdragon-8-gen-2-defines-a-new-standard-for-premium-smartphone

https://www.qualcomm.com/news/onq/2022/11/neurips-2022-qualcomm-showcases-cutting-edge-advancements-in-machine-learning

https://www.youtube.com/watch?v=2Rqo7oniDlI