NVIDIA Maxine旨在解决互联网上最主要的流量,视频流内容,它可能只是视频会议平台所需的。
NVIDIA Maxine是一个云原生流视频AI平台,服务提供商可以将其支持AI的新功能带入预计每天举行的超过3000万次Web会议中。
在云端的NVIDIA GPU上运行平台的视频会议服务提供商可以为用户提供新的AI效果-包括面部对齐(您似乎面对着相机),凝视校正(即使您的相机未对齐也可以模拟眼神接触)到屏幕),超分辨率,降噪,面部重新照明等等。
其他可能性包括具有逼真的动画的动画化身实时地由您的声音和情感语调驱动,以及自动取景,即使有人离开屏幕,视频输入也可以跟随扬声器。
数据是在云中而不是在本地系统上处理的,因此可以享受所有新添加的功能,而对客户端系统没有任何新要求。
除了最重要的新功能外,NVIDIA Maxine还承诺通过使用AI分析通话中每个人的主要面部表情并在另一端为观看者重新制作视频动画,来节省大量带宽。与每个帧传输整个像素屏幕相比,这使视频会议可以在互联网上传输更少的数据。
结合在NVIDIA GPU上运行的新视频压缩算法,带宽消耗减少到了通常的H.264流视频压缩标准的十分之一。这最终意味着服务提供商的成本将大大降低,接收端的视频会议体验将更加流畅。
Maxine平台集成了多个NVIDIA AI SDK和API的技术。除了NVIDIA Jarvis,Maxine平台还利用NVIDIA DeepStream高通量音频和视频流SDK和NVIDIA TensorRT SDK进行高性能的深度学习推理。Maxine平台的AI音频,视频和自然语言功能是通过在NVIDIA DGX系统上进行数十万次培训而开发的。
NVIDIA Maxine平台现在可用于早期访问计算机视觉AI开发人员,软件合作伙伴,初创公司和创建音频和视频应用程序及服务的计算机制造商。目前,获得认可的云服务是Google Cloud,Amazon AWS,腾讯云,Oracle和Microsoft Azure。
同样在协作主题上,对于3D设计内容协作者和数字艺术家来说,我们去年报道的NVIDIA的Omniverse现在可以在公开Beta中使用。