编辑:智东西    发布日期:2021-07-15 08:28:01

智东西 7 月 14 日消息,近日,苹果的两项 VR/AR 相关新专利得到了美国专利商标局(U.S. Patent and Trademark Office)授权。

第一项专利是“生成身体姿势信息(Generating body pose information)系统”。该系统通过收集身体各个地方的信息,然后利用这些信息打造用户的虚拟化身(avatar)。第二项专利是“自适应无线传输(Adaptive wireless transmission schemes)系统”。该系统处理 VR 头显设备和主机之间的通信。

据悉,苹果正在开发 AR/VR 头显,以及称为“Apple Glass”的 AR 智能眼镜。苹果正在针对人机交互领域的难题设计不同的解决方案,希望苹果头显产品可以在其他头显产品中脱颖而出。

根据专利报告显示,苹果新专利“生成身体姿势信息”系统可以通过摄像头、神经网络系统等方式搜集用户的姿态信息,形成一个用户的虚拟化身 。

1、用神经网络系统搜集用户姿态信息

单个神经网络系统可以搜集用户姿势信息;多个神经网络系统协同工作,可以模拟用户的某个关节;最终,所有系统的信息全部汇总在一起便可以在虚拟世界打造一个用户的“分身”。

在这个过程中,不同的硬件设备都需要机器学习。因为“生成身体姿势信息”系统不仅要处理摄像机所搜集的数据,还需要让不同的神经网络系统之间“学会”信息交互。

2、神经网络系统覆盖身体全关节

神经网络系统会搜集用户身体上哪些部位的信息,苹果在专利报告中给出了答案。

▲ 多个神经网络系统可以监控用户的各个关节,共同创建一个全身模型。(来源于:Appleinsider)

“生成身体姿势信息”系统的信息搜集范围包括了“脖颈、肩关节、肘关节、腕关节、骨盆关节、膝关节、踝关节和指关节”。该系统不但会对每个部位的信息搜集范围做出界定,而且还会确定各部位之间的连接处在哪里。

尽管该项专利的列表里给出了所有创建用户身体模型需要的基本要素,但似乎并不是很详尽。比如说,指关节似乎只是重点指代手指,脚趾以及脚部运动似乎并没有被该系统所关注。

3、用数据打造用户虚拟化身

苹果认为,打造良好的沉浸式体验需要尽可能地搜集更多有关用户姿态的信息。因为 VR 或 AR 应用程序可能会需要依据用户的静态姿势或动态行为,为用户呈现不同的内容。比如说,VR 游戏中的守卫需要对用户不同的攻击动作做出不同的反应。

事实上,苹果希望用“生成身体姿势信息”系统控制用户在虚拟世界的化身。比如说,虚拟在线社交 VR Chat 就可能会运用到这个系统来改变用户的头像呈现方式。

苹果的第二项专利“自适应无线传输”系统希望能打通头显和主机之间通讯壁垒。

1、VR 头显遇通讯难题

目前市面上的 VR 头显如 Oculus Quest,尽管设计者可以通过增加头显的重量,让头显和主机之间的连接部位减少相应重量,但是,连接部位的电线本身就是一个问题。

对此,有人提出用无线通信系统减轻头显的重量,并且取消电线。但事实上,无线通信系统也会存在很多问题。

比如说,无线通信系统传输数据需要消耗设备电量,并且无线通讯系统的带宽比有线通讯更少。再比如,无线通讯系统里最常见的断连、其他设备干扰的问题。

2、新专利采用交错帧传输

面对这些难题,苹果新专利“自适应无线传输”系统提供了一种新的解决方案。

它虽然采用了无线通信系统,但是减少了一次传输的数据量。该方案要求系统传输尽可能少的视频数据。并且,这项专利选择将网络的带宽量减半,通过左右眼数据交错使用,实现交错帧数据传输(interleaved frame transmissions)。

苹果的新专利认为,数据不必传输画面的每一帧。它将画面的传输帧分成不同类,一类是需要紧急更新的画面帧,另一类是可以再次使用、没有更新、较早时间的画面帧。

▲ 每只眼睛的交替视频帧可以将一次传输的数据量减半。(来源于:Appleinsider)

3、凝视跟踪功能加持数据节流

此外,该项专利还用到了凝视跟踪功能(mention of gaze tracking)。该功能可以通过用户的凝视,优先更新用户正在查看画面的数据。不仅如此,它还通过注视点显示技术(foveated display techniques)减少用户未关注的画面细节量,再次节省数据传输。

但实现这一方案可能需要极高的帧速率(frame rates)。据苹果专利报告显示,由于头显在眼睛部位,所以“每秒至少达到 100 帧”。

此前,苹果在 VR 和 AR 领域具有很多专利申请,并且与这次两项新专利有一些技术交叉。

比如说在中央凹区域的显示技术( foveated displays)方面,中心凹是眼睛的一个关键区域,它使人们能够以非常清晰和精确的方式看到东西。2020 年,苹果又设计了与此次类似的一个系统,该系统可以通过眼动追踪( eye tracking)来决定将数据资源投放在屏幕哪些地方,并且可以通过凝视检测功能(using gaze detection)来确保画面是否完成更新。

再比如说,手势识别功能。2018 年,苹果的一项专利曾涉及如何利用头显下方的摄像头来监控用户的手势变化,以便系统通过手势变化管理 3D 文档。2015 年,苹果的一项专利可以通过机器视觉,远距离识别人们的手势。

苹果每周都会提交大量的专利申请,但新专利的存在仅代表苹果的研发团队对该领域感兴趣,并不能保证这些专利会出现在苹果的产品中。

苹果两项在 VR/AR 领域的新专利向我们揭示了一个事实,苹果已经拥有较为成熟的、针对人机交互领域的难题的解决方案。

根据天风证券分析师郭明錤报告,苹果可能将在 2022 年中期推出 VR/AR 头显设备。他认为,苹果头显能否成功要看 VR/AR 应用能否提供非常顺畅的显示与操作流程。

据 IDC 称,到 2022 年,VR/AR 的市场价值约为 560 亿美元。当苹果入场头显设备时,是否能通过新的技术加速 VR/AR 设备落地,我们静观其变。

BigShear Mac版 BigShearMac版是Mac平台上的一款实用的图片处理工具。BigShearMac版是一款便捷的合图分割软件,其中集合了多种编辑方式来满足素材的提取,简单易上手;您可以免费下载。 简体中文 · 4.00 MBM ·

热点资讯

更多
2022年国内手机市场回顾:寒气传递到每个厂商,华为苹果抢占新高地 2022年国内手机市场出货量同比大幅下滑,本文从折叠屏逆势增长、联发科切入旗舰与卫星通信创新等角度分析厂商破局路径。
苹果不玩性能了?传iPhone15芯片或更注重电池续航而非性能 外媒爆料称iPhone 15系列将搭载注重能效的A17芯片以改善电池续航,全系可能标配灵动岛设计,Pro版采用3nm工艺,并或因欧盟规定改用USB-C接口,定价策略也有调整传闻。
MacBook产品线2023年将发多款旗舰新品 本文报道了苹果计划于明年初发布搭载M2 Pro与M2 Max芯片的14/16英寸MacBook Pro,以及15.5英寸MacBook Air、M3 iMac等新品传闻,梳理其产品线扩张策略。
多款新品问世,2023年VR/AR市场将迎来神仙打架局面 本文介绍了2023年即将发布的索尼PS VR2、Meta Quest 3与苹果MR头显等VR/AR头戴设备新品的规格、定价及市场预期,为关注虚拟现实领域的读者提供趋势参考。

相关教程

更多
256GB还不够用?如何正确管理手机存储空间? 智能手机存储空间虽大幅提升却常提示不足,除常规清理外,可通过精简APP、改用小程序与WEB版、定期备份照片视频至云空间等技巧长效管理存储空间。
部分用户反映苹果 2021 款 MacBook Pro 16 合上盖子后,出现无法充电的问题 部分2021款16英寸MacBook Pro在合盖关机时,MagSafe充电器指示灯琥珀色闪烁且无法充电。苹果官方支持页面提供了MagSafe恢复步骤,用户也可联系苹果支持换机处理。
微信支付亲属卡升级:新增五张可赠他人,可设置三张子女卡 微信支付亲属卡迎来重大升级,新增可赠予父母子女之外其他亲人的五张卡,子女卡增至三张。文章说明了优先扣款方式切换、每月3000元额度上限及红包与扫码支付等使用限制,帮助用户掌握新规则。
苹果 MacOS 12 Monterey 新增支持巨大鼠标指针/光标 在 Mac 上工作时易丢失细小的鼠标指针。macOS Monterey 支持在辅助功能中永久放大光标,通过系统偏好设置里的滑块即可调整指针尺寸与颜色。

相关软件

  • BigShear Mac版 简体中文. 4.00 MBM · BigShearMac版是Mac平台上的一款实用的图片处理工具。BigShearMac版是一款便捷的合图分割软件,其中集合了多种编辑方式来满足素材的提取,简单易 ...