苹果专利分享在AR/VR多人交互中发现XR服务和用户的优化技术

发现XR服务和用户的优化技术

（映维网Nweon 2023年11月07日）XR允许多个用户交互。对于这一点，系统需要首先发现XR服务和用户。在名为“Discovery of services”的专利申请中，苹果就介绍了一种用于发现XR服务和用户的优化技术。

一般来说，通信设备可以是并置的，或可以是远程的。如果两个XR设备共享一个物理环境，则可以将XR设备并置。否则，XR设备处于远程状态。并且需要在并置的XR设备之间建立一个XR会话。图3显示了XR会话发现300的示意图。

在这个示例中，可以将与第二用户304相关联的第二XR设备302配置为传输XR会话广播306。XR会话广播306可以使用相对短距离信号进行传输。

所传输的XR会话广播306可由与第一用户310相关联的第一XR设备308接收。例如，第一XR设备308可以通过摄像头、红外接收器或适当的射频接收器接收XR会话广播306。在接收到XR会话广播306之后，第一XR设备308可以显示表示有XR会话可用的指示。

基于识别信息312，第一XR设备308可以确定，第二XR设备302是用于与第一XR设备308建立XR会话的候选通信设备，并更新第一XR设备308的图形用户界面，以表明候选通信设备可用于与之建立XR会话。

例如，可以更新第一XR设备308所显示的场景314，以指出所显示的场景314中的第二XR设备302，并指示可以与第二XR设备302建立XR会话。然后，第一XR设备308可以向第二XR设备302发送加入XR会话的请求。

例如，可以向第一XR设备302的第一用户310提供用户界面元素，允许它们基于XR会话广播306与第二XR设备302建立XR会话。基于接收到的指示，例第一XR设备302可以向第二XR设备302发送加入XR会话的请求。

XR会话广播306可以包括识别信息312。识别信息312可以包括识别第二用户304的信息。如果第一用户310认识第二用户304，则可以显示第二用户304的指示以及第二用户304正在尝试建立XR会话的指示。第一XR设备308从第一用户310接收到加入XR会话的指示，则第一XR设备308发送加入316 XR会话的请求，以在第一XR设备308和第二XR设备302之间建立XR会话。

如果确定第二用户304对于第一XR设备308而言未知。第一XR设备308可以丢弃接收到的XR会话广播306。在其他实施例中，可以将第一XR设备308配置为允许来自未知用户的XR会话广播。

第一XR设备308可以向第一用户310显示关于所接收到的XR会话广播306的指示。如果从第一用户310接收到接受加入XR会话的另一指示，则第一XR设备308将加入316的请求发送给第二XR设备302以建立XR会话。

图4示出了通信环境400。由第二XR设备302在XR会话广播306中传输的识别信息312可以包括位置信息418。所公布的位置信息418可以是与第二XR设备302在参考坐标系中的位置相关的信息。

在其他情况下，可以基于XR会话广播306的特征提取位置信息418。例如，第一XR设备308可以基于XR会话广播306的信号强度确定到第二XR设备302的距离。

位置信息418可用于帮助指示可以使用第二XR设备302建立XR会话。例如，在一个区域中可能有多个XR设备宣传XR会话，用户可能希望确保他们正在尝试连接到预期的XR会话。位置信息418可用于确定特定XR会话通知与多个XR设备中的哪一个相关联。

第一XR设备308可以基于所接收的位置信息418以及第一XR设备308的位置来确定第二XR设备302的相对位置。在显示场景的图像时，第一XR设备308可以基于位置信息418尝试识别场景图像中的候选通信设备。例如，第一XR设备308可以使用对象识别技术来识别场景图像中的XR设备和/或用户。

第一XR设备308同时可以使用例如深度信息、所述第一XR设备308的位置以及所述第一XR设备308所面对的方向指示来确定识别的XR设备和/或用户的相对位置。然后可以将所识别的XR设备和/或用户的相对位置与所确定的第二XR设备302的相对位置进行比较，以识别候选通信设备并更新所显示的场景314，以指出所显示的场景314中的第二XR设备302。

在一个实施例中，可以将第一XR设备308配置为忽略距离第一XR设备308大于阈值距离的接收到的XR会话广播。在这种情况下，第一XR设备308可以将所公布的位置信息418与第一XR设备308的位置进行比较，以确定第二XR设备302的距离。如果确定的距离大于阈值距离，则可以丢弃接收到的XR会话广播306。

在图5中，第二XR设备302传输的识别信息312可以包括方向信息518。方向信息518可以包括或代替任何其他信息，例如位置信息418。

方向信息518可以描述用户和/或与用户相关联的XR设备的方向。例如，第二XR设备302可包括一个或多个传感器，所述传感器可用于提供描述第二XR设备302如何定向的方向信息。

方向信息可以描述用户的方向，例如，第二XR设备302可以与一个或多个身体位置传感器和/或成像设备相关联，其可以提供描述用户在空间中如何定向和/或用户相对于第二XR设备302如何定向的方向信息。

例如，方向信息可以指示第二用户正面对特定方向，其身体各部分相对于重力如何定位和/或用户相对于其周围的其他人或物体如何定向。定向信息518可以编码并包含在识别信息312中，并在XR会话广播306中传输。

方向信息可用于帮助指示可以用第二XR设备302建立XR会话。方向信息518可用于确定特定XR会话通知与多个XR设备中的哪一个相关联。

在一个实施例中，可以随时间匹配来自多个XR会话广播306的定向信息518，例如，以增加正确识别候选通信设备的置信度。例如，如果多个已识别的XR设备具有距离所确定的方向在阈值距离内的方向，则可以对来自一段时间内的多个XR会话广播306的方向信息518进行采样，并将其与同一时间段内的多个确定的方向进行比较。

随着时间的推移，从多个XR会话广播306中获取定向信息可能会有所帮助，因为与XR设备相关联的多个用户不太可能在一段时间内以相似的方式定向各自的设备。

定向信息518同时可以与可包含在识别信息中的其他信息一起使用，以识别候选通信设备。例如，定位信息可用于缩小一组XR设备，然后可确定所述XR设备集中所述XR设备的方向，并将其与所接收的方向信息518相匹配。

图6示出了使用手势600的通信环境。在一个实施例中，XR设备可能会请求一个或多个用户做出一个或多个手势，以帮助指示可以与哪个设备和/或用户建立XR会话。

在本例中，第二XR设备302可以指示第二用户304做出特定的手势，例如竖起大拇指的手势620或其他手势，例如举起特定的手臂、指向、点头等。

在接收到XR会话广播306和手势信息618后，第一XR设备308可以使用对象识别技术来识别在场景图像中做出手势信息618所描述的用户。例如，第一XR设备308可以应用特征或手势识别技术来搜索由手势信息描述的手势。如果在场景的图像中找到匹配的手势，则可以更新所显示的场景314，以指出所显示的场景314中的第二XR设备302和/或第二用户304作为候选设备。

图9示出了用于识别XR服务的技术900。

在902，第一通信设备接收指示第二通信设备用于通信会话的可用性的消息，消息包括表示第二通信设备或第二通信设备的用户的当前位姿的识别信息。例如，第二通信设备可以传输XR会话广播。XR会话广播可以包括用于第二通信设备和/或与第二通信设备相关联的第二用户的识别信息。

在一个实施例中，识别信息可以包括位置信息、方向信息、手势信息、音频信号信息和/或用户音频信息。XR会话通告可由第一通信设备接收。

在904，第一通信设备接收与包括候选通信设备的场景的图像相对应的图像数据。例如，第一通信设备可包括可指向第二通信设备的摄像头，并且第一通信设备可在第一通信设备的显示器显示相应的图像。

在906，第一通信设备基于识别信息和图像数据确定第二通信设备为候选通信设备。图像数据可以包括其他基于图像的输入，例如点或点数据。例如，第一通信设备可以使用识别信息以及位置信息、方向信息、手势信息、音频信号信息和/或用户音频信息来识别图像中的第二通信设备。

在908，第一通信设备更新描述所述候选通信设备的图形用户界面，以指示所述候选通信设备可用于所述消息中所述通信会话。例如，第一通信设备可以用可以与第二通信设备建立XR会话的指示来更新所显示的图像。

在910，第一通信设备作为接收候选通信设备的选择的响应，发送加入通信会话的请求。例如，第一通信设备可以向请求加入或启动XR会话的XR会话广播发送响应。

相关专利：Apple Patent | Discovery of services

https://patent.nweon.com/30796

名为“Discovery of services”的苹果专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。