Meta专利介绍用于耳朵区域成像方法，改善VR头显贴合度

通过耳区成像系统来改善头显贴合度

（映维网Nweon 2023年11月24日）头显与用户的合理适配可提高舒适性。所以，有必要测量用户的鼻子形状、头宽和耳深等测量值。例如，若头显在穿戴时位于或置于耳朵上方，则特定用户的耳朵特征将变得特别重要。

在名为“Ear-region imaging”的专利申请中，Meta介绍了一种用于耳朵区域成像的方法，并通过耳区成像系统来改善头显贴合度。

作为说明，Meta将头显与耳朵接触的点位称为耳鞍点（ear saddle point），类似于耳朵接触承托和眼镜镜臂的点位区域。

这家公司认为，传统的测量系统为用户的面部区域提供了可接受的测量，但由于头发容易塞挡耳顶和耳后，特别是耳鞍点，所以难以准确成像/测量耳朵区域。在所述发明中，Meta提出了一种改进的耳区成像系统。

在一个实施例中，发射器向耳区发射发射信号。发射信号可以是毫米波、超声波或其他通过头发传播的发射信号。接收器接收返回从耳朵反射/散射的发射信号。接收器从所述返回信号产生图像信号，并根据所述图像信号产生耳区图像。

耳区图像可以与用户面部区域的面部图像组合以生成脸-耳混合图像。所述混合图像可以共享公共坐标系，以便可以从所述混合图像中提取用户的眼睛和脸部之间相对于用户的各种尺寸，从而帮助贴合头戴式设备。

图1示出了用户190的顶视图和示例性耳区成像系统100。实施例系统100包括换能器120A和120B、光成像系统130A和130B，以及处理逻辑101。

换能器120A包括配置为向用户190的耳区181A发射发射信号126A的发射器121A和配置为接收返回信号127A的接收器122A。返回信号127A为从耳区181A反射/散射的发射信号126A。

类似地，换能器120B包括配置为向用户190的耳区181B发射发射信号126B的发射器121B和配置为接收返回信号127B的接收器122B。返回信号127B为从耳区181B反射/散射的发射信号126B。

发射信号126A和126B穿透头发并从人体皮肤反射。因此，如果毛发遮挡耳皮肤，则发射信号126通过毛发传播，从耳皮肤反射/散射，然后通过毛发传播回接收器122作为返回信号127。用户190的耳朵的耳鞍点185指示在耳区181A中。

发射信号126既不是可见光又不是红外光，因为可见光和红外光可能会由覆盖耳朵的毛发遮挡。在一个实施例中，发射信号可以是毫米波发射信号，波长在电磁波谱中为1mm至10mm之间。

在操作中，处理逻辑驱动发射器121向耳区181发射发射信号126。接收器122A和122B分别接收到返回信号127A和127B，并响应接收到返回信号127A和127B，分别产生图像信号129A和129B。返回信号127A、127B可统称为返回信号127，图像信号129A、129B可统称为图像信号129。处理逻辑101从传感器的接收器122接收图像信号129，并响应图像信号129生成耳区图像104。

在所示的实施例中，处理逻辑101包括耳图像生成模块103，模块接收图像信号129并通过处理图像信号129生成耳区域图像104。当系统100包括光成像系统130时，光成像系统130可以通过感知从人脸区域反射回来的可见光或非可见光143来捕获用户190的人脸区域的人脸图像139。

图2示出了用户290的前视图，包括面部区域283和耳朵区域281A和281B。图1的光成像系统130可以配置成生成一个或多个对人脸区域283成像的面部图像139。

在具体的示例说明中，脸部区域283包括用户290的眼睛区域284和鼻子区域286。眼睛和鼻子的特征可以帮助确定用于特定用户的头戴式设备的舒适贴合290。在图2中，面部区域283与耳朵区域281A和281B重叠。右耳区281A表示耳鞍点285A的近似位置，左耳区281B表示耳鞍点285B的近似位置。

回到图1，光成像系统100配置为通过感知从人脸区域283反射回来的可见光或非可见光来捕获人脸区域283的人脸图像139。照明模块140可以定向到用照明光143照亮面部区域283。照明模块140可包括诸如LED或激光源的光源。

照明光143可以是可见光或红外光。光成像系统130可包括一个或多个互补金属氧化物半导体CMOS图像传感器。在照明光143为红外光的实施例中，可以将接收窄带红外波长的红外滤光片放置在图像传感器之上，使其对照明光143的窄带红外波长敏感，同时拒绝可见光和窄带以外的波长。

处理逻辑101配置为接收面部区域283的面部图像139A和139B。面部图像139可以包括像素的列和行。处理逻辑101接收来自光成像系统130的面部图像139。处理逻辑101可以生成包括面部图像139和耳区图像104的脸耳混合图像108。

在图1的具体示例示例中，处理逻辑101包括组合面部图像生成模块105，模块产生包含面部图像139A和139B的组合面部图像106。在其他实施例中，面部图像139直接路由到混合图像生成模块107，混合图像生成模块107从面部图像139和耳区图像104生成脸耳混合图像108。

面部图像139可以在成像空间中与耳区图像104共享一个公共坐标系，使得混合图像生成模块107可以生成混合面部-耳图像108，其中耳区图像104中的位置链接到面部图像139中的位置。

图3示出了耳鞍点385A和眼特征之间的尺寸398。图3示出耳鞍点385可由人390的毛发遮挡光基成像。然而，使用通过毛发传播的发射信号126对耳鞍点385A进行成像，并提供耳鞍点385A的精确成像，然后可用于确定耳鞍点385A与眼睛特征之间的尺寸398。

例如，如果脸耳混合图像108包括面部区域383和耳朵区域381A共享公共坐标系的面部图像，则可以从混合图像108计算维度398。

图4示出了包括框架402和镜臂404A和404B的头戴式设备400。为了将头戴式设备400适配到人体390，可以基于图3的尺寸398选择404A的尺寸498。可以基于源自脸耳混合图像的用户头宽测量为用户选择框架402的头宽尺寸497。

图5示出了耳区成像处理500。

在505中，驱动发射器向耳区发射毫米波发射信号。毫米波发射信号的波长可以在1mm到10mm之间。耳区图像可包括耳鞍点。在一个实施例中，发射器包括发射器元件的二维阵列，驱动发射器发射毫米波发射信号包括驱动发射器元件形成毫米波发射信号以将毫米波发射信号引导到耳区。

在510，从接收器接收图像信号。图像信号由接收器响应接收返回的毫米波信号而产生。返回毫米波信号是从耳区反射回来的毫米波发射信号。

在515，响应于所述图像信号生成耳区图像。

处理500同时包括通过感应从所述面部区域反射回来的可见光或非可见光来捕获所述人的面部区域的面部图像，并生成包括所述面部图像和所述耳朵区域图像的混合脸耳图像。

面部区域可以包括眼睛区域和鼻子区域。面部图像可以与耳区图像在成像空间中共享一个共同的坐标系。处理500可进一步包括确定来自混合脸-耳图像的尺寸，其中尺寸位于耳鞍点和用户眼睛的角膜平面之间。

在处理500的实施例中，在执行505之前，基于用户的位置图像识别耳朵区域。这可以允许毫米波传输信号定向到一个位置来对耳朵成像。在一种实施方案中，包括在光成像系统130中的摄像头用于捕获人的位置图像，以便可以相对于换能器120确定人的耳区。

相关专利：Meta Patent | Ear-region imaging

https://patent.nweon.com/30766

名为“Ear-region imaging”的Meta专利申请最初在2022年3月提交，并在日前由美国专利商标局公布。