首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

谷歌ARCore:检测到的平面上的TrackableHit -如何获得表面法线?

谷歌ARCore是一款用于增强现实(AR)应用开发的平台,它可以利用智能手机的摄像头和传感器,将虚拟物体和场景与现实世界进行交互。ARCore提供了一系列功能和API,其中包括检测平面和跟踪物体等功能。

在ARCore中,当检测到平面上的TrackableHit时,我们可以通过调用TrackableHit对象的getTrackable方法来获得对应的Trackable对象。然后,可以通过Trackable对象的getPose方法来获取平面的姿态(位置和旋转)信息。

要获得平面的法线信息,可以使用TrackableHit对象的getHitPose方法来获取击中点的姿态(即平面上的一个点)。然后,通过调用Pose对象的getRotationQuaternion方法来获取击中点的旋转四元数。旋转四元数可以表示物体的旋转,通过将旋转四元数转换为旋转矩阵,我们可以获得物体的旋转矩阵。

在ARCore中,由于平面通常是水平或垂直的,所以可以通过旋转矩阵的第三列来获得平面的法线向量。具体来说,我们可以通过以下步骤获取平面的法线向量:

  1. 调用TrackableHit对象的getHitPose方法,获取平面上的一个点的姿态。
  2. 调用Pose对象的getRotationQuaternion方法,获取旋转四元数。
  3. 将旋转四元数转换为旋转矩阵。
  4. 获取旋转矩阵的第三列,即为平面的法线向量。

谷歌ARCore是一项创新的增强现实技术,它可以在各种应用场景中发挥作用,例如游戏、教育、室内导航等。对于开发者而言,谷歌提供了ARCore SDK,其中包含了一系列用于开发AR应用的工具和库。在使用ARCore开发AR应用时,可以结合腾讯云提供的相关服务来增强应用的功能和性能,例如使用腾讯云的人脸识别服务、语音识别服务等。

腾讯云提供了一系列与AR相关的产品和服务,如腾讯云云智 AR SDK,可帮助开发者快速集成AR功能;腾讯云云智 AR 云服务,提供图像识别、语音识别、人脸识别等功能,可以用于AR应用的增强。您可以通过以下链接了解更多关于腾讯云的AR产品和服务:

  • 腾讯云云智 AR SDK:https://cloud.tencent.com/product/ar-sdk
  • 腾讯云云智 AR 云服务:https://cloud.tencent.com/product/ar

请注意,以上答案仅供参考,具体的技术实现和产品推荐建议您在实际开发中根据需求和情况进行选择。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

让光学3D传感器「看见」透明杯子,这是来自谷歌、哥大新研究

然而,透明物体显然不符合这个假设,因为它们表面除了反射光线,还会折射光线。因此,大多数透明对象深度数据是无效,或者是包含不可预测噪声。 ? 光学三维传感器通常无法探测到透明物体。...为了克服这个问题,谷歌创建了自己大型透明对象数据集,其中包含 5 万多个具有相应表面法线(表示表面曲率)、分割掩模、边缘和深度真实感渲染,这对于训练各种 2D 和 3D 检测任务非常有用。...这个合成数据集还存在局限性,它只包含地面上透明对象。为了减轻这个问题影响,团队在表面法线训练循环中加入了一些来自 Matterport3D 和 ScanNet 数据集真实室内场景。...在 a) Matterport3D 和 ScanNet (MP+SN),b) 谷歌合成数据集,c) MP+SN 以及谷歌合成数据集训练后表面法线估计。...注意,在 MP+SN 上训练模型没有检测到透明物体。只训练合成数据模型能很好地识别真实塑料瓶,但却无法识别其他物体和物体表面。当模型同时在这两中数据集上训练时,就可以同时满足这两方面的需求。

57320

谷歌增强现实技术ARCore

简介 随着,今年苹果在6月WWDC 2017上发布ARKit,谷歌也在前不久(8月29日),发布了用于Android平台AR SDK——ARCore。...据了解,目前Google ARCore只支持Google Pixel和Samsung Galaxy S8两种型号设备,谷歌表示,他们正在积极与三星、华硕、LG、华为等厂商开展合作,预计今年11月份,将会有超过...环境感知:虚拟物体一般都是放置于平坦平面上,用ARCore可以检测物体水平表面,建立环境认知感,以保证虚拟对象可以准确放置,然后让您看到放置在这些表面上AR物体。...ARCore与Tango对比 ARCore和Tango两者性能都很强大,但最突出差别是对硬件要求,ARCore不需要额外硬件就能在Android上运行,而Tango需要专属定制硬件联想PHAB...随着设备移动,应用会自动侦测到水平表面,并绘制出棱形网格。点击网格即可在平面上放置 Android 机器人即可完成移动。

2.2K60
  • 谷歌增强现实技术ARCore

    简介 随着,今年苹果在6月WWDC 2017上发布ARKit,谷歌也在前不久(8月29日),发布了用于Android平台AR SDK——ARCore。...据了解,目前Google ARCore只支持Google Pixel和Samsung Galaxy S8两种型号设备,谷歌表示,他们正在积极与三星、华硕、LG、华为等厂商开展合作,预计今年11月份,将会有超过...环境感知:虚拟物体一般都是放置于平坦平面上,用ARCore可以检测物体水平表面,建立环境认知感,以保证虚拟对象可以准确放置,然后让您看到放置在这些表面上AR物体。...ARCore与Tango对比 ARCore和Tango两者性能都很强大,但最突出差别是对硬件要求,ARCore不需要额外硬件就能在Android上运行,而Tango需要专属定制硬件联想PHAB...随着设备移动,应用会自动侦测到水平表面,并绘制出棱形网格。点击网格即可在平面上放置 Android 机器人即可完成移动。

    1.6K101

    深入浅出 ARCore

    ARCore运动跟踪技术是通过 Camera 标识出特征点,并随着时间推移跟踪这些特征点是如何移动。...ARCore能检测到Camera捕获图像在视觉上不同特征,称为特征点。它使用这些点计算其位置变化。...这样就可以将虚拟物体放置到检测出水平面上了。 它是如何做到呢?ARCore通过检测特征点和平面不断改善对现实世界环境理解。...这样,开发人员就可以使用这些信息,并将虚拟物体放置在平坦表面上了。 由于ARCore使用特征点检测平面,因此可能无法正确检测到没有纹理平坦表面(如白色桌面)。 光线评估 ?...这就好像您在桌面上放置一个虚拟花瓶,如果ARCore稍后调整与桌面相关姿势,那么花瓶仍然会保持在桌面上

    3.8K10

    谷歌发布增强现实SDK ARCore 1.0:使Android手机具备AR功能

    谷歌近日宣布,Android平台增强现实软件工具开发包ARCore 1.0正式发布。ARCore可以在全球范围内1亿部Android智能手机上运行,使这些设备拥有AR相关功能。...去年,谷歌发布了ARCore软件工具开发包(SDK)预览版本,ARCore能为Android设备带来AR(增强现实)体验。...使用ARCore构建应用程序可以识别用户所处环境,并将物体和信息呈现其中。...目前,ARCore可运行于13种不同型号智能手机,谷歌也与包括三星、华为、LGE、摩托罗拉、华硕、小米、HMD/诺基亚、中兴、索尼和Vivo在内多家智能手机厂商展开合作,在他们将推出产品中搭载ARCore...ARCore 1.0改进了环境理解功能,使用户能够将虚拟物品放置在任意纹理表面上,如海报、家具、玩具盒、书籍、瓶罐等等。

    79370

    Google发布ARCore 1.0,小米华为手机或率先尝鲜 | 热点

    ARCore可以在全球范围内1亿部Android智能手机上运行,使这些设备拥有先进AR相关功能。...Google在去年冬天正式向Pixel用户推出了ARCore更新,并承诺未来让一亿部Android设备都能通过ARCore体验有趣增强现实功能。...现在,让1亿部Android设备都能体验增强现实计划更进了一步,Google宣布ARCore平台Beta阶段正式结束,并推出ARCore 1.0正式版平台和开发包,开发者可以更变情节开发、测试和发布应用...除了将ARCore带到更多设备上,谷歌ARCore 1.0中还改进了环境理解功能,使用户能够将虚拟物品放置在任意纹理表面上,如海报、家具 、书籍等。...此外,谷歌还宣布已经一些优秀开发商合作,包括居然之家、京东、网易、战争公司(Wargaming)和 Game Insight等。

    52440

    Direct3D 11 Tutorial 6:Lighting_Direct3D 11 教程6:灯光

    无论距离光线距离如何,朗伯照明都具有均匀强度。 当光照射到表面时,通过光在表面上入射角计算反射光量。 当光直接照射在表面上时,它显示出以最大强度反射所有光。...然而,随着光角度增加,光强度将逐渐消失。 为了计算光在表面上强度,必须计算光方向与表面法线之间角度。 表面法线定义为垂直于表面的矢量。...角度计算可以通过简单点积来完成,该点积将光方向矢量投影返回到法线上。 角度越宽,投影越小。 因此,这为我们提供了调制漫射光正确功能。 ? 本教程中使用光源是定向照明近似值。...input.Norm) * vLightColor[i] ); } return finalColor; }  一旦通过像素着色器,像素将被光调制,您可以看到每个光在立方体表面上效果...请注意,在这种情况下,光看起来很,因为同一表面上像素将具有相同法线。 漫反射是一种非常简单易用计算照明模型。 您可以使用更复杂照明模型来获得更丰富,更真实材料。 最终效果 ?

    67220

    谷歌发布安卓AR开发包ARCore1.0,中国进首发名单

    谷歌今日正式推出Android 平台增强现实软件工具开发包ARCore 1.0,不仅意味着ARCore可以在安卓手机上运行,也意味着AR手机应用将迎来大规模爆发。...更加一颗赛艇是,此次谷歌ARCore 1.0首发名单中,中国位列其中,还有多家国产手机厂商出现在首批合作名单中。...谷歌官方称,ARCore可运行于13 种不同型号智能手机,已经与包括三星、华为、LG、摩托罗拉、华硕、小米、HMD/诺基亚、中兴、索尼和Vivo在内多家智能手机厂商展开合作,这些手机公司新产品中都将搭载...ARCore ARCore何许人也? 这是谷歌在去年发布AR软件开发包,最初只有预览版本,主要基于手机构建增强现实应用。...相比预览版,ARCore 1.0在环境理解方面进行了大幅提升,使得用户用户能够将虚拟物品放置在任意纹理表面上,如海报、家具、玩具盒、书籍、瓶罐等等。

    79460

    Unity 发布新版本:支持谷歌空间音频和Magic Leap SDK

    Unity现在已经集成了谷歌空间音频SDK Resonance Audio,这样开发者就能渲染数以百计同步3D声源。...然后还有ARCore 1.1 for Unity,这可以帮助开发者为数以百万计安卓设备创建高质量AR应用。...Unity在官方博文中写道,新版本“通过导向特征点来增强对场景环境理解,这种新功能可允许你将虚拟内容放置在检测到特征点(如罐,盒子和书籍)附近表面上。”...随着联想Mirage Solo一体机即将在本月上市,Unity 2018.1为运行谷歌平台Worldsense设备带来了支持(其能够实现6自由度内向外追踪)。...Unity立体360度捕捉技术基于谷歌全向立体(Omni-Directional Stereo,ODS)技术,采用立体立方贴图渲染(stereo cubemap rendering),在Unity

    50820

    【开源方案共享】Google新开源AR:DepthLab

    本文介绍 Google最新开源AR算法:DepthLab 代码:https://github.com/googlesamples/arcore-depth-lab http://mpvideo.qpic.cn...当三维光标沿物理曲面移动时,它应该根据曲面法线和距离更改其方向和比例。 激光反射:通过触摸屏幕,沿相机主轴将虚拟激光从用户渲染到物理对象。激光到达表面时应该反射。...碰撞感知放置:测试虚拟对象体积是否与观察到环境曲面发生碰撞。 虚拟阴影:渲染投射到物理曲面上几何体感知阴影。阴影可以与任何具有虚拟对象移动AR应用程序集成。...环境纹理:使用其他材质(如熔岩、网格、草)重新纹理物理表面。这项技术也可以用来取代天花板星图您位置或生成一个地形与草,植物或岩石。 物理仿真:模拟增强现实对象物理现象,例如碰撞。...We have open-sourced our software at https://github.com/googlesamples/arcore-depth-lab to external developers

    1.1K10

    谷歌AR搜索来了!上Chrome不仅能「云吸猫」,更有50种动物可「喂养」

    如果你喜欢和朋友和家人分享动物AR,谷歌刚刚在其搜索引擎上增加了50个新动物。...一些史前动物比如 Cambropachycope,是一种古老甲壳类动物,有着独特尖头小眼睛,或者是最古老大型滤食动物,游泳不好鱼,或者是地球上有史以来最大动物,在 AR 帮助下重新获得了生命...多亏了 AR 技术,你可以通过手机近距离观察它们,」谷歌Arts & Culture在一份声明中说。 这些增强现实生物或者艺术品是在谷歌 ARCore 框架帮助下重新创作。...环境理解让手机可以检测各类表面(例如地面、咖啡桌或墙壁等水平、垂直和倾斜表面大小和位置。 光估测让手机可以估测环境当前光照条件。...将这些点移动与手机惯性传感器读数组合,ARCore 可以在手机移动时确定它位置和屏幕方向。 除了标识关键点外,ARCore 还会检测平坦表面(例如桌子或地面),并估测周围区域平均光照强度。

    47710

    移动AR市场风头太猛,谷歌ARCore能够狙击苹果ARkit吗?

    和ARkit同台竞争ARCore 根据谷歌描述来看,ARCore有三个基本特点: 运动追踪:可以基于移动设备摄像头以及内置传感器,来识别出设备在移动时位置和方向,从而让虚拟对象保持相对准确位置...环境理解:通过手机摄像头来检测水平表面。 光线预测:ARCore能够根据环境中光线变化,使得虚拟对象周边阴影发生变化,从而让其看起来更加逼真。...但是由于Tango对于硬件要求比较高,手机厂商需要去定制化生产,所以市面上一直少有支持它手机,这些设备保有量和苹果ARkit背后坐拥上亿台iPhone相比,简直是可以忽略不计。...在苹果新品发布会前两周这样时刻推出可以兼容多种安卓设备ARCore,可以明显看出谷歌狙击苹果野心,而从Tango延伸而来ARCore必然能够让谷歌和苹果在移动AR市场上一决高低,看来移动AR战场即将演变为...这次推出ARCore,在预览版之后,谷歌也已开始与三星,华为,LG和华硕等厂商进行了相关合作,他们目标是庞大安卓手机市场。

    1.1K00

    开学日福利,5款ARCore小程序带学生党走进AR

    自ARKit发布几个月以来,世界各地开发人员给我们带来了一系列酷炫实验以及应用程序开发潜能。近几日,作为对苹果ARKit回应,谷歌发布了ARCore预览版。...其实在ARCore预览版结束后,谷歌已经把目光瞄准了1亿台安卓设备。但是借助于各类硬件厂商,ARCore有望在今年晚些时候成为世界上最大AR平台。...这款程序可以让你周围任何表面形成一个新形状,通过使用着色器,从而达到变形效果。...“Portal Painter”可以为你提供一种创建门户到其他维度有趣方式。你只需要将你设备指向附近表面,在使用手指绘制出进入另一个世界门户后,就可以创造另一个维度了。...5 ARCore Drawing ? 这款应用程序可以让你在3D空间中绘制线条,不仅如此,它还为如何结合openFrameworks和ARCore提供了一个快速示例。

    1.2K120

    苹果谷歌王者峡谷相遇,只为争夺最耀眼AR水晶

    谷歌表示,其正在与三星、华为、LG、华硕等厂商沟通合作,等到正式版推出时,ARCore目标宏伟,瞄准是那数以万计安卓设备。...因此在使用时,ARCore可将虚拟对象固定在一个位置,并围绕它移动。 环境理解:ARCore可利用它用于运动跟踪特征点,来检测水平表面。...在发布ARCore同时,谷歌还发布了ARWeb浏览器原型,允许开发者创建可在ARCore或ARKit上运行AR增强型网站。...目前市面上,仅有联想Phab2 Pro、华硕ZenFone AR这两款手机支持谷歌Tango。 缺乏设备支持严重阻碍了Tango平台发展。...ARCore与ARKit,谁能更甚一筹? 市场上同类产品,毫无例外都会被拿来做比较,而谷歌ARCore和苹果ARKit也没有逃脱得了“例行一比”。 ?

    98180

    灰度图,法线贴图,置换贴图和位移贴图

    Map是如何发生作用。...这时我们光照计算和以往有点不同,我们把表面法线用NormalMap中存储法线来替代。这样当我们在计算表面光照情况时候,就会因为法线不断变化而产生比原来丰富明暗变化。...因为Normal Map只是改变表面上光照结果,并没有改变表面上形状。因此,表面上看来,似乎只要是不接近水平,NormalMap就不会有视角问题。...把艺术家想要实时改变东西压缩在纹理中告诉渲染器是一件相当有挑战性工作,当然也会获得更令人赞叹画面。请接受控制纹理,那是让艺术家把一个瞬间精确著色变成一个普遍适用著色利器!...我们会发现,其实这个凸起背对我们视线面~并不会因为我们视角逐渐放而消失--这显然是不正确,要知道背后东西应该是看不见才对。

    1.8K20

    Sensor Tower报告:ARKit应用下载量已超1300万,47%为游戏内容

    在iOS 11发布后前6个月,全球近一半ARKit应用都是游戏内容。 同时,AR游戏也是至今为止下载量最大ARKit应用类别。...而在非游戏类ARKit应用前十下载榜中,儿童教育类AR应用最受用户青睐,有5款上榜。分别是:排名第1《LEGO AR Studio》、排名第3《Dr....最后,Sensor Tower表示,ARKit推出在AR发展中发挥了重要作用。如大型舞台效果展示、App Store板块设置及将AR整合至代码学习中。...借助该功能,ARKit可对垂直表面(如墙壁)进行检测,并将虚拟对象放置在垂直表面上。 但苹果并不是唯一致力于推进AR内容发展企业,谷歌也在通过ARCore提供AR内容开发支持。...在过去几个月内,许多ARKit应用都推出了兼容ARCoreAndroid版本。上周,谷歌宣布Play商店已有超过60个基于ARCore应用(其中大部分为AR游戏)。

    75880

    AI扣图 | 五一假期拍照片再不用担心游客太多

    整体架构如下图所示: 重照明模块又包含以下几个步骤,首先使用几何网络(Geometry Network)来估计输入前景每像素表面法线 N,然后利用表面法线和前景 F 来生成反射率(albedo)A。...使用扩散和镜面卷积运算对目标 HDR 照明环境进行预过滤,然后通过表面法线或者反射向量对预过滤后 map 进行采样,从而生成目标照明(光照图)漫反射和镜面反射每像素表征。...接着,使用着色网络(Shading Network)生成最终重照明前景。 下图展示了重照明模块详细工作流程: 着色网络是如何工作呢?...研究者利用神经渲染器补偿近似(approximation)以及预测到中间图像中任何残差。...下图中展示了定性结果,该研究提出方法能够恢复更清晰边界和精细细节,从而获得更精确前景蒙版。

    63030

    简单易懂造镜者公式

    具有相同形状和折射率透镜将具有相同焦距。造镜者公式将透镜折射率、两个表面的曲率半径和透镜焦距联系起来。使用了许多理想化、简化和近似来完成推导,但结果是紧凑,并且对于大多数目的来说足够准确。...我们首先观察到,具有凸面的透镜行为与平面接触两个凸透镜行为相同。图(1)显示了将透镜分为两部分,我们将分别进行分析。...图1 将镜片分成两半回想一下,使用薄透镜,我们可以在不影响入射角和折射角情况下反转光线方向。因此,代表一个凸透镜图(2)可以被视为原始透镜最右半部分或反转最左半部分。...在该图中,垂直光线进入透镜平面。它在没有初始折射情况下前进到曲面。当它从曲面上出现时,它会折射一个由Snell’s law确定角度。从曲率中心延伸到出口点半径决定了曲面法线。...光线和法线之间介质角度为θ1。折射光线与法线之间角度为θ2。

    14910

    Unity基础教程-物体运动(八)——攀爬(Sticking to Walls)

    1.2 检测可攀爬表面 我们将检测可攀爬表面,就像我们识别陡峭表面的方法一样,但我们会记录单独攀爬接触数和法线,它们必须像其他方法一样在清除状态下重置。 ?...(橘色表面是不可攀爬表面) 2 沿着墙壁移动 现在,我们知道当我们与可攀登物体接触时,下一步就是切换到攀爬模式,这需要粘附在墙壁或其他类型表面上,并相对于墙壁而不是地面移动。...所以一旦你从一个普通表面爬到一个不可攀爬表面,球体就会掉下来。在可攀爬表面上则取决于玩家,所以可攀爬和不可攀爬区域在视觉上是不同。...我们可以通过在地面上并且速度非常低(例如小于0.1,或者平方情况下为0.01)时将重力投影到接触法线上来进行模拟。这样就消除了引起滑动重力分量,同时仍将球体拉到表面。 ?...在这种情况下,我们最终会停留在有效水平面上,这与我们攀爬控制装置(主要是垂直表面)不起作用。为了摆脱这种情况,我们将跟踪我们检测到上一次攀爬法线。 ?

    2.7K10

    构建增强现实移动应用程序六款顶级工具

    \\ 这些应用程序可以根据用户位置向他们发送通知,以给他们提供跟给定位置有关新增AR内容。比如,应用程序可以推荐附近最好酒吧,并显示如何到达那里。...\\t 允许创建定制VuMarks,看起来比一个典型二维码更好。\\t 允许使用其智能地形功能创建任意环境3D几何地图。\\t 把静态图像转换成全动态视频,可以在目标表面上直接播放。...\\ 价格:免费 \\ 谷歌ARCore \\ \\ 拥有2百万安卓活跃用户谷歌不可能错过给开发人员在其操作系统上创建AR应用程序机会。谷歌ARCore由此问世。...ARCore可以通过摄像机确定设备位置和方向,并在房间内找出特征点。这有助于准确地放置虚拟对象。\\t 理解环境。由于其能够检测水平表面,您可以把虚拟对象放置在桌上或地板上。该功能也被用于运动跟踪。...Windows Mac OS 智能眼镜 \\t\t\t \\t\t\t 免费 \\t\t\t \\t\t\t 谷歌 ARCore \\t\t\t \\t\t\t 基于标记应用程序 \\t\t\t \

    5.7K10
    领券