开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

HDRP中的全局平铺结合视差遮挡使UVS变得混乱

HDRP（High Definition Render Pipeline）是Unity引擎中的一个渲染管线，用于实现高质量的图形渲染效果。在HDRP中，全局平铺（Global Tiling）和视差遮挡（Parallax Occlusion）是两种常用的技术，用于增强材质的细节和真实感。

全局平铺是一种材质技术，通过在材质上重复平铺纹理，使得纹理在模型表面上重复出现，从而增加细节和视觉效果。全局平铺可以应用于各种材质，例如砖墙、地板、纹理等。在HDRP中，可以通过调整纹理的平铺参数来控制全局平铺的效果。

视差遮挡是一种用于增强材质细节的技术，通过在材质表面上模拟凹凸效果，使得纹理看起来更加真实。视差遮挡可以在材质的法线贴图中定义高度信息，并根据观察者的视角计算出凹凸效果。在HDRP中，可以通过调整视差遮挡的参数来控制凹凸效果的强度和细节。

当全局平铺和视差遮挡同时使用时，可能会导致UV（纹理坐标）变得混乱。这是因为全局平铺会改变纹理在模型表面上的重复方式，而视差遮挡会根据模型的凹凸信息对纹理进行变形。因此，当两者同时使用时，纹理的UV坐标可能会发生变化，导致纹理的映射出现问题。

为了解决这个问题，可以尝试以下方法：

调整全局平铺和视差遮挡的参数，以找到一个平衡点，使得纹理的映射效果最佳。
使用UV贴图来控制纹理的映射方式，通过在UV贴图中定义纹理的平铺和凹凸信息，可以更精确地控制纹理的映射效果。
使用其他的纹理映射技术，例如三维纹理映射（3D Texture Mapping）或投影纹理映射（Projected Texture Mapping），这些技术可以在一定程度上解决全局平铺和视差遮挡同时使用时的问题。

腾讯云相关产品和产品介绍链接地址：

腾讯云游戏多媒体引擎：https://cloud.tencent.com/product/gme
腾讯云音视频处理：https://cloud.tencent.com/product/mps
腾讯云人工智能：https://cloud.tencent.com/product/ai
腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
腾讯云移动开发：https://cloud.tencent.com/product/mobdev
腾讯云对象存储：https://cloud.tencent.com/product/cos
腾讯云区块链服务：https://cloud.tencent.com/product/baas
腾讯云元宇宙：https://cloud.tencent.com/product/mu

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

OpenGL 实现视差贴图与 UE 中的凹凸贴图偏移（Bump Offset）

UE 中提供了凹凸贴图偏移的贴图来实现修改 UV 坐标达到提升表面细节，使材质产生深度错觉。凹凸贴图偏移是 UE4 中的术语，其实就对应于 LearnOpenGL 网站上的视差贴图。...以视线方向看向点 A 时，由于高度的遮挡实际看见的是点 B，所以在纹理采样时只要在点 A 的坐标基础上加上点 B 的坐标偏移就行了，但是实际上很难准确预测点 B 的存在，它只是粗略估算得到的。...视差贴图存在一定的局限性，主要在于点 B 和向量 P 之间有时候变化很块导致预测误差较大，所以才有了后面的陡峭视差映射和视差遮蔽映射，在 UE 中也提供了视差遮蔽映射的计算，不过本篇先使用简单的视差映射...理解了视差映射的基础概念后，就很容易明白 UE 中凹凸贴图偏移的对外参数含义了。...输入参数 Min Steps 和 Max Steps 表示分层最小和最大数目，输出参数 Parallax UVs 和 BumpOffset 的输出参数一致，表示对纹理采样的偏移值。

1.2K2 0

基础渲染系列（二十）——视差（基础篇完结）

阴影投射器通道不需要视差吗？我们的视差效果会影响纹理。仅在使用反照率贴图的Alpha通道中的不透明度时，纹理才会影响阴影。很少与视差贴图结合使用。另外，阴影贴图中的视差效果也几乎不会引起注意。...（材质里带有视差属性） 1.3 调整纹理坐标要应用视差效果，我们必须使表面的某些部分看起来在其他位置。这是通过在片段程序中调整纹理坐标来完成的。...这是通过从原始高度数据中减去½来完成的。 ? ? （视差贴图在合理的强度以及超过限度）这会产生我们想要的视差效果，但仅在低强度下起作用。位移很快变得太大，撕裂了表面。...在ApplyParallax中简单地定义它来实现。请注意，宏定义并不关心函数范围，它们始终是全局的。 ?...那是因为我们平铺了次要贴图。这会将细节UV缩放10，使视差偏移量变弱十倍。我们还必须将细节平铺应用到偏移量。标准着色器没有考虑到这一点。 ?

3.1K2 0

CVPR 2018 | 中科大&微软提出立体神经风格迁移模型，可用于3D视频风格化

如图 1 所示，通过在优化过程中联合考虑风格化和视差一致性，该方法可以为两个视图生成更加一致的风格化结果。然后作者进一步将这种新的视差损失结合在了为立体风格化所设计的前馈深度网络中。 ? 图 1....该新视差子网络具有两个优点： 1 ) 与使用缓慢全局优化技术的一些最先进的立体匹配算法 [ 33，22 ] 相比，它能够实现实时处理； 2 ) 它是第一个同时估计双向视差和遮挡掩模的端到端网络，而其它方法...本文提出了第一个用于快速立体风格转换的前馈网络，它把风格化、双向视差和遮挡掩码结合成了一个端到端系统。本文提出的视差子网络是第一个可以同时估计双向视差图和遮挡掩码的端到端网络。...左视图、右视图的风格化比较（第一行）；结合了一致性约束的风格化结果（中间行）。前一种方法（没有结合一致性约束）往往会在遮挡掩码边界附近产生纹理不连续。最下行是右视图遮挡掩码和放大的风格化图片。...这两个子网络被集成在一个特征级中间域中，使左视图和右视图完全对称。

1.1K8 0

立体匹配导论

在窗口选择方面，影响匹配效果的关键性因素是匹配窗口的大小，窗口过小就不能包含足够的亮度信息，使亮度变化与图像噪声的比值很小，使得误匹配率升高；窗口过大，则对视差边缘不能很好的体现，且计算量升高，同时匹配效果也有所降低...2.4 遮挡立体匹配中存在的不可见问题是由于场景的几何结构和场景中物体的遮挡。...所谓遮挡是指由于场景中的景物与摄像机之间的相互位置关系所导致的场景中的某些点在一个摄像机中可见，而在另外一个摄像机中不可见的情况。...计算机视觉中研究的遮挡现象几乎都属于半遮挡现象。...遮挡问题的非双目可见性以及伴随的表面不连续性，使它不满足立体视觉的一些约束的要求，是立体视觉研究中的一个难点和重点所在近年来，人们对遮挡区域的检测和测量，乃至恢复遮挡区域的正确深度估计等方向进行了大量的研究

1.6K3 0

Unity高级开发-光照系统-2019.4LFT版本

上图中的Contribute GI（贡献全局光照）选项和Mesh Renderer中的Contribute Global Illumination（贡献全局光照）是联动的。...• Shadowmask模式：如果场景中的灯光模式设置为Mixed，灯光会给场景提供直接光照，间接光照烘焙到光照贴图和光照探针中。Shadowmask和光照探针遮挡信息会被烘焙到阴影信息中。...Ambient Occlusion相关：环境光遮蔽用于为场景中的某些区域比如裂缝，孔洞，墙面的交界处，或者任何两个物体相邻的区域添加类似于阴影的效果。它会让这些地方变得比其他地方更暗一些。...在HDRP中，我们可以在Volume中设置Ambient Occlusion，不过那是针对当前摄像机看到的区域来计算的基于屏幕空间的实时环境光遮蔽，属于实时计算的范畴。...除了在烘焙窗口可以全局指定这些预设的参数，你也可以为场景中参与烘焙的模型的Mesh Renderer组件单独指定预设的参数，示例如下图所示： ?

2K6 2

基于MAP-MRF的视差估计

参考影像的深度估计可以转化为立体像对的视差估计，传统方法利用稠密匹配的算法进行快速特征匹配，例如半全局匹配算法，而往往在收到遮挡的影响而效果不佳。...我们首先给定一个视差范围，例如0至16个像素，利用MAP-MRF框架的视差估计结果，并和半全局匹配算法得到的初始视差图对比结果如下。 ?...，同时，对比发现，BP算法能将局部信息进行全局传递，从而在视差图边缘部分不会出现没有参考，只能用0视差填充的黑色边框。...首先，通过MAP，将视差估计问题转化为最大化视差后验概率问题，之后本文结合MRF对图像进行建模，并在该框架下得到视差估计的能量函数和优化条件。最后利用BP算法进行求解。...实验表明，本文的算法比原有的直接计算像对视差的结果更为完整和平滑。同时，就光照变化、遮挡问题对置信度传播方法的挑战，本文将结合深度学习方法再进行进一步的研究。

9711 0

三维重建24-立体匹配20，端到端立体匹配深度学习网络之置信度计算的几种思路

这一计算仅在特征图的每个位置执行一次位移，依赖于初步视差的相应值。如果重建误差较大，表明估计的视差可能不准确或来自被遮挡的区域。...下面的文章[8]给出了一个不错的思路作者介绍了两种轻量级方法，使概率深度网络的监督学习变得实用：首先，他们提出了用于分类和回归的概率输出层，只需要对现有网络进行最小的更改，就可以让网络给出结果的不确定性估计...四.结合局部信息和全局信息来计算置信度在我们前面介绍的多种预测置信度图的方案中，通常利用的是输入信息中的局部特征。比如刚才我们提到的很多方法，都是基于输入视差图的小patch来训练的。...然而，一些学者提出，除了这种局部信息，还应该参考全局的信息来更好的预测置信度图。最好是把全局信息和局部信息结合在一起，这是符合我们的直觉的。比如下面这篇文章[9]就是如此做的。...于是，作者又提出了结合全局信息和局部信息的结构，如下图所示。其中橙色块CCCNN/LFN是两种不同的局部网络，即上面的(a)图和(c) 图的结构。

1721 0

72. 三维重建7-立体匹配3

而经典的利用全局信息进行视差优化的思路(上图右边路径)，则是希望寻找到每个像素的最优视差结果，使得全局的、整体的匹配代价最小，这一步被称为视差优化(Disparity Optimization)。...这一项用于约束全局代价最小化。但是代价函数中通常含有噪声和错误，直接最小化求得的结果也会有很多问题，所以还需要第2项平滑项。...另外由于仅仅在1D方向上进行优化，它还会产生强烈的水平撕裂感，如下图所示： 3.2 基于半全局匹配的方法最早提出半全局匹配(Semi-Global Matching)的是下面这篇文章在这篇文章中...等号左边就是像素p取视差d的代价，而其中第1项是如下这样聚合而来，这也是和普通的不做聚合的半全局匹配方法的重要区别。上面公式中，权重的公式如下，其中Sr代表参考像素点对应的超像素块。...接下来他又探索了结合超像素分割和局部一致性约束的方案，并发表在下面的文章中：这次的算法分为了两个阶段。

4894 0

ECCV18：谷歌普林斯顿提出首个端到端立体双目系统深度学习方案

在没有纹理的区域，需要昂贵的全局优化技术，特别是在传统的非学习方法中， passive stereo很难实现。...我们提出的损失是通过基于窗口的成本聚合和自适应的支持权重方案优化的。这种成本聚合使边缘保留并使损失函数平滑，这是使网络达到引人注目的结果的关键。...使用半全局方案的传感器输出更适合此类数据，但仍然容易受到图像噪声的影响（请注意第四列中的噪声结果）。相比之下，我们的方法可以产生完整的视差图并保留清晰的边界。 ? 图6.对现有最佳技术的定性评估。...我们的方法可以生成详细的视差图。而目前最先进的方法会受到无纹理区域的影响。传感器半全局方案的噪声更大，输出过于平滑。关于真实序列的更多例子如图8（右）所示，其中我们给出了由表面法线着色的点云。...我们设计了一个新的损耗函数来处理高频模式，照明效果和像素遮挡的情况，以解决自我监督设置中的主动立体声问题。

9061 0

Unity通用渲染管线（URP）系列（八）——复杂的贴图（Masks, Details, and Normals）

该贴图称为遮罩贴图，其各个通道遮盖了不同的着色器属性。我们使用与Unity的HDRP相同的格式，后者是MODS映射。此代表金属，遮挡，细节和平滑度，以该顺序存储在RGBA通道中。...（使用中的遮挡贴图）绿板的某些部分低于其他部分，因此应将其遮挡一点。区域很大，让遮挡贴图处于最大强度以使效果清晰可见，但结果太强又不合理。...HDRP使用ANySNx格式，这意味着它在R中存储反照率调制，在B中存储平滑度调制，并在AG中存储细节法向矢量的XY分量。但是我们的贴图不会包含法线向量，因此我们仅使用RB通道。...尽管HDRP在一张贴图中将法线细节与反照率和平滑度结合在一起，但我们这里将使用单独的纹理。将导入的纹理转换为法线贴图，然后启用“Fadeout Mip Maps”，以使其像其他细节一样淡出。 ?...而且，在使Mip贴图淡化时，Unity会忽略Alpha通道，因此该通道中的数据将不会正确变淡。因此，需要在Unity外部或使用脚本自行生成Mip映射。

4.3K4 0

双目立体匹配

与全局立体匹配算法相似，通过优化一个代价函数的方法计算最佳视差。但是，在局部立体匹配算法的能量函数中，只有基于局部区域的约束数据项，没有平滑项。...局部匹配算法仅利用某一点邻域的灰度、颜色、梯度等信息进行计算匹配代价，计算复杂度较低，大多实时的立体匹配算法都属于局部立体匹配的范畴，但局部立体匹配算法对低纹理区域、重复纹理区域、视差不连续和遮挡区域匹配效果不理想...h*w*d(MAX)的三维数组中，通常称这个三维数组为视差空间图（Disparity Space Image，DSI）。...但所得的视差图还存在一些问题，如遮挡点视差不准确、噪声点、误匹配点等存在，因此还需要对视差图进行优化，采用进一步执行后处理步骤对视差图进行修正。...计算上述匹配代价的时间复杂度为O（w*h*N(p)）,可以使用积分图（Integral Image）或方框滤波（Box Filtering）的方法使时间复杂度下降到O（w*h）。

1.4K2 0

Unity Post Processing后处理

安装使用： Unity使用内置渲染管线时，使用Post Processing后处理需要到Package Manager中进行搜索下载安装：而URP通用渲染管线或者HDRP高清渲染管线中已经集成...，无需下载安装，直接在Inspector检视面板添加组件Volume可以看到，而且效果丰富了许多：本文介绍在内置管线中Post Processing后处理的使用，在Package Manager...场景中创建一个物体，为其添加一个Post-process Volume组件，并将创建的profile文件拖拽赋值，勾选Is Global表示作用于全局，不勾选则表示作用于局部，需要给其添加一个Collider...Post-process 完成后就可以在Post-process Volume中添加效果了：效果简介： 1.Ambient Occlusion 环境光遮挡：该效果使未在光线照射的区域，例如物体交界...下面分别是未开启和开启环境光遮挡的效果：图一图二 2.Auto Exposure 自动曝光：该效果模拟人眼如何实时调整亮度变化。

9211 0

利用双目相机数机数据进行实时动态障碍物检测和跟踪

》中的像素格子，2D占用网格是机器人需要避障的地方。...我们作出以下贡献： 1）一种新颖的实时算法，用于基于有噪声的双目相机数据检测和跟踪通用动态对象； 2）一种将上述算法与基于视觉的人员检测器相结合的方法，以提高在短暂遮挡下，检测和跟踪性能以及处理能力；...据我们所知，这是第一个提出完整解决方案的工作，该解决方案使用双目摄像机通过结合全局最近邻搜索和可视人检测器(global nearest neighbor searches)来检测和跟踪通用动态对象。...1）块匹配(Block-Matching)：我们使用半全局块匹配，并在所得视差图上应用加权最小二乘滤波器； 2）深度双目(Deep Stereo)：最近，出现了学习从立体图像推断视差值的深度神经网络。...图4 动态物体检测时的遮挡处理左：由于当前聚类C在上一帧中被聚类A遮挡，因此聚类C被排除在投票范围之外，而聚类A属于另一个群集；右：没有将当前聚类E排除在表决范围之外，因为在前一帧中它被属于同一聚类

1K2 0

计算机视觉方向简介 | 半全局匹配SGM

，一篇提出了物方的SGM，另一篇则将SGM与深度学习相结合，代码是笔者从网上找的开源代码，供读者参考。...semi-global matching，即半全局匹配，顾名思义，即为一种介于局部匹配与全局匹配之间的匹配算法，其较好的中和了局部匹配和全局匹配的优缺点，在精度和效率上有较好的平衡，现在已经较为广泛的应用于许多商业软件中...上式中能量函数的最优化是一个NP问题，故而SGM提出了一个思路，即将像素所有视差下的匹配代价进行像素周围所有路径（比如8或者16）上的一维代价聚合，然后再将所有的一维代价聚合值相加，以近似二维的最优，这不仅可以取得和全局算法相媲美的结果...虽然还是在全局的框架下，但是整体的计算效率已相较于全局算法有了很大提升。上一步代价计算步骤中所计算出来的代价仅仅是能量函数中的数据项，在经过聚合步骤后的代价才会被用来计算最优视差。...比如经常使用的左右一致性检查，可用来剔除遮挡点所产生的错误匹配，对视差图的改进比较大，有时候甚至可以成为许多算法的“遮羞布”。

3.7K1 0

78. 三维重建12-立体匹配9，经典算法PatchMatchStereo

三维重建5-立体匹配1，立体匹配算法总体理解中提到的全局法的路子，来求取视差图，并且不用做代价聚合。...直到视差干扰范围值 |Δd|<0.1 这种干扰范围指数下降的方式能够使我们一开始进行较大范围的调整，而后当平面参数接近正确时又快速降低调整范围，不至于跳过最优平面。...现在利用fa和fb，以及p的x/y坐标，我们可以计算出新的视差值。接下来我们取这两者之间更小的那个，作为p点的新视差值。由于我这边选择的摩托车的图集，基距大，最近视差大，因此有很多遮挡区域。...不过我对这个滤波器的效果存疑，虽然我们看到摩托车的细节变好了，但本来平滑的地面视差似乎被这个滤波器破坏了，变得略显凹凸不平，有点遗憾。三....在同一篇论文中，作者还描述了一种基于上面的思想进行全局代价优化的方式，类似于我之前将的思想：先建立全局代价函数，然后对它进行优化得到视差图：其中数据项的计算就会用到上面PatchMatch的思想：

6522 0

随时随地，追踪每个像素，连遮挡都不怕的「追踪一切」视频算法来了

之后，CV 领域掀起了一阵「二创」狂潮，一些工作陆续在分割的基础上结合目标检测、图像生成等功能，但大部分研究是基于静态图像的。...他们联合提出了一种完整且全局一致的运动表征 OmniMotion，并提出一种新的测试时（test-time）优化方法，对视频中每个像素进行准确、完整的运动估计。...然后，该研究添加了一个优化过程，使其可以用任何帧中的任何像素查询表征，以在整个视频中产生平滑、准确的运动轨迹。值得注意的是，该方法可以识别画面中的点何时被遮挡，甚至可以穿过遮挡追踪点。...OmniMotion 表征传统的运动估计方法（例如成对光流），当物体被遮挡时会失去对物体的追踪。为了在遮挡的情况下也能提供准确、一致的运动轨迹，该研究提出全局运动表征 OmniMotion。...新方法在（长时间）遮挡事件中显示出了出色的识别和追踪的能力，同时在遮挡期间为点提供合理的位置，并处理很大的摄像机运动视差。

2823 0

三维重建14-立体匹配10，经典视差优化算法Fast Bilateral-Space Stereo

，及错误像素占比在无纹理区域，有纹理区域，遮挡区域，非遮挡区域，深度不连续区域共5个区域计算和理想视差图之间的均方根误差，及错误像素占比在不同视角下进行反向变换，计算变换后的投影误差，即所谓预测误差...三维重建7-立体匹配3，立体匹配算法中的视差优化中，我曾经讲过，立体匹配的全局代价优化法的思想是希望寻找到每个像素的最优视差结果，使得全局的、整体的匹配代价最小，这一步被称为视差优化(Disparity...所以，总结下Jon Barron要想解决的问题：用极高的速度解决立体匹配的全局代价优化问题在计算机科学中，甚至在所有门类的科学中，有一种思想是问题的转换。...由于双边空间中的问题规模大大小于原始问题，因此问题求解就变得很快速很容易了。我们在下一节，进一步看看Jon是如何做到的。四....利用双边空间优化全局代价函数我们看看下面Jon构建的代价函数，加号前面一项是平滑项，后面一项是数据项，我们就是要最小化这个式子，全局匹配代价函数 4.1 平滑项平滑项平滑项中的di和dj是一幅视差图中不同位置的像素的视差值

8082 1

来聊聊双目视觉的基础知识（视察深度、标定、立体匹配）

在初始代价匹配中，其计算范围只限于局部窗口中，只考虑了局部的相关性，对噪声非常敏感。为了得到更优的匹配，必须进行代价聚合操作。在代价聚合中，半全局匹配算法采用了全局能量最优策略。...该方法设定一个全局能量函数，通过对其进行不断的优化，使该函数逐渐取到最小值，从而保证每个像素是最优匹配。该函数的定义如下： ?...在半全局匹配算法中，视差计算的操作较为简单，其采用赢家通吃的算法，即对每个像素来说，其代表的最优视差为最小代价聚合值。...这种错误匹配的现象在实际中并不少见，图像的噪声、遮挡、弱纹理和重复纹理都会导致这一现象产生。因此，为了提高匹配的精度，必须要对错误的匹配进行剔除。...每种剔除错误匹配方法，都有其无法识别的情况，在实际应用中，可以将几种方法结合使用。

10.7K6 1

Tracking Everything Everywhere | 随时随地，追踪每个像素，连遮挡都不怕

之后，CV 领域掀起了一阵「二创」狂潮，一些工作陆续在分割的基础上结合目标检测、图像生成等功能，但大部分研究是基于静态图像的。...他们联合提出了一种完整且全局一致的运动表征 OmniMotion，并提出一种新的测试时（test-time）优化方法，对视频中每个像素进行准确、完整的运动估计。...然后，该研究添加了一个优化过程，使其可以用任何帧中的任何像素查询表征，以在整个视频中产生平滑、准确的运动轨迹。值得注意的是，该方法可以识别画面中的点何时被遮挡，甚至可以穿过遮挡追踪点。...OmniMotion 表征传统的运动估计方法（例如成对光流），当物体被遮挡时会失去对物体的追踪。为了在遮挡的情况下也能提供准确、一致的运动轨迹，该研究提出全局运动表征 OmniMotion。...新方法在（长时间）遮挡事件中显示出了出色的识别和追踪的能力，同时在遮挡期间为点提供合理的位置，并处理很大的摄像机运动视差。

5282 0

基于图论的立体匹配方法研究----绪论

1.2 国内外研究现状国外在计算机立体视觉上的研究开展较早，Roy[7]最早将图割算法应用于立体匹配，并通过实验表明，图割算法能有效克服其他全局优化算法的缺点（如动态规划算法等生成视差图产生的横向条纹瑕疵...Geiger等[8]，针对高分辨率图像立体匹配运算时间长的问题，创造性的提出了使用强约束点（纹理或特征信息较为丰富）作为支撑点，在强约束点之间通过三角剖分对视差图进行插值计算，结合OpenMP技术在通用...其中大部分方法采用对待匹配图像进行图像分割后，再结合能量最优化的方法进行立体匹配。...针对大多数场景中只需计算特定目标视差的需求，通过有效利用网络图先后完成了图像分割和立体匹配的工作，降低了算法的空间复杂度和内存占用，并且减少了运算时间。...最后介绍了立体匹配的几种主要算法，立体匹配后处理中遮挡问题的处理。

8173 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭