我正试图用three.js在浏览器中编写一个支持生成应用程序,我已经尝试过许多方法,而且它们都是缓慢的,所以现在我决定让着色器计算悬置位置,我的程序构建了对这些点的支持。
悬挂式检测着色器输出:
现在的问题是,我不知道如何将那些红色区域返回到CPU /main JavaScript应用程序以生成对这些点的简单支持,我在这里读到了关于涉及FBO的GPU方法,但无法理解这一点,有没有办法将红色区域坐标返回到CPU?
我也可以在顶点着色器中计算这一点,以将非重叠顶点的位置更新为0,0,0,但问题是三个JavaScript中的顶点位置不会以这种方式更新,如果在顶点着色器执行后有某种方法得到更新的顶点位置,这可能是一个解决方案。
也许转换反馈?如何使用来自three.js的转换反馈?
发布于 2017-05-22 00:04:26
如果您只想获得呈现的映像(就像您在问题中链接的图像),可以在readPixels
readRenderTargetPixels周围使用3的包装器。这将给您的图像像素值作为一个数组,您可以迭代它并找到红色的区域。此外,由于您的片段着色器似乎做了相当多的二进制决定(黑色或红色),您可以使用其他渠道存储其他信息,例如在顶点着色器中:
// ...
varying vec3 position;
// ...
void main(void) {
// ...
position = gl_Position.xyz / gl_Position.w;
}
在碎片着色器中:
// ...
varying highp vec3 position;
// ...
void main(void) {
// ...
gl_FragColor.xyz = 0.5 * (position + 1.0); // position'll be in (-1, 1) range, where as gl_FragColor's clamped to (0, 1)
gl_FragColor.w = isOverhang ? 1.0 : 0.0;
}
然后在JS代码中:
// ...
const pixelBuffer = new Uint8Array(4 * w * h);
renderer.readRenderTargetPixels(renderTarget, 0, 0, w, h, pixelBuffer);
for (let y = 0, offset = 0; y < h; ++y) {
for (let x = 0; x < w; ++x, offset += 4) {
// does pixel correspond to overhang area?
if (pixelBuffer[offset + 3] > 0) {
const posX = 2 * pixelBuffer[offset] / 255 - 1;
const posY = 2 * pixelBuffer[offset + 1] / 255 - 1;
const posZ = 2 * pixelBuffer[offset + 2] / 255 - 1;
// ...
}
}
}
然而,8位精度可能不足以满足您的需要。在这种情况下,您可以使用FLOAT
或HALF_FLOAT
呈现目标(如果浏览器支持的话)。
您也可以尝试GPGPU方法。基本上,大多数情况下,它使用片段着色器来计算一些值,然后将这些值存储在纹理中(通常也是FLOAT
或HALF_FLOAT
),或者读取回CPU,或者在随后的绘图中采样以使用计算值。在WebGL中有很多关于GPGPU的信息,例如这。
关于变换反馈。是的,它专门用于在某个缓冲区中存储顶点着色器的结果,该缓冲区也可以被读取回CPU (很少)或在GPU上重用,例如作为另一个或甚至相同顶点着色器的输入。但是TF只能在WebGL 2中使用。
发布于 2017-06-03 18:52:42
您可以使用其他FBO或转换反馈。对于变换反馈,唯一的问题是AFAICT,没有办法丢弃顶点,所以就像你刚才提到的,在这种情况下,你能做的最好就是为不重叠的顶点写一些特殊的值。
要使用FBO,您可以制作浮点纹理并检查是否可以呈现给它。在WebGL1中,这意味着启用浮点纹理,将其绑定到框架缓冲区并调用checkFramebufferStatus。在WebGL 2中,它意味着检查和启用EXT_color_buffer_float
(并且仍然调用checkFramebufferStatus)
然后,使用计数0、1、2、3、4、5、6等做一个缓冲区,使用它生成一个gl_Position
,它将写入FBO中的下一个像素。
// WebGL2
varying uint count;
uniform uint2 resolutionOfFBO;
// compute output pixel
uint x = count % resolutinOfFBO.x;
uint y = count / resolutionOfFBO.x;
// set gl_Position so we'll write to that output pixel
gl_Position = vec4((vec2(x, y) + .5) / resolutionOfFBO, 0, 1);
将要写入的数据以不同的形式传递,并在片段着色器中写入该数据。然后使用POINTS
进行渲染。
然后,您可以使用gl.readPixels
读取数据。
解释转换反馈似乎有点长,但这里有一个简单的例子:输入是[1, 2, 3]
,输出是[2, 4, 6]
function main() {
const gl = document.createElement("canvas").getContext("webgl2");
const vs = `#version 300 es
in float in_value;
out float out_value;
void main() {
out_value = in_value * 2.;
}
`;
const fs = `#version 300 es
precision mediump float;
layout (location = 0) out vec4 dummy;
void main() {
dummy = vec4(1);
}
`;
const prog = createProgram(gl, [vs, fs], ["out_value"]);
const inLoc = gl.getAttribLocation(prog, 'in_value');
const outLoc = 0;
const numVaryings = gl.getProgramParameter(prog, gl.TRANSFORM_FEEDBACK_VARYINGS);
const srcBuffer1 = createBuffer(gl, new Float32Array([1, 2, 3]));
const srcVAO1 = createVAO(gl, srcBuffer1, inLoc);
const dstBuffer = createBuffer(gl, Float32Array.BYTES_PER_ELEMENT * 3);
const srcVAO2 = createVAO(gl, dstBuffer, inLoc);
const tf = gl.createTransformFeedback();
gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, tf);
gl.useProgram(prog);
gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, dstBuffer);
// this binds the default (id = 0) TRANSFORM_FEEBACK buffer
gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, null);
// This line is onky because of a bug in Chrome
gl.bindBufferBase(gl.TRANSFORM_FEEDBACK_BUFFER, 0, null);
runFeedback(gl, prog, srcVAO1, tf);
checkGLError(gl);
const result = new Float32Array(3);
gl.bindBuffer(gl.ARRAY_BUFFER, dstBuffer);
gl.getBufferSubData(gl.ARRAY_BUFFER, 0, result);
log(result);
}
main();
function runFeedback(gl, prog, srcVAO, tf, dstBufferInfo) {
gl.enable(gl.RASTERIZER_DISCARD);
gl.useProgram(prog);
gl.bindVertexArray(srcVAO);
gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, tf);
gl.beginTransformFeedback(gl.TRIANGLES);
gl.drawArrays(gl.TRIANGLES, 0, 3);
gl.endTransformFeedback();
gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, null);
gl.disable(gl.RASTERIZER_DISCARD);
}
function checkGLError(gl) {
const err = gl.getError();
if (err) {
log("GL ERROR:", err);
}
}
function createShader(gl, shaderSource, shaderType) {
var shader = gl.createShader(shaderType);
gl.shaderSource(shader, shaderSource);
gl.compileShader(shader);
var compiled = gl.getShaderParameter(shader, gl.COMPILE_STATUS);
if (!compiled) {
console.error(gl.getShaderInfoLog(shader));
gl.deleteShader(shader);
return null;
}
return shader;
}
function createProgram(gl, shaderSources, outputs) {
const shaderTypes = [gl.VERTEX_SHADER, gl.FRAGMENT_SHADER];
const program = gl.createProgram();
shaderSources.forEach(function(shaderSrc, ndx) {
gl.attachShader(program, createShader(gl, shaderSrc, shaderTypes[ndx]));
});
if (outputs) {
gl.transformFeedbackVaryings(program, outputs, gl.SEPARATE_ATTRIBS);
}
gl.linkProgram(program);
var linked = gl.getProgramParameter(program, gl.LINK_STATUS);
if (!linked) {
console.error(gl.getProgramInfoLog(program));
gl.deleteProgram(program);
return null;
}
return program;
}
function createBuffer(gl, dataOrSize) {
const buf = gl.createBuffer();
gl.bindBuffer(gl.ARRAY_BUFFER, buf);
gl.bufferData(gl.ARRAY_BUFFER, dataOrSize, gl.STATIC_DRAW);
return buf;
}
function createVAO(gl, buf, inLoc) {
const vao = gl.createVertexArray();
gl.bindVertexArray(vao);
gl.bindBuffer(gl.ARRAY_BUFFER, buf);
gl.enableVertexAttribArray(inLoc);
gl.vertexAttribPointer(inLoc, 1, gl.FLOAT, false, 0, 0);
gl.bindBuffer(gl.ARRAY_BUFFER, null); // this is not needed
gl.bindVertexArray(null);
return vao;
}
function log(...args) {
const elem = document.createElement("pre");
elem.textContent = [...args].join(' ');
document.body.appendChild(elem);
}
简短的解释是转换反馈,你的输出变体从你的顶点着色器写到一个或多个缓冲区。
要做到这一点,您必须在链接时告诉您的着色器程序,您的输出与gl.transformFeedbackVaryings
。
然后创建一个转换反馈对象。转换反馈对象与顶点数组对象非常相似,只是用于输出而不是输入。通过对每个输出调用gl.bindBufferBase
来指定输出,就像对顶点数组对象上的每个输入调用gl.vertexAttribPointer
一样。
要实际生成输出,您可能需要告诉WebGL不要运行片段着色器
gl.enable(gl.RASTERIZER_DISCARD);
然后绑定转换反馈对象,打开转换反馈并绘制。
gl.bindTransformFeedback(gl.TRANSFORM_FEEDBACK, tf);
gl.beginTransformFeedback(gl.TRIANGLES);
gl.drawArrays(gl.TRIANGLES, 0, 3);
gl.endTransformFeedback();
当您链接程序时,您可以选择单独的或交错的attribtes。使用单独的属性,每个属性可以进入不同的缓冲区,但是您可以编写多少属性是有限制的(min至少是4)。在交错的情况下,所有的输出都会被写入,但是它们是交错的。例如,如果您同时写入位置和法线,则输出将是
position0, normal0, position1, normal1, position2, normal2
都放在同一个缓冲器里。
https://stackoverflow.com/questions/44096746
复制