Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Byzer 内置数据湖基础

Byzer 内置数据湖基础

作者头像
用户2936994
发布于 2022-12-07 07:01:17
发布于 2022-12-07 07:01:17
25900
代码可运行
举报
文章被收录于专栏:祝威廉祝威廉
运行总次数:0
代码可运行

该文是 [Delta Lake 数据源](https://docs.byzer.org/#/byzer-lang/zh-cn/datasource/dw/delta_lake) 一个补充。

DeltaLake 作为Byzer 的内置数据源,使用非常简单,只需要添加启动参数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
-streaming.datalake.path "对象存储某个目录"

这样启动 Byzer 引擎后,你就可以把数据保存到 数据湖里去了:

刷新下侧边栏,就可以看到 demo 目录下有 table1 表。

如果用户不想以库表方式保存数据,那么可以这么操作:

然后刷新目录,就可以看到 FIleSystem里有相关目录产生了。 读取话也是配置 load 中的 mode="path"。

如果用户使用绝对路径怎么办?我们知道 /tmp/demo/table1 这个目录是个人目录,其他用户是无法看到的。这个时候可以使用带schema的绝对路径。比如:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
save overwrite table1 as delta.`oss:/YOUR_BUCKET_NAME/tmp/demo/table1` 
where mode="path";

因为 Byzer 默认是不支持使用带Schema路径的,所以你需要开启一个白名单:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
--conf spark.mlsql.path.schemas="oss"

这样所有以 oss://bucket 开头前缀的地址都不会被改写,用户可以正确的去访问这个地址。多个对象存储schema可以按逗号分隔。

注意,你需要通过 core-site.xml 文件配置对应的bucket信息,或者通过祝威廉:如何随心所欲玩转各种云厂商对象存储 提及的方式,添加对象存储的支持。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-12-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
27.opengl高级光照-点光源阴影
接上一篇继续,实际中的光源几乎不会是平行光,点光比较多。点光的阴影生成原理和阴影映射基本相同,区别是阴影映射使用一张2D图作为深度缓存,点光照射是6个面,需要6个面的纹理来存储深度值
公号sumsmile
2020/07/21
1.4K0
27.opengl高级光照-点光源阴影
25.opengl高级光照-Gamma校正
简单理解:人对光强度的感知是非线性的。亮度的范围如果是[0,1],0是黑色,1是纯白色,那么0.5应该代表的是中间灰色吗?NO!!人能感知到的中间灰度值是亮度为0.2左右的光强。
公号sumsmile
2020/07/15
9190
24.opengl高级光照-Blinn-Phong
冯氏光照在逼近真实光照和性能之间做了很好的平衡,解决了绝大部分场景的需求,也存在一些细节问题。这一章节讲Blinn-Phong通过对冯氏光照做的一些优化。
公号sumsmile
2020/07/15
1K0
31.opengl高级光照-泛光bloom
bloom技术模拟现实场景中高亮光照效果,通过对光照增加模糊,形成一圈泛光,增强光照的辐射。
公号sumsmile
2020/08/11
1.3K0
31.opengl高级光照-泛光bloom
29.opengl高级光照-视差贴图
上一篇法线贴图使用了法线纹理,通过法线的变化来控制漫反射和镜面反射的强度,加强了纹理渲染的层次感,明暗渐变更符合实际情况。视差贴图在法线贴图之上,增加物体表面的凹凸感。
公号sumsmile
2020/07/28
9170
29.opengl高级光照-视差贴图
26.opengl高级光照-阴影映射
涉及的代码不少,其实逻辑不复杂,参考原文和代码: learnopengl-阴影映射 learnopengl-阴影映射-代码
公号sumsmile
2020/07/16
1.1K0
21.opengl高级-几何着色器
几何着色器可以在顶点发送到着色器之前随意变换。可以这么理解:顶点着色器是接收属性,一般不做过多处理,保持原数据,算是第一层接口层;片元着色器一般处理color;如果想做些特殊处理,通过在中间加一层几何着色器把流程拆碎,分工更细致,达到工程代码高内聚低耦合,拓展性更合理。涉及的知识点不多,下面直接通过实例来说明几何着色器的使用原理
公号sumsmile
2020/07/14
1.1K0
28.opengl高级光照-法线贴图
为了增加渲染的真实感,图片纹理对每个片段增加法线,渲染时根据不同的法线计算独立的光照效果。
公号sumsmile
2020/07/21
1.1K0
28.opengl高级光照-法线贴图
30.opengl高级光照-HDR
HDR:High Dynamic Range, 高动态范围 LDR: Low Dynamic Range, 低动态范围
公号sumsmile
2020/08/11
1.3K0
30.opengl高级光照-HDR
22.opengl高级-实例化
绘制有共同特征,或者按照一定规则变化的图形阵列,如果挨个按照普通流程来绘制:绑定VAO、绑定纹理、设置uniform-->调用glDrawArrays(GL_TRIANGLES, 0, amount_of_vertices)性能上会比较差,opengl渲染管线流程中,CPU<-->GPU数据通信是很大的开销。
公号sumsmile
2020/07/14
7610
32.opengl高级光照-延迟着色法
之前的章节,渲染流程从前往后,每个形状依次绘制,简单的场景这是没有问题的,而且很好理解。如果绘制复杂的场景,物体数量很大,这么做对性能消耗很大,“延迟着色法”就是针对超多元素的场景渲染的优化。
公号sumsmile
2020/08/11
1.2K0
32.opengl高级光照-延迟着色法
38.opengl-字体渲染
早期的文本渲染,是将需要的字符集放到一个大纹理中,这个纹理称为“位图字体”,渲染某个字符时,通过查找坐标,找到该字符对应的区域并渲染出来,再启动混合,让字符纹理的背景保持透明,非常容易理解。
公号sumsmile
2020/10/10
1.8K0
38.opengl-字体渲染
35.opengl PBR-光照
这一章节就是把PBR-理论用代码实现一遍,其中球体的绘制参考一章:opengl-球体的绘制。
公号sumsmile
2020/08/28
5820
35.opengl PBR-光照
9.opengl光照-漫反射贴图
现实世界中,物体的材质通常不止一种,比如汽车有车壳、轮胎、窗户,每一种材质都会有漫反射和环境光颜色。
公号sumsmile
2020/06/19
1.2K0
9.opengl光照-漫反射贴图
14.opengl高级-模板测试
1.3 stencil test在graphics pipeline里面的位置,模板测试在深度测试之前
公号sumsmile
2020/06/28
1.1K0
14.opengl高级-模板测试
17.opengl高级-帧缓冲(1)
1.3. check帧缓冲状态(没有深入理解,具体需要检测哪些数据),后面的操作渲染到当前帧缓冲中,即离屏渲染(Off-screen Rendering),窗口上看不到任何变化
公号sumsmile
2020/07/10
1.9K0
17.opengl高级-帧缓冲(1)
12. opengl模型加载-assimp编译(mac)
源码编译有两处坑: 2.1 Ver 3.3.1源码有笔误,编译报错,4.1+版本无此问题,亲测
公号sumsmile
2020/06/23
2.7K0
12. opengl模型加载-assimp编译(mac)
NDK OpenGL ES 3.0 开发(十五):立方体贴图(天空盒)
OpenGL ES 立方体贴图本质上还是纹理映射,是一种 3D 纹理映射。立方体贴图所使的纹理称为立方图纹理,它是由 6 个单独的 2D 纹理组成,每个 2D 纹理是立方图的一个面。
字节流动
2020/06/03
1.4K0
opengl入门-坐标系统(2)单model 3D动画
坐标系统(1)记录了基本的坐标变换的过程,这篇记录从二维到三维生成一个3D动效的代码实现。代码和坐标系统(1)基本一样,涉及到坐标生成和贴图计算有点区别,详细代码如下记录,有几点需要注意:
公号sumsmile
2020/06/11
6620
opengl入门-坐标系统(2)单model 3D动画
opengl入门-坐标系统(1)
坐标系变换流程 变换的好处: 1.1 方便计算 1.2 把很复杂的逻辑拆解成一次次独立的简单变换
公号sumsmile
2020/06/10
1.2K0
相关推荐
27.opengl高级光照-点光源阴影
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验