1回答
我正在使用Delta Lake执行合并操作，为此，我尝试将我的拼图文件转换为随时间分区的增量格式： .format("delta
浏览 17提问于2020-05-16得票数 0
我使用Delta lake在我的Glue作业中对我的数据进行更新。我通常将jar文件放在S3中，并在胶水作业中使用该位置。我目前使用的是Delta lake 0.6.1，对于它，我从某个我现在不记得的地方得到了jar文件。问题是它不适用于Spark 3.1。所以我试着为Delta Lake的最新版本找到相同的版本，但找不到。如果有人能给我指个合适的地方就太好了。
浏览 7提问于2021-11-08得票数 0
回答已采纳
根据Databricks的article，将delta lake与AWS Glue集成是可能的。然而，我不确定是否有可能在Databricks平台之外也这样做。是不是有人这么做了？另外，是否可以使用Glue爬虫添加与Delta Lake相关的元数据？
浏览 16提问于2019-10-02得票数 8
我在穿越德尔塔湖的时候遇到了一个配置spark.databricks.delta.snapshotPartitions，但是我不太确定这是用来做什么的？在delta lake文档中也找不到这一点。在delta lake github中找到以下代码，但不确定此属性如何工作 buildConf("snapshotPartitions")
浏览 18提问于2020-05-06得票数 0
回答已采纳
1回答
我是Delta Lake的新手，但我想为Delta Lake中的一些表创建一些索引，以便快速检索。，它表明最接近的是通过创建数据跳过，然后索引跳过的部分：除了跳过数据之外，似乎找不到创建索引的其他方法如何在Delta Lake中像在RDBMS中创建表一样创建索引？
浏览 2提问于2019-10-24得票数 2
为了连接到它，我需要使用参数化的链接服务；但是，我找不到可以为链接的服务参数值寻址的地方：在数据流中，我看不到任何提示来解决我的参数值：
谢谢:)
浏览 7提问于2021-10-20得票数 0
我试图使用Databricks中的以下代码来读取Databricks中的delta / parquet
浏览 9提问于2022-08-06得票数 0
回答已采纳
我们能够通过在ADF中将增量文件源指定为parquet数据集来读取文件。尽管这会读取增量文件，但它最终会读取增量文件中数据的所有版本/快照，而不是专门选取增量数据的最新版本。这里有一个类似的问题-- Is it possible to connect to databricks deltalake tables from adf 但是，我希望从ADLS Gen2位置读取增量文件
浏览 20提问于2020-01-03得票数 1
我需要将数据集读取到DataFrame中，然后将数据写入Delta Lake。但我有以下例外：
AnalysisException: 'Incompatible format detected./` using Databricks Delta, but there is no\ntransaction log present.Check the upstream job to make sure that it is writing\nusing format("delta") a
浏览 62提问于2019-07-16得票数 5
回答已采纳
1回答
instance profile is required to re-create mounting cluster│ with databricks_mount.gfc_databricks_delta_lake,
│ on gfc_mount_delta_lake.tf line 1, in resource "databricks_mount" "gfc_databricks_delta_lake":│ 1: resou
浏览 10提问于2022-08-24得票数 0
可以使用Delta Lake而不依赖于Databricks Runtime吗？(我的意思是，是否可以仅在prem上使用带有hdfs和spark的delta-lake？)
浏览 10提问于2020-03-24得票数 5
2回答
什么是预期的，参考来自以下链接https://docs.databricks.com/delta/delta-streaming.html#delta-table-as-a-stream-sourceEx： spark.readStream.format("delta").table("events") -- As expected, should work fine 问题，我用以下方式尝试了相同的方法： df.write.format(&q
浏览 34提问于2020-06-12得票数 5
回答已采纳
例如：from delta.tables import * ModuleNotFoundError:没有名为'delta‘的模块
但是，使用delta
浏览 2提问于2019-12-04得票数 4
.select("somefield", "anotherField",'partition', 'offset') \ .format("delta
浏览 2提问于2021-01-10得票数 2
我有下面列出在我的湖面文件，我想把地板文件转换为CSV。/RAW/export/")
我已经创建了一个数据文件作为'df‘驻留在这个位置，它提供了以下输出("csv").save("/mnt/lake/RAW/export/")
df.w
浏览 1提问于2022-01-01得票数 -3
回答已采纳
我在ADLS 1中创建了一个Delta表，并在Databricks中使用以下代码：
df.write.format("delta").mode("overwrite").saveAsTable("db.my_tbl现在，我经常在中重新培训一个ML模型，我想知道是否可以注册一个特定版本的delta表？目前，即使在v累加之后，当从my_data文件夹读取拼花文件时，我的所有增量文件(包括旧版本)都在Azure中注册！这是因为，我不能将三角表的
浏览 0提问于2021-12-01得票数 4
回答已采纳
我正在使用delta运行Pyspark，但是当我尝试导入delta时，我得到了一个ModuleNotFoundError: No module named 'delta'。这是在一台没有互联网连接的机器上，所以我必须手动从Maven下载增量核心jar，并将其放到%SPARK_HOME%/jars文件夹中。我的程序运行正常，没有任何问题，而且我能够从delta中写入和读取，所以我很高兴我得到了正确的jar。但是当我尝试导入增量模块from delta.tabl
浏览 25提问于2020-06-11得票数 2
回答已采纳
1回答
我的目标是不断地将传入的拼图文件放入delta-lake，进行查询，并将结果放入Rest API中。所有文件都在s3存储桶中。listen for changesdf.writeStream()
.format("<em
浏览 5提问于2020-10-16得票数 0
我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。 我已经尝试过将多个文件压缩为单个文件。getOrCreate()
val df = spark.read.parquet("deltalakefile/data
浏览 16提问于2019-10-13得票数 4
回答已采纳
1回答
是否有可能在内部实施delta lake？如果是，需要安装哪些软件/工具？ 我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。
浏览 20提问于2021-02-10得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
