我对databricks notebooks和dataframes不熟悉。我需要将一个包含大约1400万条记录的表中的几列加载到dataframe中。一旦表被加载，我需要根据两列中出现的值创建一个新列。 我希望在将表加载到dataframe中时，为新列编写逻辑以及select命令。首先将这几列的表加载到df中，然后在已加载的df上执行列操作，是不
浏览 12提问于2020-12-20得票数 0
我有在databricks中运行的pyspark笔记本。我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。例如，在第2天，添加了两个新列E和F，但没有C列。现在我在数据帧</
浏览 18提问于2021-10-29得票数 0
1回答
我想把一些测试数据加载到Cosmos db中，但不能批量加载。那么，我们如何将样本测试数据批量加载到cosmos表中，这与数据加载器实用程序类似，从而将模拟数据带入cosmos表中？
浏览 13提问于2018-08-11得票数 1
我在Azure SQL Server数据库中有一个表，该表是从我的Dataframe填充的。我想使用pyspark / pandas基于多条件数据库来更新这个表。我是PySpark / Databricks / Pandas的新手，有人能告诉我如何更新表吗？我已经将数据插入到表中-我可以想到的一种解决方案是将表中的数据</em
浏览 2提问于2020-04-20得票数 0
我可以通过内部stage将CSV文件批量加载到Snowflake中，或者直接将数据加载到表中。 我遇到的问题是，文件名包含重要信息，必须包含在表中。如何将CSV文件批量加载到Snowflake中，同时添加文件名作为附加列？ 例如： ?
浏览 12提问于2020-10-14得票数 1
回答已采纳
如果我像这样创建一个数据帧：spark实际上是将数据(从csv文件)加载(/copy)到内存中，还是作为分布式数据集加载到底层文件系统中？我之所以这样问，是因为在加载df之后，底层文件数据中
浏览 1提问于2019-10-25得票数 2
我有一个要求，把数据从csv/熊猫数据写到databricks表。我的python代码可能不在databricks集群上运行。我可能在一个孤立的独立节点上运行。我使用databricks python连接器从databricks表中选择数据。选择是有效的。但我无法从csv或熊猫的数据加载到数据库。我是否可以使用databricks python连接器将c
浏览 5提问于2022-08-19得票数 0
1回答
我有一个函数，它应该在Netezza中创建和加载一个表。connection to nzCon
quit;谢谢!
浏览 2提问于2018-10-30得票数 1
回答已采纳
假设表中有一个带有值的十进制列，例如: 128.98、283.98、21.20。
我想将一些CSV文件导入到这个表中。但是，在这些文件的列中，我有像235,69，23,23这样的值，用逗号代替点。我知道我可以替换那个列，但是在加载INFILE之前有什么方法吗？
浏览 5提问于2015-06-01得票数 0
回答已采纳
我的工作目前实现了Azure Databricks。是否可以定期将我的数据帧作为csv自动下载到本地网络驱动器路径？例如，我们公司有周期性的报告，希望我可以通过在databricks中创建数据帧来实现自动化，并以某种方式让azure将csv下载到我们公司网络文件夹中的特定路径中。这有可能吗？仅供参考，我知道我可以将csv文件保存到文件存储(dbfs)，但主要问题is..how我或a
浏览 27提问于2020-01-08得票数 1
我创建了数据工厂管道，将初始和增量数据从Az MySql数据库加载到Data Lake中。 将数据从MySql加载到数据湖的初始管道都很好。作为.parquet文件持久化。现在，我需要通过一些基本的类型转换将它们加载到SQL Server表中。最好的方法是什么？ Databricks =>挂载这些.parquet文件，标准化并加载到SQL Server<em
浏览 22提问于2020-04-21得票数 0
我们在中创建了一些视图。我们需要基于一个水标列来递增地查询这些数据，并且它必须被加载到Azure数据湖容器中，进入原始层，然后再加载到管理层。在原始层中，文件应该包含整个数据(满载数据).So，基本上我们需要附加这些数据并作为一个满载导出。我们是否应该使用Databricks Delta湖表来处理这个需求。如何将数据</
浏览 4提问于2022-10-25得票数 0
使用Python-3，我试图将Excel (xlsx)表与Databricks中相同的星火表进行比较。我希望避免在Databricks中进行比较。因此，我正在寻找一种通过Databricks api读取星火表的方法。这个是可能的吗？我怎样才能继续读一张桌子: DB.TableName？
浏览 8提问于2021-03-19得票数 1
回答已采纳
我正在使用databricks。X有数十亿条记录，太大了，不能收集到一台机器上。我要怎么做才能让它正常工作？SparkDataFrame" 和 class(x) 返回:1 "SparkDataFrame“attr(，"package") 1 "SparkR” Mastering Spark with R这本书中有一个加载小型r数据帧并在其上运行summarize_all的示例： cars <- copy_to(sc, mtcars)
summarize_all(cars, mean)
浏览 17提问于2020-09-24得票数 2
回答已采纳
1回答
我刚刚开始使用databricks/pyspark。我正在使用python/spark 2.1。我已将数据上载到表中。该表是一个充满字符串的单列。我希望对列中的每个元素应用一个映射函数。我将表加载到数据帧中：我能看到的唯一方法是别人说的是将其转换为RDD以应用映射函数，然后返回到
浏览 1提问于2017-07-31得票数 18
回答已采纳
1回答
我想把我的数据表从MySql数据库转换成HBase。我将用java代码来实现。有什么办法可以做到这一点吗？我不会通过导入Tsv文件或批量文件来做到这一点。请帮帮我。
浏览 2提问于2013-09-12得票数 0
1回答
我定义了一个特定表的DataSource，如下面的代码所示："Dsn=R10;Uid=sa;Pwd=Abcd1234@;IntegratedSecurity=True;Connect Timeout=30;User Instance=True;", DataAccessMethod.Sequential)]
当数据源从表中获取数据时，它是将表</e
浏览 1提问于2014-03-03得票数 3
目前，我们使用调用存储过程的本地脚本将数据文件加载到Azure sql数据库中。我计划用ssis作业替换脚本，将数据加载到Azure Sql中，但考虑到我们的需求，这是否是一个好的选择，我也可以接受不同的建议。我们所经历的过程是在对活动表进行更新之前将数据文件加载到暂存表并进行验证。验证和更新是通过调用存储的procedures...so来完成的，ssis包将只加载数据并调用这些存
浏览 5提问于2019-11-08得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
