我有一个下面的dataframe，每当管道运行时，它就会被覆盖，它会添加新的列，其中包含运行日期和每个表的计数。tbl_name")))tbl_name 2019_07_24 2019_07_25def 234 567
如果将来添加新的表名
浏览 4提问于2019-07-25得票数 0
abc2", "d":"abc"}我想聚集列'b'，'c'，'d‘和'f’上的数据，这些数据在给定的json文件中不存在因此，由于列'f‘不存在，我们可以将该列作为空字符串。我正在读取输入文件并像这样聚合数据
imp
浏览 0提问于2017-03-01得票数 17
回答已采纳
1回答
我有一个pyspark dataframe，我想添加一个列，它以重复的方式从列表中添加值。如果这只是python，我可能会使用itertools的循环函数。我不知道用pyspark怎么做。
浏览 27提问于2021-03-10得票数 1
回答已采纳
但是假设我有一个函数，它接受一些数据列表或字典，预期的输出是包含数据的pyspark dataframe。我认为单个会话应该足够了，因此需要检查会话是否存在，如果不存在，则创建一个会话。try: sc = pyspark.SparkContext(mastersqlContext = SQLCon
浏览 2提问于2020-10-31得票数 0
在尝试执行不返回列从而导致过程失败的dataframe.select之前，如何测试字段的存在性。
浏览 4提问于2022-06-21得票数 0
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则字符串应包含value；<
浏览 0提问于2021-02-09得票数 0
2回答
如果字段不存在，我将如何“添加”数据？ datafieldrow002: |b||c|row004:
我如何创建一个mySQL查询，如果该行中不存在这个查询
浏览 1提问于2019-11-11得票数 0
所以我正在使用AWS pyspark，每天都有千兆字节的数据，这些数据正在更新。我希望在glue数据库中的现有表中找到数据的id，如果id已经存在则更新，如果id不存在则插入。
能用AWS胶水做吗？
浏览 9提问于2021-05-08得票数 1
回答已采纳
8.0000000000 0.0097070545 0.0553721351 0.1753057659 18.0297726012 0.0030711499 如果值不存在，我需要向索引radiotap.mcs.index添加值，并使用相同索引sector的相同值填充最后两列(但这并不重要)。
浏览 18提问于2020-09-15得票数 1
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。我试图创建一个连接这两个表的函数，并创建一个新列，如果两个数据文件中存在相同的ID，则创建一个显示“True”或“False”的新列。(not sure wha
浏览 3提问于2021-12-11得票数 0
1回答
但我面临的问题是在info列中，有些值重复，有些不重复，如果列名重复，则必须在该列中附加数据，如果不重复，则应添加另一列.So预期输出如下：在dataframe df中，它与列AA相同，因此在下一个AA出现之前，所有列都会转换为行。在这些CC中，列对于AA不存在，因此它必须为空，但是对于下一个AA，列CC存在，因此它应该附加值。
浏览 16提问于2019-12-03得票数 2
2回答
现在我想添加新的对象，如果我的数组不包含它们的话。示例：
我在集合中已经有了这两个名为"test1“和"test2”的对象。我现在想插入对象"test2“、"test3”和"test4“。
浏览 1提问于2017-02-08得票数 7
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。我需要直接在pyspark中执行相同的函数。连续字符删除函数逐字读取字符串，检查单词是否在例外列表中，如果</
浏览 7提问于2021-03-15得票数 0
回答已采纳
我目前有一个pyspark dataframe，我最初使用下面的代码创建了一个增量表-现在，由于上面的dataframe我想知道我如何用python编写通用的pyspark代码，如果它不存在就创建增量表，如果增量表exists.This我想做的事情追加记录，因为如果我把我的python包给别人，他们的环境中就不会有相同
浏览 1提问于2021-02-24得票数 4
2回答
我想插入一些数据，我的表“测试”通过一个pySpark脚本(火种的python)。我写这个脚本是为了给它添加一个新行(1，dog)：from pyspark import SparkContextdataToInsert.write.mode("append").insertInto("animals"
浏览 2提问于2018-01-25得票数 0
1回答
我希望有一个映射，只有当值是唯一的时候，才有可能添加值。不可能添加重复的键，但我无法让它工作。//cancel transaction - payout if the randomValue exists }
在本例中，我试图检查randomValue值是否为空-不存在如果它不存在，则后面的代码可能会执行。如果它确实存在，则代码必须停止。然而，我无法找到解决办法。
浏览 0提问于2017-09-08得票数 1
回答已采纳
2回答
SQLite添加或插入值
、、、
例如，在表中存在具有值"123“的行(”exml“)，而我想要添加值"4567”。之后必须是"1234567"，如果值不存在，则必须是"4567"，请帮帮我..
浏览 0提问于2012-09-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
