我在Spark中使用instr()函数时遇到了问题。函数的定义如下：问题是我需要使用列类型值作为第二个参数。我创建了获取两个列类型参数的示例函数：
def test_func(val1:Column, val2:Column) : Col
浏览 6提问于2018-07-13得票数 0
回答已采纳
我试图复制Oracle函数，但在我看来，并非所有的参数都存在于Instr中。我收到此错误，我希望将此转换包含在表中的"plataforma“字段中，但我不能：SUBSTR(a.SOURCE, 0, INSTR(a.SOURCE, '-', 1, 2) - 1)运行查询错误: org.apache.spark.sql.AnalysisException:函数inst
浏览 5提问于2020-02-03得票数 1
回答已采纳
2回答
我在Spark中使用instr()函数时遇到了问题。函数的定义如下：instr(Column str, String substring) 我想以与Impala中相同的方式使用instr，如下所示： instr(Column str, String substring, Int [position]) - return index position 在spark<
浏览 78提问于2020-07-15得票数 1
回答已采纳
我有一个带有一些列(col1，col2，col3，col4，col5...till 32)的spark数据帧，现在我已经创建了一个函数(udf)，它接受两个输入参数并返回一些浮点值。现在我想创建新的列(按升序排列，如col33、col32、col33、col34..)使用上述函数时，一个参数增加，另一个参数不变 def fun(col1,col2):
if
浏览 44提问于2020-09-02得票数 0
，json_col包含一个嵌套的dict/json，其中的第一个键是来自source_word列source_1的单词，然后是方法名(比如method1, method2, ..., methodn )，最后它有一个带有<w, target_word>模式的字典列表(w只是一个字面意思，表示这是一个单词)。我有兴趣检查json_col是否包含源单词source_1作为键，后面是method1，关键字target1在method1中。如何在<
浏览 5提问于2020-11-06得票数 1
回答已采纳
我有一个拼图面板表，该表包含一个带有新行数据的列。因此，当在该表上触发配置单元查询时，新行数据将被视为新记录，我可以在配置单元中通过设置参数"set hive.query.result.fileformat=SequenceFile;“克服这一问题。现在，我正在迁移此参数和MR查询，以便在spark sql中运行。此外，我还想在实际查询之前运行一些其他查询，如drop table语句。我的代码如下所示
<e
浏览 10提问于2018-08-08得票数 0
2回答
条件的第一部分是ok，我在spark中使用列类的“相等”方法，但是对于“大于”条件，当我在java中使用以下语法时：它不工作，它似乎是星火sql中列的"gt“函数，只接受数值类型，当您传递列类型作为它的输
浏览 2提问于2017-04-03得票数 1
回答已采纳
在spark 1.4.1中，callUdf方法的参数是没有任何方法可以直接作用于列，如1.5.1中的方法那么如何在1.4.1中调用UDF呢？或如何将列类型更改为
scala.collectio
浏览 1提问于2016-11-28得票数 0
回答已采纳
在Apache中，我可以使用startsWith函数来测试列的值：在Spark表达式中也可以这样做吗
浏览 0提问于2019-01-03得票数 6
回答已采纳
我是SQL人员，是Spark SQL的新手string name = 'john-smith'我已经在SQL Server中做了，但现在需要在Spark SQL中做。select when charindex('-', name) =
浏览 0提问于2019-07-02得票数 3
回答已采纳
2回答
我正在尝试使用Spark包()将csv文件读入Spark DataFrames。CSV文件中的列类型可以自动推断吗？
浏览 3提问于2015-04-19得票数 5
回答已采纳
to true and use this API with caution;
在Spark3.0中，默认情况下不允许使用建议删除要自动切换到类型化Scala的返回类型参数，或者将spark.sql.legacy.allowUntypedScalaUDF设置为true以继续使用它。在SparkVersion2.4和更低版本中
浏览 9提问于2020-12-03得票数 6
回答已采纳
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。insert into outpu
浏览 1提问于2019-01-09得票数 4
回答已采纳
在使用Spark的DataFrames时，需要用户定义函数(UDF)来映射列中的数据。UDF要求显式指定参数类型。在我的例子中，我需要操作一个由对象数组组成的列，但我不知道要使用哪种类型。org.apache.spark.sql.functions对列中的数
浏览 2提问于2016-08-18得票数 29
回答已采纳
我有一个使用mx:DataGrid、mx:AdvancedDataGrid和s:DataGrid的应用程序。我们将可打印的dataGrid的列设置为要打印的dataGrid的列，如下所示：printAdvancedDataGrid.columns当dataGrid-to-print为spark时，将迭代
浏览 2提问于2012-10-23得票数 2
我有一个函数声明：其中instr_id的类型为i，tp_time的类型为v。different lengths of operands for synchronized operation or table columns lengths are not the same
我想要的是
浏览 0提问于2018-06-29得票数 2
回答已采纳
我正在尝试使用spark jdbc从一个表中读取5亿条记录，然后在该表上执行连接。当我从sql developer中执行sql时，它需要25分钟。但是当我使用spark JDBC加载它时，它花费了很长时间，最后运行了18个小时，然后我取消了它。为此，我使用了AWS-GLUE。 这就是我使用spark jdbc阅读的方法。partitionColumn OUTSTANDING_ACTIONS，这里的数
浏览 105提问于2020-10-30得票数 1
回答已采纳
我有一个像下面这样的数据框，只有一列和一行，我想创建一个函数来用一些文本替换匹配的字符串。df2 = pd.DataFrame([['_text1']],columns = ['my_texts'])
def text_funcmy_texts".startswith('_text1') == True, 'text_passed&
浏览 19提问于2019-07-18得票数 1
回答已采纳
我正在研究Pyspark，创建了一个包含一些长和十进制类型列的示例数据格式。在这里，我想将十进制类型的列值取为两个小数点，而不舍入。下面是我尝试过的代码。df = spark.createDataFrame([ (453.987, "hello", "python"),
(768.66, "testco
浏览 2提问于2020-05-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
