我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)对hive数据库执行查询已经足够好了，但是当在java应用程序中作为spark sql在相同的数据上运行时，它什么也不会返回。我已经追踪到这个问题是因为'get_json_object‘函数返回的内容不同。当从ja
浏览 51提问于2019-09-03得票数 0
TLDR;下面的JSON路径在与pyspark.sql.functions.get_json_object一起使用时不适用于我。[ 98如果使用上面的路径不是一个选项，我们将如何进行聚合呢？下
浏览 3提问于2021-05-04得票数 1
回答已采纳
3回答
"currency":"USD"} |我一直在尝试使用如下的分解功能它给出了一个关于不能分解字符串类型的错误，并且它需要一个映射或数组。这是有意义的，因为模式表明它是一个字符串，而不是数组/映射，但我不确定如何将其转换为适当的格式。val newDF = dataframe.withColumn(&quo
浏览 1提问于2017-03-17得票数 10
回答已采纳
我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)可以很好地执行查询，但是当在java应用程序中作为spark sql运行时，对于相同的数据，它不会返回任何结果。(regexp_replace(get_json_object('{"product_offer":[{"productNam
浏览 15提问于2019-09-02得票数 0
我有处理JSON并返回每行动态数据结果的UDF。在我的例子中，我需要它来验证数据并返回经过验证的数据。
该模式对于每一行都是灵活的。我试着从我的UDF函数中返回tuple，但我在这方面也不走运(因为我需要从list转换为tuple)，而且我也没有找到一个优雅的解决方案。我返回的数据类型是String、Integer、Double
浏览 93提问于2017-01-24得票数 5
回答已采纳
,'accoId','rating']) # or row = Row(('userId','accoId','rating'))和
浏览 2提问于2016-03-26得票数 2
我有一个嵌套的JSON字符串作为列的一部分。我需要用映射中的一些东西替换更深层次的JSON中的键和值。 val spark = SparkSession.builder().master("local[*]").getOrCreate
浏览 1提问于2021-08-23得票数 0
回答已采纳
我可以通过现在问题是
我需要从数组中取出所有(type虽然我还成功地将所有type字段和total_cost字段分别选择到两个单独的数组中，但由于上面的第二个限制(没有字段)，我最终失去了这种关系。我最终得到的(使用下面的片段)是两个数组(可能有不同的</em
浏览 4提问于2019-09-27得票数 4
回答已采纳
2回答
我有一个ORC文件，我可以使用Pyscem2.2.0将其读取到DataFrame中。from pyspark.context import SparkContextfrom pyspark.sql.functions import*
上面的df有一个模式，如下所示
ro
浏览 2提问于2017-10-03得票数 0
回答已采纳
spark.sql("SHOW TABLE EXTENDED IN DB LIKE 'TABLE'")
这两个查询的结果不同。如果我在Spark中运行相同的查询，它会给出不同于Hive的结果。
浏览 17提问于2019-07-12得票数 0
1回答
FROM TBL1 在那之后，我正在使用下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是，下面的data frame仅使用lowercase中的所有列名创建。而预期的结果是在camel case中，就像我在上面对CTAS所做的那样。df = spark.read.format('ORC') \
浏览 12提问于2019-12-23得票数 1
回答已采纳
1回答
我的目标很简单:我试图得到在json_data中找到的值参数的和，按n分组。不幸的是，一些问题使得执行变得更加复杂。
因为事情不容易，所以json_data列中的值字段的名称总是不
浏览 0提问于2014-10-23得票数 0
回答已采纳
在尝试加载Hive表中的数据时，我遇到了一个对我来说很奇怪的行为。我的数据由JSON对象组成，这些对象作为记录加载到一个名为twitter_test的表中，其中包含一个名为"json“的列。, '') as text, get_json_object(t.json, '$.publishingdate\[0]') as created_at, get_json_object</
浏览 0提问于2016-06-17得票数 0
get_json_object --我试图使用它，但是运行get_json_object的结果本身就是一个字符串，让我回到第一步。spark.read.json似乎是推断模式的最佳案例，但我遇到的所有示例都从文件中加载了json。在我的用例中，json包含在dataframe的列中。我不知道源文件类型(在本例中，用拼花和
浏览 1提问于2019-01-10得票数 3
2回答
下面是我通过python在dataframe中使用sql的脚本：from pyspark.sqlimport SQLContextdf = sqlContext.read.format('com.databricks.spark.csv'header='true', infersc
浏览 1提问于2017-01-02得票数 1
回答已采纳
我想在我的restful web服务中运行Spark SQL查询，那么我如何通过Jersey上下文运行Spark context？我需要将我的Spark SQL请求传递给集群，然后通过REST API将结果返回给用户。但在Spark文档中，如果不将jar文件提交到集群(主/从)，就无法在java代码中
浏览 0提问于2015-01-11得票数 5
我在kuberenets helm install microsoft/spark --version 1.0.0上部署了spark (也尝试了bitnami图表，结果相同) 然后，如上所述，httpsSPARK_HOME/bin docker-image-tool.sh -r -t my-tag build 这返回找不到docker图像。此脚本必须从Apache Spark的可运行发行版运行。
浏览 50提问于2020-04-08得票数 0
例如，如果我使用Spark Connector从客户端(在EMR -1上运行)运行一个查询，以从Snowflake (在EMR -2上运行)获取数据，那么该查询实际上是在哪里执行的？它是在Snowflake本身上处理，然后返回结果，还是在客户端EMR上作为spark作业处理？当我看到Snowflake上的查询历史时，它也显示了执行的查询。这是否意
浏览 0提问于2020-02-25得票数 1
我尝试在scala-spark代码中使用NVL2和NULLIF spark sql函数，但它不起作用。这就是我所看到的--下面的语句运行良好，并返回正确的结果
spark.sql("select columnName, NULLIF(columnName, 'abc') as status from df当我尝试在withColumn
浏览 2提问于2018-09-25得票数 2
我遇到过SQL Server中内置的EXP函数，与SQL Server2005相比，这个函数在SQL Server2012环境中似乎返回了不同的值。
运行下面的代码会在不同的环境中返回不同的结果。我试图找出为什么会有差异，为什么这个函数<e
浏览 2提问于2014-01-16得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
