我尝试通过json数据(使用spark.sql)在pyspark数据帧中查询hive表，但出现了以下错误 ERROR log: error in initSerDe: java.lang.ClassNotFoundExceptionClass org.apache.hive.hcatalog.data.JsonSerDe not foundjava.lang.ClassNotFoundException: Cl
浏览 28提问于2020-07-16得票数 0
5回答
如何从配置单元外部表创建数据帧
、、、、
我们喜欢在Hive外部表的顶部创建数据帧，并使用hive模式和数据进行spark级别的计算。 我们是否可以从hive外部表中获取模式并将其用作Dataframe模式。
浏览 69提问于2017-05-11得票数 1
回答已采纳
1回答
创建一个表 drop table if exists hive_parquet_nulls_test ;
name String) stored as PARQUET; 然后创建一个具有新列的数据框并加载它们 import java.sql.Date
df.write.m
浏览 30提问于2019-12-21得票数 3
回答已采纳
所以命令直接将附加到hive表是，但是，追加模式是否确保避免了行的重复？例：
其中一个是提到的，加载蜂窝表</e
浏览 1提问于2018-10-07得票数 2
我有一个简单的Hive外部表，它是在S3之上创建的(文件是CSV格式的)。当我运行hive查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时( Spark在分区列上有一个where条件)，它不会显示应用了分区筛选器。然而，对于Hive托管表，Spark可以使用分区信息并应用分区筛选器。是否有
浏览 0提问于2019-08-24得票数 3
我正在尝试查询存储在HBase中的数据，以便在AWS EMR中使用Spark ML。我应该将数据作为RDD提取(如下所示)，还是应该使用Phoenix将数据作为Dataframe进行查询？我已经尝试过通过HBase RDD和Phoenix将数据导入到Spark中。然而，我在使用这两种方法时都遇到了问题。current/hbase-client/conf/hbase-site.xml&qu
浏览 24提问于2019-06-21得票数 0
5回答
我想使用我的模式创建一个hive表。我怎么能这么做？对于固定列，我可以使用：sparksession.sql(CreateTable_query)
但是我的dataframe中有很多列，那么有什么方法可以自动生成这样的查询呢？
浏览 5提问于2017-02-15得票数 17
回答已采纳
表： val df2 = spark.sql("select * from db.table") 从传入的数据帧df1中，我获得了两条新记录和两条更新记录。James| Sales| 34| Associate|+-------+-------+---+----------+ 这里使用的密钥是：dept & id 在我之前的一个项目中，<
浏览 19提问于2021-10-19得票数 1
回答已采纳
如何在Qubole metastore中为我的Hive表设置分区位置？我知道这是Spark，但是如何使用MySQL访问它并传递带有修复的SQL脚本呢？你知道如何直接更新Qubole的转移存储吗？我希望将批处理中的位置传递给转移存储，以提高性能。
浏览 1提问于2018-04-11得票数 0
如何将PySpark数据写入DynamoDB表？没有找到多少这方面的信息。根据我的要求，我必须将PySpark数据写入Dynamo表。总的来说，我需要从我的PySpark代码中读写发电机。
浏览 1提问于2018-10-29得票数 3
回答已采纳
1回答
运行示例时出错
、、、
我有下面的，可以在官方的apache/spark上找到。我花了很多时间了解如何在Hortonworks Hadoop Sandbox中运行这个示例，但没有成功。(如我在安巴里的蜂巢中看到的那样)设置为warehouseLocation。TABLE src");spark.sql("LOAD DATA LOCAL INPATH
浏览 2提问于2017-12-18得票数 1
回答已采纳
1回答
我是这个领域的新手。我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.sp
浏览 26提问于2021-06-26得票数 0
我有一个简单的Scala代码，它从Hive数据库检索数据并从结果集创建一个RDD。它可以很好地与HiveContext配合使用。问题是hive.execution.engine的默认设置是'mr‘，这使得配置单元使用MapReduce很慢。不幸的是，我不能强迫它使用"spark“。我尝试通过替换hc = SQLContext SQLContext(sc)来使用新
浏览 7提问于2016-06-22得票数 5
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
1回答
我有一个复杂/嵌套的Hive-External表，它是在HDFS上创建的(文件采用avro格式)。当我运行配置单元查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时： val df = spark.format("avro").option("avroSchema
浏览 15提问于2020-01-21得票数 0
我正在使用pyspark的(Spark 2.3.2) saveAsTable，如下所示： .sortBy("id") \ .option("path", "test_table.parquet") \在</em
浏览 1提问于2019-10-10得票数 0
11回答
有没有可能将spark中的DataFrame直接保存到Hive？
我尝试过将DataFrame转换为Rdd，然后保存为文本文件，然后加载到hive中。但是我想知道我能不能直接把dataframe保存到hive
浏览 1提问于2015-06-05得票数 93
如何在Azure数据湖存储上创建外部Delta表？我目前正在从事一个迁移项目(从Pyspark/Hadoop到Azure)。我找不到很多关于在Azure中创建非托管表的文档。下面是我目前能够在Pyspark/Hive/HDFS设置中执行的一系列操作，不知道如何在Azure上建立相同的操作。即使<em
浏览 3提问于2022-03-30得票数 0
我正在尝试使用SparkSession从hive表创建数据帧，如下所示。创建后，我将通过Ids列表来筛选行。val myDF = spark.sql("select * from myhivetable")有没有一种方法可以查询配置单元表，如下所示：
val myDF
浏览 0提问于2018-09-26得票数 1
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确<em
浏览 15提问于2019-02-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
