Apache Spark上的Apache Hive
是一个基于Hadoop的数据仓库基础设施，用于处理大规模数据集。它提供了一个类似于SQL的查询语言，称为HiveQL，使用户能够使用SQL语句来查询和分析数据。
Apache Hive的主要特点包括：
- 数据抽象：Apache Hive提供了一个抽象层，使用户可以将数据存储在不同的存储系统中，如Hadoop Distributed File System（HDFS）、Amazon S3等。
- 查询优化：Apache Hive使用优化器来优化查询计划，以提高查询性能。它还支持基于统计信息的查询优化，以更好地利用数据分布和索引。
- 扩展性：Apache Hive可以处理大规模数据集，并且可以通过添加更多的计算节点来实现水平扩展。
- 容错性：Apache Hive具有容错机制，可以处理节点故障和数据丢失情况。
- 数据格式支持：Apache Hive支持多种数据格式，包括文本、序列化、Parquet、ORC等。
- 数据集成：Apache Hive可以与其他工具和框架集成，如Apache HBase、Apache Kafka等。
Apache Hive的应用场景包括数据仓库、数据分析、数据挖掘和数据可视化等。它可以用于处理结构化和半结构化数据，并支持复杂的查询操作。
腾讯云提供了一系列与Apache Hive相关的产品和服务，包括云数据仓库CDW（Cloud Data Warehouse）、云数据湖CDL（Cloud Data Lake）等。这些产品可以帮助用户在腾讯云上快速部署和管理Apache Hive，并提供高可用性、高性能的数据处理能力。
更多关于腾讯云CDW的信息，请访问：腾讯云云数据仓库CDW
更多关于腾讯云CDL的信息，请访问：腾讯云云数据湖CDL
相关·内容
at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) at org.apache.spark.sql.hive.HiveMetastoreCata
浏览 3提问于2015-03-24得票数 2
2回答
火花仓库与蜂巢仓库
、、、
Hortonworks数据平台HDP 3.0有spark 2.3和Hive 3.1，默认情况下spark 2.3应用程序(pyspark/ Spark sql等)使用spark数据仓库，而Spark 2.3使用Hive Warehouse连接器与Apache Hive集成。我可以在蜂巢转移(MySQL)中看到两个默认的数据库。一个指向蜂巢位置，另一个指向火花位置。----------------------
浏览 1提问于2018-10-29得票数 3
回答已采纳
从火花创建/加载拼花表时面临的问题Horotonworks HDP3.0蜂巢3.1
spark.sql("select * fromdatabase_name.test2&qu
浏览 0提问于2018-10-12得票数 1
回答已采纳
我刚刚用Hive 2.3.2和Spark 2.3设置了一个新的hadoop 3.0集群。当我想在Hive表上运行一些查询时，得到以下错误。我知道Hive中有一些but，但似乎它已经在2.1.1中修复了，但不确定2.3.2版本的情况如何。你知道这件事能不能以某种方式解决？at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUti
浏览 1提问于2018-03-08得票数 4
1回答
我使用的是spark 1.6.0和scala 2.10，hive 1.1.0，平台是CDH 5.7.1，spark和hive版本相同。在类路径上传递给spark作业的hive-exec是hive-exec-1.1.0-cdh5.7.1.jar。;
这与我正在使用的库spark-hive_2.10-1.6.0.jar附带的org.apache.<e
浏览 6提问于2016-11-17得票数 0
2回答
我正试图用Hive0.14(最新的HortonWorks发行版)在HDP 2.2.0上启动SparkTh开裂服务器(Spark1.2)，但不幸的是，我得到了一个对我来说非常神秘的错误： at org.apache.<e
浏览 3提问于2015-02-02得票数 1
回答已采纳
我在EMR上使用Spark2.4.0，并试图使用AWS数据目录在s3中存储简单的数据。") at org.apache.hadoop.hive.ql.metadata.Hive.alterTable(Hive
浏览 1提问于2019-01-30得票数 5
我在我的pom.xml中添加了以下几行： <groupId>org.apache.spark</groupId> <version>1.6.0</version>而我运行代码的机器上
浏览 3提问于2017-03-07得票数 2
回答已采纳
3回答
星星之火配置单元的问题
、、、、
有人能建议如何在此基础上配置单元并在scala控制台中使用吗？现在，我能够使用Scala (星火壳控制台)在文件中运行RDD。
浏览 0提问于2016-09-27得票数 1
回答已采纳
我正在尝试在AWS EMR 5.11.0上的Spark上设置Apache Hive。at org.apache.hive.spark.client.RemoteDriver.可能的原因包括网络问题、远程驱动程序中的错误或群集没有可用的资源等。请查看YARN或Spark驱动程序的日志以了解更多信息。最终在org.apache.<e
浏览 2提问于2018-01-29得票数 3
1回答
我使用的是Hive 3.1.2和Spark 2.4.5( Ubuntu 18.04上的Hadoop 3)在运行查询时出现以下错误
10000: jdbc:hive2://localhost:10000>226)的位于org.apache.hive.service.cli.operation.SQLOperation.access$700(SQLOperation.java:87)的位于org
浏览 5提问于2020-06-19得票数 1
1回答
- Caused by: noclassfound from org.apache.commons.dbcp.connectionfactory
连接到外部蜂箱postgres亚稳态的火花配置参数如下面的代码片段所示我添加了postgres库，设置了配置中的所有连接细节。配置中提到的用户名/密码是正确的。尽管如此，对于这个错误还不清楚。详细的错误日志在下面的代码片段中。有人知道如何使用spark.sql查询吗？$apache$spar
浏览 3提问于2020-04-21得票数 0
回答已采纳
我一直用scala中的spark从本地系统连接到Hive (它在集群中)，最后将我的hive-site.xml正确地放置在Spark/conf文件夹和类路径中，并且能够连接到转移，但无法访问蜂窝表。线程“java.lang.NoClassDefFoundError:”中的异常: org/apache/tez/dag/api/SessionNotRunning at org.apache
浏览 2提问于2015-12-22得票数 0
回答已采纳
我想使用spark来处理hive表，但是当我运行我的程序时，我得到了以下错误：object spark_on_hive_table extends App {
.builder()
.appName("
浏览 1提问于2020-06-18得票数 2
回答已采纳
我试图使用Java中的spark查询一个蜂巢表。我的蜂箱表在EMR集群5.12中。星火版本是2.2.1和Hive 2.3.2。 at org.apache.spark.sql.hive.HiveExternalCatalog.withClientat org.apache.hadoop.hive
浏览 2提问于2018-04-09得票数 2
回答已采纳
1回答
(Hive.java:1236) 我想连接到glue metastore，但不知何故，库试图在localhost找到metastore，这是导致问题的原因吗？亚马逊网络服务胶水的hive.metastore.uris有什么价值吗？以下是我的代码 val spark = SparkSession.builder.appName("Spark hive app")
.config("hive.metast
浏览 18提问于2020-08-17得票数 0
回答已采纳
1回答
我正在使用spark 1.3.1，我想以ORC格式以蜂巢形式存储数据。 at org.apache.spar
浏览 5提问于2015-08-18得票数 0
回答已采纳
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建； at org.apache.hadoop.hiv
浏览 3提问于2017-12-27得票数 0
回答已采纳
在试图运行以下代码时，我得到了一个错误：import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSessionException in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with <e
浏览 12提问于2016-09-12得票数 30
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
