我们目前在10节点群集上使用hadoop-2.8.0，并计划升级到最新的hadoop-3.0.0。我想知道如果我们将hadoop-3.0.0与旧版本的Spark和其他组件如Hive、Pig和Sqoop一起使用会不会有任何问题。
浏览 16提问于2017-12-21得票数 1
Hadoop版本-1.2.1蜂巢版本- 0.14.0当我开始用下面的命令构建oozie时我得到了以下错误
[INFO] Apache Oozie Share Lib Sqoop ......................:hive-common:jar:0.14.0 (compile), org.apache.hive:hive-metastore:j
浏览 11提问于2015-08-09得票数 0
回答已采纳
在Ubuntu上安装Hadoop、Sqoop、、Spark、Java、Apache、Pig、Hive、Flume、Kafka、Mysql和其他软件包的顺序是什么？
浏览 6提问于2022-06-11得票数 -1
*版本，hive1.2.1版本。现在sqoop与hadoop版本不兼容。如果我改变hadoop>2.5，hbase和hive将不支持。有人能帮我提前解决这个issue.Thanks吗？
浏览 6提问于2017-02-03得票数 1
2回答
安装Hadoop 1.0的最佳方式是什么(无论是Apache hadoop还是CDH)？CDH似乎有某种安装管理器，但不知何故，经过几个小时的搜索后，我在Web上找不到好的信息。我只找到了关于伪模式安装的文档。
浏览 2提问于2013-06-05得票数 1
回答已采纳
今天有什么东西是不能用火花作为加工引擎的吗？在我看来，Spark已经取代了MR，而围绕Hadoop构建的所有其他工具/抽象也都与星火兼容(Hive，Sqoop，Flume，HBase，Pig.)--还有其他的限制吗？据我所知，即使是批处理作业，Spark的速度也至少与先生一样快，而且如果您想在将来扩展您的用例(流)，那么无论如何您都需要适应Spark。我
浏览 0提问于2019-03-19得票数 4
回答已采纳
, pig-client, M/R client tools, Sqoop
我希望有一个更现实的分组。我已经为我的Hive数据库和Oozie数据库使用了相同的MySQL实例，并认为这可以再做一次。我还计算出HiveServer和Oozie服务器可以与Hive/Oozie MetaStore以及HCatalog一起运行在同一台主机上。现在，在我的三个节点集群上，我已经在每个节点上安
浏览 4提问于2014-01-06得票数 0
1回答
关于如何从大量金融交易数据中筛选相关记录，我有一个疑问。我们使用Oracle11g数据库，其中一个要求是生成各种标准的每日报表。底层的proc已经被一次又一次的优化，但是新的标准不断增加，所以我们开始一次又一次的挣扎。proc非常标准--连接所有表并应用大量where子句(最后计数时为20)。我想知道，我是否有足够大的问题来考虑大数据解决方案，以摆脱这个优化-查询游戏每隔几个月。无论如何，数量只会上升。这里的开明人士能不能回答我几个问
浏览 2提问于2014-11-04得票数 2
回答已采纳
1回答
我有一个很大的基于MapReduce 1的java项目，我想把它迁移到YARN上。这里有没有人知道怎么做的好指南？
谢谢。
浏览 0提问于2015-06-30得票数 0
我无法使用sqoop命令从oozie执行示例作业，从而将数据导入到hive中。我已经将hive-site.xml放置在hdfs路径中，但我认为它没有选择hive-site.xml文件。This is a comment --> <start to = "sqoop-node1--Step 1 -->
浏览 3提问于2016-12-19得票数 0
1回答
我已经安装了Cloudera VM5.5，并且在我的Oozie工作流中运行了一个Sqoop操作。我遇到了一个错误，它说MySQL JDBC驱动程序丢失了，我看到了一个所以应答，它说应该将mysql连接器-java.jar放在sqoop路径下的Oozie的HDFS共享库路径中。然而，当我浏览Oozie的HDFS共享库路径时，我注意到了两个sqoop子目录来复制jar。/user/oozie/share/lib/sq
浏览 2提问于2016-01-21得票数 0
回答已采纳
1回答
目前比较基于DAG的工作流工具，如气流和Luigi，用于调度通用码头集装箱以及火花作业。
Apache能否通过其shell操作运行通用Docker容器？或者，Oozie严格意义上是用于Hadoop工具，如Pig和Hive？Oozie与Hadoop堆栈的其他部分集成在一起，它支持多种类型的Hadoop作业(例如Java映射-还原、流映射-还原、Pig、Hive、Sqoop和Distc
浏览 2提问于2019-01-28得票数 3
回答已采纳
1回答
我正在浏览一些Oozie示例，我最感兴趣的三个动作是Sqoop、Hive和Pig actions。在某些示例中，mapreduce.job.queuename属性(旧版本的mapred.queue.name)通常配置为default，如下所示： <sqoop> <value>defaul
浏览 1提问于2016-08-30得票数 0
回答已采纳
1回答
在我的Ubuntu x32，x32，Hadoop2.5.0上，我执行：14/08/19 08:51:21 WARN util.NativeCodeLoader0 2014-08-19 08:37 /export有人能告诉我如何修正这个警告吗编译，源代码为校验和423dcd5a752eddd8e4
浏览 3提问于2014-08-19得票数 3
理解不同版本的Spark和hadoop之间的版本兼容性是令人困惑的。Hadoop和hive也是如此。
有什么可以遵循的表，以了解一个版本与另一个版本兼容吗？
浏览 2提问于2016-05-26得票数 4
1回答
我尝试在google cloud dataproc上使用以下命令：但是dataproc无法列出存储库中的oozie包。Done有人知道如何解决这个问题吗？
浏览 0提问于2016-10-14得票数 1
我试图通过spark代码执行hive SQL，但它抛出了下面提到的错误。我只能从配置单元表中选择数据。我的spark版本是1.6.1我的Hive版本是1.2.1test_hive.py --提交--主应用程序--文件/源/数据/应用程序/spark/conf/hiv
浏览 0提问于2018-03-13得票数 0
有没有人做过这样的配置: Apache Spark上的Apache Hive？我想在我的生产系统中实现这一点。请帮助提供Apache Hadoop、Apache Hive、Apache Spark和Apache Zeppelin的兼容性列表。
浏览 38提问于2018-02-04得票数 0
试图按照安装oozie 4.0.1maven - 3.0.4当尝试执行“bin/mkdisro.sh -DskipTests”时，生成失败未能对项目oozie-core执行目标:无法解决项目org.apache.oozie: oozie-core: jar:4.0.0的依赖关系:无法解决以下工件: org.apache.oozie:oozie-hadoop-test2中找到org.apache.oozie:oozie-hadoop-test:jar:2.4.0.ooz
浏览 1提问于2014-06-26得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
