我正在尝试使用saveHadoopDataSet API将Spark中的数据保存到HBase中。请参考下面的代码。代码工作正常表存储在默认的namespace.How中我可以在下面的代码中设置名称空间吗，这样表就可以存储在所需的名称空间中，而不是默认的名称空间中。", "localhost:2181")
conf.set("hbase.master", "localhost:60000&quo
浏览 10提问于2016-12-19得票数 0
回答已采纳
我尝试使用shc保存火花数据到hbase通过火花.我的版本：
|"table
浏览 1提问于2018-09-09得票数 0
回答已采纳
1回答
我正在尝试使用Pyspark (Python + Spark)将数据存储到Accumulo中。现在，我正在使用pyaccumulo库，通过使用pyFiles参数将pyaccumulo蛋文件传递给SparkContext，从而将数据写入到Accumulo中。我想知道有没有更好的方法。我看过Cassandra和HBase输出格式的示例，想知道是否可以为Accumulo做类似的事情。Cassandra和HBase似乎使用了
浏览 1提问于2015-10-12得票数 0
下面是使用spark连接器向Hbase写火花Dataframe的简单代码。我被NullPointerException的df.write操作击中，并停止编写DF到Hbase。然而，我能够从Hbase读取使用火花-Hbase连接器。这一问题在以下链接中进行了讨论，但建议的解决办法没有帮助。String)
浏览 2提问于2020-05-18得票数 0
回答已采纳
我正在进行一个项目，使用Spark将数据从CSV文件大容量加载到HBase。我使用的代码如下(改编自)： conf = {#removed for brevity}
keyConv = "org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverterrdd.flatMap(lambda line: line.split(
浏览 1提问于2016-01-20得票数 1
回答已采纳
1回答
我有一个令人尴尬的并行任务，我使用星火分配计算。这些计算是用Python进行的，我使用PySpark来读取和预处理数据。我的任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的(即易于使用和可伸缩的)方法来使用Python从/写入HBase数据。
使用happybase从我的Python进程中进行连接。这个包允许通过使用HBase</em
浏览 4提问于2016-07-19得票数 15
回答已采纳
2回答
org.apache.spark.rdd.PairRDDFunctions
hJob.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])
}
通过使用此hbase</em
浏览 7提问于2017-02-03得票数 3
回答已采纳
3回答
我有一个数据帧，我想把它插入hbase。我遵循这个。------||--------------------| --------------------val tableName = "two"if(!-----------------------------------------------------
浏览 0提问于2017-05-22得票数 3
2回答
我试着从PySpark的HBase中读取一个表格。
testdata_conf= {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": "test", &
浏览 1提问于2016-07-27得票数 1
我正试图将大量的数据从Spark加载到HBase。我正在使用saveAsNewAPIHadoopDataset方法。 } }
}.saveAsNewAPIHadoopDataset当我一次提交10个文件的同一份工作时，每件事都
浏览 3提问于2016-08-13得票数 1
3回答
我知道HBASE是一个柱状数据库，它将表的结构化数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读/写，还有一些用于Spark的HBASE连接器现在也可以读写HBASE表。问题：
1)在HBASE之上分层火花而不是单独使用HBASE所带来的附加功能是什么？它只取决于程序员的能力，或者有任何性能原因来这样做？是否有星火所能做的事，而HBASE却无法做到？2
浏览 4提问于2016-08-13得票数 9
回答已采纳
1回答
我正在使用Spark连接到Hbase。我已经添加了所有的依赖项，但是我仍然得到了这个异常。请帮助我，我需要添加哪个JAR来解决这个问题。{SQLContext, _} import org.apache.spark.{SparkConf, SparkContext} impor
浏览 2提问于2018-09-17得票数 0
我已经在Azure中创建了HDInsight的Spark集群。现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。我已经并且想要在我的Spark集群中使用所有的60个内核。因此，我想到了在HDInsight的spark Cluster中安装HBASE。当我在HDInsight星火集群中创建时，似乎已
浏览 3提问于2017-04-18得票数 2
2回答
一开始，我尝试使用newAPIHadoop从hbase获取数据。BecauseI希望每次我收到卡夫卡的记录时，都会用cf和HBase列来读取我的记录，这对我来说是行不通的。最后，我发现还有一种使用hbase.clinet HTable从hbase读取数据的方法。，并使用saveAsNewAPIHadoopDataset方法保存到HBase中。比方说，如果我在1秒内有1000多个记录
浏览 5提问于2016-09-29得票数 3
回答已采纳
1回答
丝上火花+固定hbase
、、、、
我提交了一个工作给纱线(在spark 2.1.1 + kafka 0.10.2.1)，它连接到一个安全的hbase集群。当我在“本地”模式(spark.master=local*)运行时，这个任务执行得很好。javax.security.auth.login.LoginException: Unable to obtain password from userUserGroupInformation.setConf
浏览 14提问于2017-05-30得票数 6
使用与hive2.2.0集成的Spark2.3 thriftserver。从火花直线跑。尝试将数据插入到单元hbase表(以hbase作为存储空间的单元表)。插入到蜂窝本机表是可以的。当插入到hbase表中时，它会抛出以下异常：
org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat不能转换为org.apache.hadoo
浏览 2提问于2018-06-04得票数 2
0回答
我正在尝试以一种有效的方式将一个火花DataSet存储到HBase中。当我们尝试用JAVA中的lambda来做类似的事情时：函数persistMappingtoHBase使用HBase Java client (Put)存储在HBase中。I get
浏览 9提问于2017-11-27得票数 0
1回答
随着每小时，当新的数据被插入(没有更新)到hdfs，我需要找到多少贷款关闭，贷款创建，帐户过期等(大约1000个分析要执行)。分析涉及处理整个400 of的数据。获得数据的最佳方法是什么，它将增长到600 to。用于分析和检索的MR /蜂巢
提前感谢
浏览 4提问于2015-03-16得票数 1
回答已采纳
4回答
下面的代码将从hbase中读取，然后将其转换为json结构并转换为schemaRDD，但问题是，我是using List来存储json字符串，然后传递给javaRDD，对于大约100 GB的数据，主服务器将装载内存中的数据从hbase加载数据的正确方法是什么，然后执行操作，然后转换为JavaRDD。;import org.apache.spark.
浏览 9提问于2014-07-30得票数 47
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号