我想从一个Hbase表读取数据使用get命令，同时我也有行的关键字。我想在我的星火流应用程序中做到这一点，有没有任何源代码可以分享？
浏览 1提问于2016-11-17得票数 0
2回答
我试着从PySpark的HBase中读取一个表格。
testdata_rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapr
浏览 1提问于2016-07-27得票数 1
我应该把菲尼克斯的数据读到pyspark里。编辑:我使用的是火花HBase转换器：port="2181"keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter": "camel", "hbase.mapreduce.s
浏览 5提问于2015-09-15得票数 0
2回答
我们的堆栈是由Google (Spark2.0)和Google BigTable (HBase 1.2.0)组成的，我正在寻找一个与这些版本一起工作的连接器。Spark2.0和新的DataSet API支持对于我发现的连接器还不清楚：
hortonworks-spark/shc：
浏览 4提问于2016-12-01得票数 12
回答已采纳
1回答
我有一个令人尴尬的并行任务，我使用星火分配计算。这些计算是用Python进行的，我使用PySpark来读取和预处理数据。我的任务的输入数据存储在HBase中。不幸的是，我还没有找到一种令人满意的(即易于使用和可伸缩的)方法来使用Python从/写入HBase数据。
使用happybase从我的Python进程中进行连接。这个包允许通过使用
浏览 4提问于2016-07-19得票数 15
回答已采纳
如果我使用以下命令从HBase (或MapR-DB)表中读取一些数据
JavaPairRDD<ImmutableBytesWritable, Result> usersRDD = sc.newAPIHadoopRDD就像Spark抱怨的那样，使用usersRDD.repartition(10)这样的东西是不可行的，因为ImmutableBytesWritable是不可序列化的。有没有办法让Spark从HBase</
浏览 1提问于2016-05-05得票数 2
2回答
我想使用JAVA通过Spark访问HBase。除此之外，我还没有找到任何这样的例子。 这个 一个。答案是这样写的： 您也可以用Java编写以下代码 我从 如何使用spark读取hbase ： import org.apache.hadoop.hbase.client.import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import o
浏览 69提问于2017-02-21得票数 1
1回答
我正在尝试从HDP 2.3中的pyspark访问hbase，现在我只是尝试使用以下命令执行spark目录中给出的示例程序： at org.apache.spark.api.python.PythonRDD$.newAPIHadoopRDD(PythonRDD.scal
浏览 1提问于2015-09-21得票数 1
我试着用spark API读取Hbase数据。代码： SparkConf sparkConf = new SparkConf().setAppName("Spark-Hbase").setMasterConfiguration conf = HBaseConfiguration.create();
// Read data using spark</
浏览 10提问于2017-02-03得票数 3
回答已采纳
1回答
我正在尝试从运行PySpark内核的木星笔记本中运行对的并行访问。我以为例，使用特定的项目/区域/集群/表名。身份验证通过火花上下文中广播的服务帐户凭据进行。sc.newAPIHadoopRDD( "org.apache.hadoop.hbase.io.ImmutableBytesWritable$.newAPIHa
浏览 7提问于2017-09-28得票数 1
回答已采纳
我使用的是Spark1.4，我正在尝试使用sc.newAPIHadoopRDD从Hbase读取2.7 GB的数据，但是有5个任务是为这个阶段创建的，并且需要2 t0 3分钟来处理它。谁能告诉我如何增加更多的分区来快速读取数据？
浏览 18提问于2016-09-22得票数 1
3回答
我正在尝试使用HBase作为spark的数据源。因此，第一步是从HBase表创建一个RDD。因为Spark使用hadoop输入格式，所以我可以通过创建一个rdd 来找到使用所有行的方法，但是我们如何为范围扫描创建RDD呢？
欢迎所有的建议。
浏览 0提问于2014-08-08得票数 10
回答已采纳
我使用Hbase Docker容器，从它将数据加载到我的Spark应用程序中。现在我已经创建了EMR集群，安装了Spark和Hbase。当我试图提交JAR文件时，请购买以下异常：
在本地运行我的应用程序时，我可以通过向--jars添加s
浏览 3提问于2021-02-15得票数 0
我正在使用spark scala读取Hbase表。package HBase
import it.nerdammer.spark.hbase._
import org.apache.sparktableDesc =
浏览 5提问于2016-09-29得票数 0
1回答
与Hbase的火花流连接
、、、
我有一个传入的spark数据流，它接收包含设备Ids的消息：我想将它加入到设备信息表中：
不使用星火联接:对于DataStream中的每个条目，执行单个hbase查找device_info的id。在程序开始时使用"newAPIHadoopRDD“从hbase</
浏览 1提问于2015-11-25得票数 1
1回答
我在表单或Array[Row]中有一个HBase行键的列表，并希望从使用这些RowKeys从HBase获取的行中创建一个Spark DataFrame。","/hbase-unsecure")
rList.foreach( r => {} 我可以在for循环中执行recsRdd.collec
浏览 15提问于2019-10-02得票数 1
回答已采纳
1回答
火花流:源HBase
、、、
是否可能有火花流作业设置来跟踪HBase表并读取每批新的/更新的行？博客说HDFS文件属于受支持的源代码。但是他们似乎使用了以下静态API：谢谢!
浏览 4提问于2016-12-08得票数 2
我们可以在Apache中访问HDFS文件系统和纱线调度程序.但是星火有一个更高的编码水平。是否有可能访问HDFS和纱线在Apache？
谢谢
浏览 0提问于2015-01-30得票数 4
回答已采纳
2回答
我试图在Hbase中从Spark创建一个表，并插入数据，从中读取数据。 val sc = new SparkContext("local", "Hbase spark")
v
浏览 0提问于2016-06-16得票数 1
我有两个Hbase表'hbaseTable'，'hbaseTable1‘和Hive表'hiveTable’，我的查询如下：我需要在hbase中执行内部联接，并将数据带到hive。我们使用的是hive和java</em
浏览 16提问于2017-02-02得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号