腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
通过Spark
将
csv
文件加
载到
HBase
、
、
、
这是一个简单的“如何”问题::我们可以通过com.databricks.spark.
csv
将
数据
带到Spark环境
中
。我知道如何通过spark创建
HBase
表,并手动
将
数据
写入
HBase
表。但是,这是否可能通过火花
将
文本/
csv
/jason文件直接加
载到
HBase
?我看不见有人在谈论这件事。所以,只是检查一下。如果可能的话,请指导我到一个详细解释
scal
浏览 3
提问于2017-04-06
得票数 2
1
回答
如何在不同模式中将
csv
文件导入
hbase
表
、
、
、
我最近开始研究
hbase
,但对此知之甚少。我有多个
csv
文件(大约20000),我希望将它们导入到
hbase
表
中
,使每个文件都是
HBase
中
的一行,并且文件的名称将是行键。这意味着
csv
文件的每一行都是
hbase
中
的一个单元格,我需要将它们放在一个struct
数据
类型(由25个字段组成)
中
。不幸的是,我对这个问题一无所知。如果有人愿意给我一些建议,我很感激。下面是
csv
文件的示例:
浏览 0
提问于2018-07-08
得票数 0
1
回答
使用
Scala
将
csv
数据
加
载到
Hbase
中
、
、
有没有办法用
scala
将
csv
文件加
载到
hbase
中
,而不必
使用
spark?我正在寻找一个类似于Happybase的工具。
浏览 5
提问于2017-08-18
得票数 1
1
回答
使用
Importtsv
将
csv
文件加
载到
Hbase
、
、
、
我试图
使用
Importtsv
将
csv
文件加
载到
Hbase
。当我试图通过运行命令
将
csv
数据
加<e
浏览 2
提问于2017-07-25
得票数 0
2
回答
Spark/
Scala
打开压缩的
CSV
文件
、
我是Spark和
Scala
的新手。我们有广告事件日志文件格式为
CSV
的,然后
使用
pkzip压缩。我见过很多关于如何
使用
Java解压压缩文件的例子,但是我该如何
使用
Scala
for Spark来解压呢?最终,我们希望从每个传入文件
中
获取、提取
数据
并将其加
载到
Hbase
目标表
中
。在此之后,我们
将
引入Spark streaming来查看这些文件。 谢谢,本
浏览 1
提问于2014-02-19
得票数 5
1
回答
在不
使用
Pig脚本的情况下从HDFS加载
HBase
数据
、
、
、
、
我在.
csv
中有HDFS文件。我想在不
使用
HBASE
脚本的情况下将它们加
载到
Pig表
中
。 还有别的办法吗?
浏览 0
提问于2016-12-12
得票数 2
回答已采纳
1
回答
Apache /
Scala
大容量嵌入/
HBASE
更新
、
、
以下是我的设想: 如能早日答复,将不胜感激。 谢谢
浏览 1
提问于2016-12-19
得票数 0
1
回答
Java程序从HDFS加载多个
csv
文件,读取列值并加
载到
HBASE
?
、
、
、
我是大
数据
和hadoop的新手。然后
使用
java程序从HDFS加载
csv
文件,读取列值并加
载到
HBASE
中
。解析文件很好。但是,我不明白如何
使用
java
将
多个
csv
文件从hdfs加
载到
hbase
。
浏览 5
提问于2022-08-03
得票数 -2
2
回答
使用
MapReduce
将
CSV
文件加
载到
Hbase
表
中
、
、
、
我需要将
csv
文件的
数据
加
载到
hbase
表
中
。我有上面格式的
csv
文件year class days mm 1965 8 19.9 10.9 在上面的文件
中
,现在我需要<
浏览 0
提问于2012-09-12
得票数 2
回答已采纳
1
回答
从另一个DF (或
HBase
)“丰富”Spark DataFrame
、
、
、
顺便说一句,我是
Scala
和Spark的新手。在巨大的
HBase
中
,city_id是一个关键: 123;纽约;....124;洛杉矶;....等。我的方法是在
HBase
上创建一个外部配置单元表,其中包含我需要的列。但话又说回来,我不知道如何以最有效的方式加入他们。 我想有一种方法可以直接从
HBase
完成,但我同样不知道如何做到这一点。
浏览 14
提问于2019-12-12
得票数 1
回答已采纳
1
回答
将
文本文件读入
Hbase
MapReduce并存储到HTable
、
、
我是HBaseMapReduce和Hadoop
数据
库的新手。我需要从mapreduce作业
中
读取一个原始文本文件,并
使用
HBase
MapReduce API
将
检索到的
数据
存储到Htable
中
。谁能提供给我一些从文件读取
数据
的示例代码。 我需要从文本/
csv
文件
中
读取
数据
。我可以找到一些从命令提示符读取
数据
的示例。我们可以
使用
哪种方法来读取xml文件Fi
浏览 0
提问于2012-09-03
得票数 0
1
回答
尝试从Spark查询
HBase
上的
数据
时出现NoSuchMethodError
、
、
、
我正在尝试
使用
SparkSQL/DataFrames查询加
载到
HBase
表
中
的
数据
。我的集群基于Cloudera CDH 6.2.0 (Spark版本2.4.0和
HBase
版本2.1.0)。此操作将以下jars添加到我的Spark类路径
中
: /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/
hbase
/bin&
浏览 2
提问于2019-11-06
得票数 2
2
回答
我想将json/
csv
加
载到
hbase
中
、
、
、
、
我想在不
使用
任何mapreduce程序以及HIVEQL/pig支持的情况下
将
JSON或
CSV
加
载到
HBASE
中
,这是可能的吗?哪个是更有效的hive-
hbase
或mapreduce-
hbase
。
浏览 0
提问于2013-08-23
得票数 1
1
回答
使用
Pig为
HBase
中
的列族添加可变数量的列
、
、
、
、
我需要
使用
HBaseStorage从Pig加
载到
HBase
,但我不知道如何为特定的列族加载可变数量的列。因此,我首先
使用
以下命令加载
csv
:as (Id,ItemId,Count:chararray, CreationDate,
使用
键,然后
使用
日期和计数的元组: 1 {(2015-02-03, 2),(2015-02-0
浏览 28
提问于2017-02-08
得票数 1
2
回答
以编程方式从
CSV
文件格式创建
HBase
表并加载其内容
、
、
、
、
嗨,我是hadoop的新手,我正在尝试
使用
MapReduce导入一个
csv
表到
Hbase
。我
使用
的是Cloudera 5.9 我首先想
使用
MapReduce从
CSV
表格式以编程方式创建一个
HBase
表(因为我
使用
由非常多的列组成的
csv
文件),然后
将
CSV
文件的内容加
载到
HBase
表
中
。
浏览 0
提问于2016-11-16
得票数 1
1
回答
MySQL和
HBase
优化
数据
存储(1 TB)
、
、
、
、
我有大约6亿行
数据
是157个
CSV
文件。这些
数据
的格式如下:B: 64bit unsigned intD: int 我将
使用
CSV
将
数据
加
载到
MySQL和
HBase
数据
库
中
。我将
使用
m1.大型EC2实例
将
每个实例加
载到
MySQL和
HBase</e
浏览 12
提问于2015-03-11
得票数 0
1
回答
如何
使用
PIG/HIVE/
Hbase
加载带有输出文本限定符的
数据
?
、
、
、
我有一个
CSV
文件,它包含文本限定符(“")
数据
。我希望
使用
没有文本限定符的PIG/Hive/
Hbase
将
数据
加
载到
hdfs
中
。请帮帮忙"Id","Name""2","Anitha" "3","R
浏览 2
提问于2014-11-13
得票数 0
回答已采纳
1
回答
在map调用
中
获取Spark上的行
、
、
、
我尝试从HDFS
中
的文件
中
聚合
数据
。我需要添加一些细节,从这些
数据
的价值在
hbase
中
的一个特定表。$.ensureSerializable(ClosureCleaner.
scala
:164)Nam
浏览 11
提问于2017-02-02
得票数 2
回答已采纳
2
回答
将
csv
数据
加
载到
Hbase
中
、
我对hadoop和
hbase
非常陌生,在我找到的每个教程
中
,我都会遇到一些概念性的问题。我知道我需要写一个MapReduce作业来把这个
csv
文件加
载
浏览 0
提问于2012-12-17
得票数 9
回答已采纳
1
回答
线程"main“java.lang.ClassNotFoundException中出现异常: importtsv
、
我正在尝试
使用
bulkloader实用程序
将
csv
文件加
载到
Hbase
表
中
,但不断收到以下错误。我确实在网站上搜索了有效的答案,但没有找到。我不确定在CDH5.4VM中环境变量$
HBASE
_HOME和$HADOOP_CLASSPATH到底应该包含什么值。
浏览 0
提问于2015-12-01
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Spark将本地文件读取并封装为DataFrame的完整指南
大数据工程师进阶学习
大数据技术分享:十大开源的大数据技术
性能测试之gatling详解
Hadoop体系结构中的服务解决介绍
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券