腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hbase
性能
调
优
、
我的6节点
Hbase
集群有以下硬件配置(1主-5从)2.4 CPU,48核Intel CPU1 1Gb/ps网络连接操作系统: RHEL6.6CDH分布: 5.7.0
hbase
.client.write.buffer: 64MB master_region_java_heapsiz
浏览 3
提问于2016-06-18
得票数 0
2
回答
HBase
性能
调
优
因素
、
、
我运行的是
Hbase
0.94.0。我已经插入了100000条1Lakh记录。在没有调整任何性能因素的情况下,我的写入性能是60秒,读取一条记录的性能是5毫秒。如何提高我的表现。我已经在互联网上搜索过了,我没有任何关于如何提高我的
hbase
性能的想法。 有什么特别的网站吗?
浏览 0
提问于2013-02-06
得票数 1
1
回答
原生mapreduce与
hbase
mapreduce
、
、
如果我使用TableMapReduceUtil(
hbase
)创建MR job,似乎
hbase
扫描仪将数据输入映射器,并将数据从还原器转换为特定的
hbase
输出格式,以便将其存储在
hbase
表中。由于这个原因,我预计
hbase
mapreduce作业将比本地MR job花费更多的时间。那么,
Hbase
的工作时间肯定要比本地的先生长多长时间?
浏览 3
提问于2014-02-19
得票数 2
回答已采纳
1
回答
Linux网络
调
优
以防止tcp rcvpruned和回溯下降?
、
、
、
、
我的
hbase
集群中的数据节点触发了一些tcp rcvpruned,并不时地减少待办事项:似乎至少有两个角度来处理这个问题:
调
优
Linux网络堆栈,以便能够处理这些 我感兴趣的是更多地了解这两种指标,以及这两种途径中的任何一种可操作的建议。有人能对下一步的具体措施提出建议吗?
浏览 0
提问于2014-09-19
得票数 3
1
回答
1个Hadoop和
Hbase
大簇与1个Hadoop簇+1个
Hbase
簇
、
Hadoop将通过从
Hbase
读取数据并将数据写入
Hbase
来运行许多作业。假设我有100个节点,那么有两种方法可以构建Hadoop/
Hbase
集群: 哪种选择更好?
浏览 4
提问于2014-04-19
得票数 1
回答已采纳
1
回答
在Spark的MLlib中使用TFIDF生成过程中的内存不足异常
、
、
、
为了给出一个规模概念,我从
HBase
中读取了大约61.5万个(约4GB的文本数据)小文档,并运行了带有8核和6GB执行器内存的spark程序。我已经尝试过增加并行级别和洗牌内存分数,但没有效果。
浏览 1
提问于2014-09-18
得票数 4
回答已采纳
1
回答
Hive to
Hbase
:星火的错误用例?
、
、
、
最近,在将数据从Hive迁移到
Hbase
方面,我遇到了一个问题。我使用正确的Hive列/
HBase
ColumnFamily和列映射在
Hbase
中插入数据。我找到了一些关于如何将数据批量插入到
Hbase
中的解决方案,例如我们可以使用hbaseContext.bulkPut或rdd.saveAsHadoopDataset (我测试了这两种方法的相似结果)。在一次又一次地修改regionServers和
hbase
配置之后,我尝试使用简单的Hive方法,即使用
Hbase
存储处理程序
浏览 0
提问于2016-06-02
得票数 1
3
回答
加速
HBase
读取响应
、
、
、
、
我有4个节点
HBase
v0.90.4cdh3u3集群部署在亚马逊XLarge实例(16
HBase
,4个核心CPU)上,其中8Gb堆-Xmx分配给HRegion服务器,2Gb用于数据节点。以下是我使用的一些
HBase
设置:
hbase
.regionserver.codec
浏览 2
提问于2012-04-06
得票数 6
1
回答
对于
Hbase
,在MySQL中有像EXPLAIN这样的功能吗?
、
我团队的领导让我看看在SQL中是否有像EXPLAIN这样的命令来查看
hbase
在搜索行键时是如何遍历区域的。我试着在谷歌上搜索它,但看起来没有。
Hbase
中有没有类似于SQL中EXPLAIN的命令?行键的格式为:我们认为
Hbase
应该从我们查询的时间和elementName中知道应该避免哪些区域,因此不会花费这么长的时间来查询,但我们不确定希望这个命令存在,这样我们就可以看到
Hbase
是如何查询的,这样我们就可以知道我们是需要重新设计模式还是重做行键,或者
浏览 7
提问于2017-02-24
得票数 1
1
回答
巨大的插入到
HBase
、
、
、
、
当我试图向
HBase
插入数据时,我遇到了一个问题。我有一个1200万行星火DataFrame,有两个字段:* MATCH, a boolean ("1" or "0") .format("org.apache.spark.sql.execution.datasources.
hbase
它开始向
H
浏览 1
提问于2016-06-22
得票数 1
回答已采纳
1
回答
hbase
压缩文件大小是多少
、
、
、
、
我最近读到,在
Hbase
主要压缩后,如果存储文件的大小超过
hbase
.hregion.max.filesize,即256MB,那么它再次被分成2。所以有人能解释压缩是在多大的文件上进行的吗?
浏览 0
提问于2014-07-19
得票数 1
2
回答
Hbase
memstore和内存中的是一样的吗?
、
为什么数据没有立即刷新到文件系统?默认情况下,数据在刷新到文件系统之前在memstore中可用多长时间?对于每次写入,数据将存储在memstore中,就像每次读取一样,数据也将写入memstore/
浏览 0
提问于2013-07-16
得票数 0
1
回答
可以跳过自动SQL
调
优
顾问作业中的特定sql语句吗?
、
、
、
、
我面临一个ORA:7445问题与自动sql
调
优
顾问。自动sql
调
优
顾问不断失败 是否有任何方法从自动sql
调
优
顾问作业中跳过此sql语句?
浏览 1
提问于2017-01-22
得票数 1
回答已采纳
2
回答
如何使用Hive查看不同版本的
Hbase
数据?
、
、
如何在配置单元中查看不同版本的
Hbase
数据。根据我对使用HbaseStorageHandler的理解,Hive .Is中只提供最新版本的
Hbase
数据。我的理解正确/更新了吗?有没有办法使用Hive访问不同版本的
Hbase
数据??(
Hbase
-Hive集成的新功能)
浏览 4
提问于2016-02-07
得票数 0
1
回答
调
优
使用基础
HBase
表的Hive查询
、
、
、
、
我在
Hbase
中有一个表,比方说"tbl“,我想使用Hive查询它。'TBLPROPERTIES("
hbase
.table.name" = "tbl当我查看作业跟踪器上的hive生成的映射作业时,我发现"map.input.records“对
Hbase
表中的所有项进行了计数,这意味着作业在启动任何映射
浏览 1
提问于2015-05-06
得票数 9
1
回答
决策树的超参数
调
优
然后在Adaboost中单独使用还是同时产生相同的结果?
、
、
、
、
所以,我在这里的困境是,我在一个独立决策树分类器上执行了超参数
调
优
,我得到了最好的结果,现在轮到独立的Adaboost,但是这里是我的问题所在,如果我在Adaboost中使用
调
优
的决策树作为base_estimator,那么我只对Adaboost执行超参数
调
优
,它会产生与尝试对未
调
优
的Adaboost和未
调
优
的决策树同时作为base_estimator执行超参数
调
优
的结果吗?
浏览 0
提问于2021-09-15
得票数 0
回答已采纳
1
回答
星星之火SQL性能很差。
、
在我的第一个解决方案中:当每个dataRDD查询出现时,将数据从
hbase
实体加载到dataRDD中,然后将该dataRDD注册到SQLcontext。最后执行spark查询。在我的第二个解决方案中,不考虑
hbase
数据更新,而是插入当应用程序启动时,从
HBASE
entity to a dataRDD, named
浏览 6
提问于2015-01-09
得票数 1
1
回答
自定义翻译器-培训后的模型调整
没有字典文件,也没有
调
优
文件。训练结束后,我检查了测试结果,我想在模型中做一些调整。以下是几个问题: 无法看到自动生成的
调
优
文件,因此我必须提供自己的
调
优
文件,以便进行更易于管理的
调
优
过程。是这样吗?请描述如何生成
调
优
文件,当我有3个不同
浏览 3
提问于2020-04-10
得票数 2
1
回答
Hyperopt与默认值
、
、
当我使用hyperopt库来
调
优
随机森林分类器时,我得到了以下结果:然而,当我使用默认的超参数来训练模型时,所有的评估指标(精度、召回、F1、iba、AUC)都会返回比
调
优
模型更高的值。我还应该继续跟踪
调
优
参数吗?或者忽略
调
优
过程的结果,因为它无助于改进结果?
浏览 0
提问于2019-05-27
得票数 4
2
回答
Flink时间缓冲接收器
、
我正在尝试编写一个Flink应用程序,它从Kafka中读取事件,从MySQL中丰富这些事件,并将这些数据写入
HBase
。我正在RichFlatMapFunction中进行MySQL丰富,现在我正在尝试找出如何最好地写入
HBase
。我想批量写入
HBase
,所以我目前正在考虑使用WindowAll,然后使用identity apply (只是为了返回DataStream),然后编写一个HBaseSink,它获取一个记录列表并对
HBase
浏览 0
提问于2019-09-27
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据性能调优之HBase的RowKey设计
Hadoop进级教程之-HBase高可用部署及内存调优
PySpark调优
Mongo 性能调优
Tomcat性能调优技巧
热门
标签
更多标签
云服务器
ICP备案
对象存储
腾讯会议
云直播
活动推荐
运营活动
广告
关闭
领券