无法使用python - thriftpy.transport.TTransportException的happybase包操作HBase
问题：无法使用python - thriftpy.transport.TTransportException的happybase包操作HBase
回答：在使用happybase包操作HBase时，如果出现"python - thriftpy.transport.TTransportException"的错误，通常是由于HBase的Thrift服务无法正常连接导致的。下面是一些可能的原因和解决方法：
- 检查HBase Thrift服务是否启动：确保HBase的Thrift服务已经正确启动。可以通过以下命令检查Thrift服务的状态：
- 检查HBase Thrift服务是否启动：确保HBase的Thrift服务已经正确启动。可以通过以下命令检查Thrift服务的状态：
- 如果服务未启动，可以使用以下命令启动Thrift服务：
- 如果服务未启动，可以使用以下命令启动Thrift服务：
- 检查Thrift端口是否正确：确认happybase连接HBase时使用的Thrift端口是否正确。默认情况下，HBase的Thrift端口为9090。可以在happybase的连接参数中指定Thrift端口：
- 检查Thrift端口是否正确：确认happybase连接HBase时使用的Thrift端口是否正确。默认情况下，HBase的Thrift端口为9090。可以在happybase的连接参数中指定Thrift端口：
- 检查网络连接是否正常：确保运行happybase的机器可以正常访问HBase服务器的网络。可以尝试使用telnet命令检查Thrift端口的连通性：
- 检查网络连接是否正常：确保运行happybase的机器可以正常访问HBase服务器的网络。可以尝试使用telnet命令检查Thrift端口的连通性：
- 如果无法连接，可能是由于网络配置或防火墙设置导致的。请检查网络配置和防火墙规则，确保允许happybase机器与HBase服务器之间的通信。
- 检查依赖库是否正确安装：确保happybase和其依赖库已经正确安装。可以使用pip命令检查和安装最新版本的happybase：
- 检查依赖库是否正确安装：确保happybase和其依赖库已经正确安装。可以使用pip命令检查和安装最新版本的happybase：
如果以上方法仍然无法解决问题，建议查阅happybase的官方文档或寻求相关技术支持。
相关·内容
编辑:这个问题和答案适用于任何经历主题行中所述异常的人：TTransportException(type=4，message='TSocket 0字节‘)；不管是否涉及Cloudera和/或HappyBase。
根本问题(事实证明)是由于protocol和/或transport格式与server-side正在实现的格式不匹配，这在任何客户机/服务器解析中都可能发生。我的恰好是 Cloudera和HappyBase，但是您不必这样做，您可能会遇到同样的问题。
最近有人尝试使用happybase v1.1.0 (latest) Python包在Cloudera CDH v6.1.x
浏览 3提问于2019-02-12得票数 0
回答已采纳
我在Amazon AWS上创建了一个服务器EC2，并安装了用于使用HBASE的HappyBase python库。另外，我在EMR中创建了一个工作集群Hbase。然后我尝试在EC2上的第一个服务器上运行该脚本：
import happybase
connection = happybase.Connection('….us-west-2.compute.amazonaws.com')
connection.open ()
print connection.tables ()
但我得到一个错误，服务器找不到。作为主机，我有Hbase集群公共dns。使用python happyba
浏览 0提问于2013-11-24得票数 1
1回答
我正在尝试使用Happybase创建一个表。首先，我输入以下命令，让Hbase和Thrift运行： start-hbase.sh
hbase thrift start & 运行后，我打开Python的命令提示符，并键入以下内容： import happybase as hb
connection = hb.Connection()
connection.open() 但是，当我尝试创建一个表时： connection.create_table(
'mytable',
{'cf1': dict(max_versions=10),
'cf2
浏览 17提问于2019-03-22得票数 0
我们有一个基于Hadoop的HBase实现。到目前为止，我们所有的Map-Reduce作业都是用Java类编写的。我想知道是否有一个好的方法来使用Python脚本来传递到Map-Reduce的HBase。
浏览 2提问于2013-01-10得票数 3
我正在使用happybase从twitter传递数据到我的hbase设置，最初它工作得很好，我可以创建与hbase和表的连接，但现在我不能通过happybase，通过脚本和python提示符来放置，扫描，删除hbase中的任何数据。
>>> import happybase
>>> cn = happybase.Connection('localhost')
>>> v = cn.table('test')
>>> <happybase.table.Table name='te
浏览 0提问于2013-10-16得票数 0
1回答
请注意，我还没有安装hadoop，因为我还没有让nodes.But因为令人印象深刻的架构而决定使用hbase。
现在的问题是，我无法从python连接到hbase，无论是从happybase这样的库还是直接使用thrift。我尝试过这个-- 也是，但是没有用。请在这方面帮帮我。
更新-
> >>> import happybase
> >>> con =happybase.Connection('localhost') Traceback (most recent call last): File "<stdin
浏览 1提问于2013-04-04得票数 2
1回答
我是HBase的新手。我想通过python在HBase中插入一些数据。我在谷歌上搜索，发现Python语言中有Mapr for HBase，但根据我的理解和发现，这不适用于HappyBase M7。
请指导在Python中需要导入哪些包。
谢谢。
浏览 2提问于2016-06-14得票数 0
我正在尝试使用Python与hbase行knox进行交互，在python中，管理人员给出了一个用于hive、hbase和spark的knox端点列表：https://knox-devl.www.mysite.com:9042/gateway/MYSITEHDO/hbaseversion/cluster
现在，由于我使用的是Python的并发库，我的连接代码是
import happybase
connection=happybase.Connection('https://knox-devl.www.mysite.com/gateway/MYSITEHDO/hbaseversion/
浏览 1提问于2019-04-03得票数 1
回答已采纳
我正在使用粒子库连接到我的Hbase数据库。我做了一个名为'irisSample‘的样本表。这是我遇到麻烦的那部分代码-
import happybase
from happybase import *
import json
connection = happybase.Connection('<ip-address>', '9090')
table = connection.table('irisSample')
n = 0
x = 1
for u in y:
data = {'petalWidth&
浏览 41提问于2016-01-19得票数 0
回答已采纳
4回答
传输异常
、、、
我正在尝试导入happybase，但在连接时收到以下错误消息。我已经有了Hadoop伪节点集群和Hbase。已安装组件的版本如下: Hadoop版本- 1.0.4 Hbase版本- 0.94.4 happybase -0.4
有人可以看看下面的例外情况，让我知道，如果有任何节俭的具体设置或任何指导，以获得这个修复。
谢谢。
Python 2.6.1 (r261:67515, Jun 24 2010, 21:47:49)
[GCC 4.2.1 (Apple Inc. build 5646)] on darwin
Type "help", "copyright",
浏览 0提问于2013-02-05得票数 3
1回答
我知道这个问题还有更多的问题，但似乎没有一个人说如何解决这个问题。 我正在使用happybase python包连接到HBase thrift服务器，当我尝试插入数据时，我得到了这个错误。 我安装了happybase 1.1.0，我正在使用Hortonworks Data Platform来处理HBase 2.0.0。 我使用以下命令启动了我的thrift服务器： /usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p 12345 我正在尝试使用以下代码连接到服务器： import happybase
try:
浏览 90提问于2019-03-25得票数 0
我正在使用happybase连接到HBase。到目前为止，连接是正常的。我们已经开始节俭了。我能够连接到表(AFAIK)，但是当我尝试扫描表时，我得到了TTransportException: TSocket read 0 bytes。这是我正在使用的代码。
import happybase
import json
connection = happybase.Connection('ipaddress', '22')
table = connection.table('rawdataingestion')
for key, data in
浏览 20提问于2016-01-12得票数 2
1回答
我用python编写了一些需要写/读到HBase的代码。在我发现HappyBase还不适合python3之前，我就想过使用python3与python3进行交互。
我想的是用jython编写一个很小的包来与HBase交互。业务逻辑的其余部分将保留在Cpython中。
是否可以从python调用jython代码。我希望我的代码在CPython上，除了应该与HBase交互的部分
如果你能给我一些关于如何做到这一点的提示/例子，我将非常感激。我是否需要特定版本的jython解释器来与python3混合？
编辑：有谁能推荐如何使用python3访问HBase？
浏览 1提问于2013-04-03得票数 4
我想通过幸福基地把火花和Hbase连接起来。但我从一开始就发现了这个错误：
(pyenv) hduser@master:~$ python -c 'import happybase‘
(pyenv) hduser@master:~$ python -c connection =happybase.Connection(“某某主机”) bash:意外令牌附近的语法错误
浏览 5提问于2018-12-13得票数 0
回答已采纳
我想通过 (python)连接到Kerberos 安全的 HBase数据库。
该连接可用于另一个具有此设置的不安全集群：
import happybase
connection = happybase.Connection("host1.domain.de", port=9090)
connection.open()
print(connection.tables())
现在，我想通过ZooKeepQu仲裁(比方说host2.domain.de)和端口2181连接到我的安全数据库。动物园节点是/hbase-secured。
我尝试用上面显示的相同的代码连接到我的db (在通过控
浏览 3提问于2017-08-09得票数 0
回答已采纳
1回答
我使用HappyBase作为Python Thrift客户端连接到HBase。
我正在扫描表，并且需要在多个列上使用过滤器。如何在HappyBase中实现这一点？Java提供了一个使用Filterlist的选项。
浏览 3提问于2013-08-02得票数 3
1回答
我的开发环境是centos7，hbase 1.2.5，OptimyBase1.1.0，python2.7，PyCharm，Hadoop2.7.3，Spark2.1，我正在开发一个大数据软件。我需要将这些值放入HBase表中。这些值来自Spark。以下是守则：
import happybase
from pyspark import SparkContext, SparkConf
connection = happybase.Connection('localhost')
table = connection.table('tablename')
conf =
浏览 8提问于2017-05-23得票数 0
回答已采纳
1回答
我可以连接我的hbase
connection = happybase.Connection(host='node-04',port=16000)
table = connection.table('test')
这两个命令工作正常，没有任何错误。但是当我运行下面的命令时，我得到了以下错误
print connection.tables()
error
Traceback (most recent call last)
<ipython
浏览 10提问于2016-05-26得票数 0
我正在尝试使用happybase来访问我的Hbase表。
我使用的是happybase github存储库中的python3分支。
下面是我的测试代码：
import happybase
from settings import HBASE_THRIFT_SERVER
connection = happybase.Connection(HBASE_THRIFT_SERVER)
print(connection.tables())
table = connection.table('people')
def get_audience(audience_qual,start,
浏览 5提问于2016-05-19得票数 0
1回答
我在hbase(v-1.2.1)中有一个表，我想在上面应用一些机器学习技术。因此，我想将我的表从hbase加载到pandas dataframe。
hbase(main):006:0> list
TABLE
cust_sms
1 row(s) in 0.0120 seconds
=> ["cust_sms"]
hbase(main):007:0>
表名为cust_sms，hbase版本为1.2.1。我不能使用happybase，因为它只适
浏览 0提问于2016-04-27得票数 0
我在AWS EMR上使用Hbase 0.94.18。我计划使用HappyBase，因为它看起来很有前途。不幸的是，我在第一次尝试时就遇到了这个问题：
conn = happybase.Connection(port=9200,compat='0.94')
conn.tables()
Traceback (most recent call last):
File "", line 1, in
File "/usr/local/lib/python2.6/site-packages/happybase/connection.py", line 2
浏览 0提问于2015-09-04得票数 4
1回答
我试图使用python示例代码连接到Hbase。
import happybase
connection = happybase.Connection(myhost,port, autoconnect=True)
# before first use:
connection.open()
print(connection.tables())
的错误如下所示
打印( "/usr/local/lib/python2.7/dist-packages/happybase/connection.py"，())跟踪(最近一次调用)：文件""，第1行，文件"/us
浏览 6提问于2017-04-18得票数 4
我研究了HappyBase Connection类的代码和这里的文档：
但我找不到任何方法来设置不同的Hbase超时，如hbase.rpc.timeout，hbase.rpc.shortoperation.timeout在happybase中。
如何设置这些参数？
浏览 3提问于2016-02-04得票数 1
2回答
我的项目使用bottle和HBase，客户端通过python thrift客户端连接到HBase，代码简化如下
#!/usr/bin/env python
from bottle import route, run, default_app, request
client = HBaseClient()
@route('/', method='POST')
def index():
data = client.getdata()
return data
现在的问题是，如果客户端断开连接，我们的请求将失败。因此，它需要确保客户端保持存活。
一
浏览 4提问于2013-03-05得票数 4
当hbase-site.xml由
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>
<name>hbase.zookeeper.quorum</name>
<value>a.example.com,b.example.com,c.example.com</value>
</property>
<property>
浏览 0提问于2014-10-16得票数 2
1回答
我正在尝试使用HappyBase从python连接到hbase
下面是正在尝试的代码
>import happybase
>connection = happybase.Connection(host = <myHost>,port = <myPort>)
<happybase.connection.Connection object at 0x7ff46c527bd0>
>connection.tables()
---> runs for real long time never ending <----
当我试图
浏览 1提问于2016-07-01得票数 0
我的python版本是3.7，在我运行pip3 install happybase之后，我启动了命令hbase thrift start，并尝试编写一个简短的.py文件，如下所示：
import happybase
connection = happybase.Connection('master')
table = connection.table('jmlr') #'jmlr' is a table in hbase
for i in table.scan():
print(i)
table.put('001
浏览 150提问于2020-05-20得票数 0
回答已采纳
我是hbase的新手，目前我正在使用hbase-1.2.6。我使用python脚本通过happybase包连接到hbase。我的问题是:谁能让我知道如何解码时间戳值，这是自动插入时，我们把任何记录在表中？
1.what is the exact interpretation of timestamp value in hbase?
2.can we convert this timestamp value to yy-mm-dd-hh:mm:ss format?
浏览 11提问于2017-11-22得票数 0
回答已采纳
我有一个mapreduce程序，使用happybase连接到Hbase。我收到以下错误
文件
/hadoop/yarn/local/usercache/aprakash/appcache/application_1407169690715_0025/container_1407169690715_0025_01_000002/./testhappybase.py, line 9, in <module>
import happybase
ImportError: No module named happybase
当我独立运行程序时，我能够导入happybase。下面的命令显示了我
浏览 2提问于2014-08-14得票数 3
我有一个hbase表(customers)，格式如下：
hbase(main):004:0> scan 'customers'
ROW COLUMN+CELL
4000001
浏览 3提问于2015-02-17得票数 0
回答已采纳
1回答
我们使用以下命令通过Pyspark读取Hbase表。
from pyspark.sql.types import *
host=<Host Name>
port=<Port Number>
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter&
浏览 1提问于2015-06-24得票数 3
我想用happybase对hbase中的rowkey进行采样(因为内存有限)，所以我搜索并实现了
import happybase
"""~ """"
table = connection.table('drivers')
a=list(table.scan(filter="RandomRowFilter (chance=0.1f)" ))
or a=list(table.scan(filter="RandomRowFilter ('chance',=,'0.1')
浏览 0提问于2015-10-26得票数 0
2回答
从python写到hbase表
、、、、
我正在运行一个map-还原作业，现在我想在hbase中输入值。我从map中流值--在stdin上减少作业，并有一个python脚本在上插入(放置)行。
我遇到了不同类型的问题，从python中执行put操作。据我所知，最近的问题似乎与库的兼容性问题有关。错误日志显示迭代项的问题。引用了排序查询所需的额外python库，这不是从pythonVersion2.7开始(我正在运行2.7.6)所必需的。
有人遇到过类似的问题吗？它们能很容易地修复吗?或者您会推荐使用不同的界面吗？
更多细节
我已经安装了hadoop (2.6.0)和hbase (0.98.10-2/5/2015)，并在独立配置中运行。
浏览 8提问于2015-02-11得票数 2
我已经安装了5.9.0安装了HBase，并在CentOS 7.3的VirtualBox vm中的端口9090上运行了VirtualBox服务器。
请帮助找出为什么我不能成功地通过快乐基础进行界面，或帮助确定下一步的追求。
我是一个经验丰富的Java程序员，学习Python。我有使用本机接口使用来自Java的Hbase的经验，虽然不是在这个特定的环境中。
我已经验证了我可以使用hbase shell创建表、插入数据等等。
我已经验证了9090 (节俭)是倾听和接受连接。
我想，我已经验证了，Thrift服务器运行的协议/传输设置与喜怒哀乐的连接参数相同。
Python脚本实际
浏览 4提问于2017-01-16得票数 0
回答已采纳
1回答
从猪上运行时没有名为粒子基的模块
、、、、
我有一个Python，它使用幸福基础连接到HBase。如果我从Python2.7中运行代码，它将完美地工作。
然而，当我从Pig0.15.0调用Python时，我得到了以下错误：
错误org.apache.pig.tools.grunt.Grunt -错误1121: Python。回溯(最近一次调用最后一次调用)：导入ImportError:没有名为喜派库的模块
在我的Pig脚本中，我注册我的Python (pigtest.py)如下：
REGISTER 'pigtest.py' using jython as myfuncs;
我试图按如下方式在Python脚本中设置
浏览 1提问于2015-12-15得票数 0
回答已采纳
要使用幸福基- Python，我们需要像幸福库文档中提到的那样，让我们的Th裂缝服务器为Hbase启动并运行。
我得到了下面的java运行时异常，同时启动了Happybase服务器。
线程"main“java.lang.AbstractMethodError: java.lang.AbstractMethodError中的异常
我正在使用下面的命令来启动Thrift服务器。
hbase thrift start
浏览 1提问于2018-04-06得票数 0
我想在亚马逊EC2上创建一个数据库Hbase，并使用python Happybase编写一些测试数据。该怎么做呢？请告诉我我可以在哪里读到它的链接。谢谢
浏览 2提问于2013-11-05得票数 0
使用HappyBase中的HBase API，可以通过以下方式执行批处理插入：
import happybase
connection = happybase.Connection()
table = connection.table('table-name')
batch = table.batch()
# put several rows to this batch via batch.put()
batch.send()
如果这批产品中途失败，会发生什么情况？保存的行是保存的还是未保存的行？
我在HappyBase github中注意到，table.batch()方法以t
浏览 4提问于2015-06-01得票数 1
回答已采纳
如果我使用hbase shell并发出：
put 'test', 'rowkey1','cf:foo', 'bar'
scan 'test'
我将以字符串形式看到结果，而不是以字节形式。
如果我使用happybase并发出以下命令：
import happybase
connection = happybase.Connection('<hostname>')
table = connection.table('test')
table.put('rowkey2&
浏览 3提问于2014-01-15得票数 0
1回答
我希望构建一个简单的RESTFull API来访问HBase。我看上去像Python HappyBase，但是我的集群是角化的。现在我对Spring感兴趣。
我曾经用、Solr、和Spring 制作简单的API。
对Hbase也可以这样做吗？
我不知道是否要使用Spring Boot 'Yarn App' =>
或者Spring Hadoop。=>
只是想要一个非常简单的API。
谢谢你帮忙。
浏览 1提问于2017-11-13得票数 1
我已经在Google Colab中安装了Hadoop，Hbase，并试图创建表格，然后在那里读取和插入记录。
HBase外壳命令正在工作，我使用它创建了一个名为'cars2‘的小表，可以读取那里的数据。
!echo "create 'cars2', 'make','model','year'" | hbase shell -n
!hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimp
浏览 12提问于2021-11-25得票数 0
2回答
Hbase超时错误不断发生
、、、、
我使用happybase和python访问Hbase。
我有一个非常简单的功能：
def connect():
connection = happybase.Connection('myhost',myport)
table = connection.table('MY-TABLE')
try:
return str(table.row('my-row'))
except Exception as ioe:
return str(ioe)
finally:
浏览 8提问于2016-06-01得票数 1
回答已采纳
我正在尝试安装在高山虚拟机上。我遵循了这里的教程https://towardsdatascience.com/setting-up-a-standalone-hbase-local-instance-and-connect-to-it-with-python-happybase-9751c9fe6941 我得到了下面的错误： alpine:/home/downloads/hbase-2.2.3# ./bin/hbase shell
2020-04-02 23:34:53,255 WARN [main] util.NativeCodeLoader: Unable to load native
浏览 208提问于2020-04-03得票数 0
我第一次尝试设置HBase。我能够在服务器上成功地运行本机Hbase shell。但我无法通过客户端远程连接。
我在主机上使用以下命令启动Hbase：/home/kirill/hbase/hbase-1.2.5/bin/start-hbase.sh
要从客户端连接，我在Python (Anaconda)中运行以下命令：
>>> import happybase
>>> co = happybase.Connection('192.168.0.18',2181)
>>> co.tables()
在尝试使用co.tables()
浏览 5提问于2017-06-06得票数 0
我试图通过REST读写hbase，我让它在8085端口的机器上运行(可以在XXXXX:8085/Rest.jsp上看到它)
我做了这个脚本来测试，它给了我405 (我认为它是“不允许的方法”，但我不确定)：
#!/usr/bin/env python
from starbase import Connection
from socket import gethostname
hostname = gethostname()
print "hostname: %r" % hostname
con = Connection(host=hostname, port=8085)
浏览 5提问于2014-03-06得票数 0
回答已采纳
我目前正在编写一个Python脚本，使用"happybase“将HBase表转换为csv。我遇到的问题是，如果表太大，在达到略高于200万行的行数后，我会得到以下错误：
Hbase_thrift.IOError: IOError(message='org.apache.hadoop.hbase.DoNotRetryIOException: hconnection-0x8dfa2f2 closed\n\tat org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegio
浏览 6提问于2017-11-28得票数 0
我是hbase的新手，我想使用happybase，遵循这里的教程：代码如下：
connection = happybase.Connection(host='10.0.0.11', port=16000);
connection.open()
table = connection.table('users')
list(table.scan())
但我总是遇到节俭的问题：
thrift.transport.TTransport.TTransportException: TSocket read 0 bytes
有人知道如何解决这个问题吗？我使用的是linux。t
浏览 1提问于2015-09-02得票数 1
我使用python流(只有mapper函数实现)写了一段mapreduce代码，并使用happybase从Hbase读取数据。当我在5个节点的发行版中运行mapreduce代码时，由于python流代码具有从hbase读取记录并分布在整个集群中的扫描功能，因此所有创建的映射器实例都在从hbase提取/读取的相同数据集上进行处理。
示例：
for key, data in table.scan(row_start='1'):
Somecompute( key, data)
在这里，如果我在hbase中有100行，集群中产生的所有映射器实例都在处理来自hbase的相同的1
浏览 0提问于2014-09-29得票数 0
1回答
我试图在最短的时间内将数据插入到Hbase。我尝试在底部显示的方式，但我得到了一个错误，如下所示。有没有人知道出了什么问题，我该怎么解决呢？也许hbase org.apache.hadoop.hbase.mapreduce.ImportTsv更有效率？或者我应该使用PySpark，或者甚至是另一个工具？什么给了我最好的表现？如果需要更多的信息，请告诉我。提前谢谢你。
误差
Connect to HBase. table name: rfic, batch size: 1000
Connected to file. name: /path/to/hbase/logs2.csv
Traceback
浏览 0提问于2018-10-25得票数 0
我尝试连接到HBase并通过python的happybase包对其进行操作这里是我用来连接到HBase的代码：(‘打印’行帮助我定位程序停止的位置)
import happybase
connection = happybase.Connection('197.12.8.2',2181)
print('0')
connection.open()
print('1')
table = connection.table('customerLocations')
print('2')
table.put('1
浏览 21提问于2017-08-10得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
