当hadoop和python位于不同的docker容器中时，如何使用python3在hadoop集群中读写文件？

文章/答案/技术大牛

发布

1回答

python-3.x、hadoop、docker-compose

我有一个运行hadoop集群的docker容器和另一个运行python脚本的docker容器。如何在hadoop容器中读写python容器的文件？Q.Q

浏览 22提问于2019-09-04得票数 0

2回答

Hadoop集群分布在不同子网(Docker + Flannel)

hadoop、docker

我希望在使用Docker的多裸机集群中使用Hadoop 2.3.0。我有一个主容器和一个从容器(在第一个设置中)。当Master和Slave容器在同一主机(因此，相同的Flannel子网)中时，Hadoop可以完美地工作。但是，如果Mast

浏览 0提问于2015-12-21得票数 2

1回答

在被叫码头集装箱外实例化码头集装箱

java、hadoop、docker

我正在尝试以编程的方式在我的java代码中启动docker容器，这些容器将进行一些数据处理，然后一旦完成就会死掉。这样，我们就不会有大量的坞容器在不断地监听生产集群。我还发现了Spotify提供的一个很好的库，它可以处理这些调用。如果调用远程api的代码位于一个对接器容器<

浏览 0提问于2017-11-08得票数 0

1回答

EMR 6.1.0上的默认Python3内核不在我的集群上吗？

amazon-web-services、jupyter-notebook、amazon-emr

我注意到在将EMR笔记本附加到带有Hadoop、Spark和Livy的EMR 6.1.0集群上时，出现了一些奇怪的情况。您知道，我在主节点上安装的包在缺省的Python3内核中不可用，但在缺省的PySpark内核中可用。当我在PySpark内核上获得主机名时，我可以看到它与我的主节点

浏览 12提问于2020-09-18得票数 0

1回答

使用Kubernetes或Apache mesos

apache、hadoop、docker、kubernetes、mesos

我们有一个在一些docker文件中描述的产品，它可以创建必要的docker容器。一些docker容器将只运行一些基本的应用程序，而其他容器将运行集群(hadoop)。现在的问题是我需要使用哪个集群管理器。Kubernetes或Apache mesos，还是两者兼而有之？我读到Kubernete

浏览 1提问于2016-01-05得票数 3

1回答

将我的容器启动文件转换为docker-compose.yml

bash、docker、hadoop、docker-compose

我在大数据领域比较新，这是我第一次使用Docker。我刚刚发现了一个惊人的项目：，它使用Docker创建了一个hadoop集群，它由一个主程序和两个奴隶组成。完成所有的安装之后，我只运行容器，它们就可以正常工作了。有一个start-containers.sh文件，它给了我午餐，集群。我的集群的容器不能相互连接，

浏览 0提问于2019-11-06得票数 0

回答已采纳

2回答

Hadoop 2.5.0远程写入文件失败

java、hadoop、hdfs

在远程使用Hadoop Java API将文件放入HDFS 时，我遇到了一个问题。在Hadoop系统上运行时，我可以毫无问题地将本地文件复制到hdfs。然而，当我尝试将数据放到文件中时，我远程遇到了一个问题。:526)2014-11-04 14:19:

浏览 2提问于2014-11-05得票数 3

1回答

Spark2 Dataset<Row> saveAsTable未更新配置单元元数据

apache-spark、hive、hadoop2

我使用的是spark 2.1.0，下面是最简单的代码： SparkSession spark = SparkSession.builderspark-submit CLI提交：我可以看到数据持久化在HDFS：/usr/hive/warehouse/

浏览 7提问于2017-07-13得票数 0

回答已采纳

1回答

将Kafka和HDFS与码头集装箱连接起来

docker、apache-kafka、hdfs、apache-kafka-connect

我正在使用这个例子：然后，我用debezium网站上的图片启动了动物园管理员kafka和mysql。。docker上改变HDFS时--come.yml--资源管理器关闭了，而且无论我如何发现我如何能够再次启动并使其稳定。就这样直接添加到这些容器上，动物园管理员kafka和mysql.。，这是最棘手的部分，卡夫卡连接，我在这个案例中<

浏览 12提问于2020-01-21得票数 0

回答已采纳

1回答

如何在更改容器后获得正确的数据并重新启动码头中的容器

docker

hadoop1 -d -P centos7_hadoop docker exec -it hadoop1 /bin/bash172.18.0.4

浏览 1提问于2018-11-29得票数 0

回答已采纳

1回答

1个Hadoop和Hbase大簇与1个Hadoop簇+1个Hbase簇

hadoop、hbase

Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbas

浏览 4提问于2014-04-19得票数 1

回答已采纳

1回答

如果我安装了Docker，我可以禁用Hyper-V功能吗？

docker、hyper-v、hypervisor

我已经在Windows10上安装了Docker来使用单节点Hadoop集群，并为它启用了Hyper特性。现在我不需要它，但我不想丢码头集装箱。当我需要再次与对接者一起工作时，我可以禁用Hyper功能一段时间并启用它吗？或者它可能会影响现有的容器？

浏览 6提问于2021-12-05得票数 1

回答已采纳

1回答

星火处理如何处理来自集群外部的数据，如azure存储？

azure、apache-spark、apache-spark-sql、azure-databricks

我的问题类似于： val df = spark.read.parquet("wasbs://

浏览 1提问于2020-04-03得票数 1

回答已采纳

1回答

纱线是如何决定制造多少个容器的？(为什么S3a和HDFS有区别？)

hadoop、amazon-s3、hadoop-yarn

我正在使用当前版本的Hadoop，并运行一些TestDFSIO基准测试(V1.8)来比较默认文件系统为HDFS和默认文件系统为S3桶(通过S3a使用)的情况。当以默认文件系统读取10 0 x1MB文件为S3a时，我观察到slower中的最大容器数量少于默认情况下的HDFS，而S3a大约是的4倍。当</e

浏览 1提问于2016-03-01得票数 7

回答已采纳

1回答

使用运行在HDI中的python访问blob存储。

python、apache-pig、azure-hdinsight

我正在编写一个pig嵌入式python脚本，它是在HDInsights中启动和运行的。我试图在python部分添加一个条件块，它检查blob存储中的路径(例如，wasb://容器@account/ path )，并在此检查的基础上更新变量。标准的os.path.exists似乎无法访问blob存储(或者我对文件路径使用</em

浏览 4提问于2015-03-09得票数 2

回答已采纳

6回答

hadoop，python，子进程失败，代码127

python、hadoop、mapreduce、cloudera、hadoop-streaming

我试着用mapreduce运行非常简单的任务。#!/usr/bin/env pythonfor line in sys.stdin:我的txt文件：asdfgh运行作业的命令行(UserGroupInformation.java:1693) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.

浏览 1提问于2017-03-27得票数 6

1回答

hadoop中输入的数据量有多大？

hadoop、bigdata

我是大数据和hadoop的新手。我想知道是名称节点、数据节点、二级名称节点、作业跟踪器、任务跟踪器等不同的系统？如果我想处理1000 PB数据，数据是如何划分的，谁在执行这个任务，我应该在哪里输入1000 PB数据。

浏览 0提问于2017-06-10得票数 0

回答已采纳

1回答

使用docker在主机上执行shell脚本时出现的问题

bash、docker、amazon-emr

我试图在AWS EMR集群的主节点上执行一个脚本。其目的是创建一个新的conda env并将其链接到jupyter。我正在跟踪AWS的文档。问题是，无论脚本的内容是什么，我都会得到相同的错误:在执行bash: /home/hadoop/scripts/bootstrap.sh: No such file or directory时执行sudo我已经确保sh文件

浏览 1提问于2019-04-03得票数 1

回答已采纳

1回答

如何避免因Docker自动名称而导致的工人文件

docker、hadoop、docker-compose、docker-swarm

有些工具，如Hadoop，需要显式地指定工人的名称(中的节奴隶文件)，但是当部署Docker时，它会分配自动容器名称，因此工人文件不再工作，因为它中的名称不存在。是否有任何方法可以避免此文件或至少为容器指定别名(独立于容器名称)以使其工作？也许我不能使用docker-compose.yml<e

浏览 2提问于2021-03-01得票数 0

回答已采纳

1回答

如何连接在同一主机上运行的两个码头容器？

docker、hadoop

Hadoop服务在hadoop容器例如datanode，namenode，jobtracker，tasktracker，secondarynamenode中运行。水槽服务运行在水槽连接的即水槽剂上。我试着连接，但没能实现。运行容器的命令： docker run -it -

浏览 0提问于2015-01-29得票数 4

点击加载更多