1回答
我想在我的macbook上启动hadoop，我完成了apache所说的所有步骤。当我使用"bin/start-all.sh“命令时，我得到以下命令：
starting namenode, logging to /Users/alibozorgkhan/Desktop/hadoop-0.20.203.0/bin/../logs/hadoop-alibozorgkhan-namenode-d142-058-172-111.wireless.sfu.ca.out
localhost: starting datanode, logging to /Users/alibozorgkhan/Des
浏览 0提问于2011-10-07得票数 3
1回答
我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。
浏览 0提问于2019-10-12得票数 1
2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
这在亚马逊是可能的，但我的问题是:在OpenShift中是可能的吗？
浏览 1提问于2014-09-15得票数 0
1回答
google为使用Hadoop提供了连接器。()
使用连接器，我从hdfs接收数据到google云存储。
(前)
hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。
因此，我尝试更改设置distcp ( map属性、带带属性.)。
但是速度是一样的。
HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。
我知道一个解决办法
远程->集群节点(使用scp)
节点-> hdfs (使用hdfs命令)
但是对于我的用例，它不起作用，我需要找到一个解决方案，直接从本地上传文件到hdfs，就像hue用于上传一样。
我也试过听从命令
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://<‘hdfs-路径’>
但是，通过以下错误：
copyFromLocal：<‘本地路径’>：没有这样的文件或目录
如有任何
浏览 2提问于2016-06-17得票数 0
我正在研究如何使用GCP，特别是大数据和分析函数，我不太确定它们的功能。我做了一些映射来理解这些组件。你能帮我查一下我的理解吗？
云Pub/Sub: Apache Kafka
云Dataproc: Apache，火花
GCS: HDFS兼容
云数据流: Apache束，Flink
数据存储: MongoDB
BigQuery: Teradata
BigTable: HBase
内存: Redis
云SQL: MySQL，PostgreSQL
云编写器: Informatica
云数据工作室: Tableau
云Datalab:木星笔记本
浏览 3提问于2019-02-10得票数 0
我试图在同一台机器上安装Spark和Hadoop。Spark将用于处理数据，Hadoop的HDFS将用于存储数据。我第一次开始安装火花，它运行得很好。但是，当我开始安装Hadoop并设置JAVA_HOME环境变量HDFS时，HDFS工作正常，但是火花中断并显示：Files was unexpected at this time。当我发射的时候。当我删除JAVA_HOME时，Spark再次工作，但HDFS并非如此。在这种情况下我该怎么办？
浏览 0提问于2017-08-23得票数 0
回答已采纳
请描述您的问题
标题：免费额度 - 无服务器云函数 - 文档首页 - 腾讯云文档平台 - 腾讯云
地址：https://cloud.tencent.com/document/product/583/12282
浏览 220提问于2018-03-11
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
如果关闭hadoop集群，我们会丢失HDFS中的数据吗？
为什么我们不应该将数据留在HDFS中？
价格问题？
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
SOLR版本- 5.5.2
我的项目需求是将solr云索引从cloudera集群传输到HDP集群。
数据是巨大的(在生产上有10亿个索引记录)，因此重新索引不是一种选择。
我们已经尝试过solr还原和备份API，但是在云上看不到数据。请检查我们是否遗漏了==>下面的任何一步
1) 允许快照 (Cloudera集群)：
sudo -u hdfs hadoop dfsadmin -allowSnapshot /user/solr/CollectionName
2) 创建了快照：
sudo -u hdfs hadoop dfs -createSnapshot /user/solr/
浏览 0提问于2018-06-03得票数 1
1回答
是否有方法将mysql存储过程导入到HDFS？我看过一个关于同一个的输出
sqoop export --connect jdbc:mysql://db.example.com/foo --call barproc \
--export-dir /results/bar_data
但是，当我使用--调用与我的导入语句一起使用时，它不起作用。
sqoop-导入-连接jdbc:mysql://localhost:3306/storedProc -调用tabl_Proc -用户名根-密码传递-目标-dir://:8020/procedureTest
样本mysql程序
mysql>
浏览 8提问于2016-12-20得票数 1
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。
然而，我意识到，当目标是云时，基于快照差异的复制不能工作。
这样的同步还可以吗？
-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。
命令
hadoop distcp --conf hdfs.conf -update -delete hdfs:///tmp/test_distcp gs://onpremhadoopfiles-123/
带有快照diff的命令
hadoop distcp --conf test
浏览 16提问于2022-07-29得票数 0
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
hdfs api 操作部署在腾讯云的伪分布建目录，删除目录都正常，但下载文件就不行了，总是报错
Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt
确定文件正常的，从web页面都能下载查看！
如下是hdfs api 代码
image.png
以下是报错
image.png
请问大佬这是怎么回事？
浏览 229提问于2021-04-15
2回答
根据谷歌云文档，
云存储可能会增加I/O变化。在许多情况下，云存储比HDFS具有更大的I/O差异。如果您有一致的I/O需求，例如由HBase或另一个NoSQL数据库支持的应用程序，这可能会有问题。
有人能提供一个变异的例子吗？什么意思？
浏览 0提问于2021-01-29得票数 0
回答已采纳
除了汇合的HDFS库(非开源)之外，是否有任何完全开放的源代码库可以将消息从Kafka (使用Kafka Connect)转移到HDFS 3？
Kafka连接HDFS 2水槽-合流社区牌照Kafka Connect HDFS 3 Sink -合流企业许可证
相关：
浏览 1提问于2021-05-05得票数 0
回答已采纳
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我是如何移动数据的？
我担心它会在公共网络上传播。
安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
我已经将一个数据库的数据和文件夹结构从一个HDFS实例复制到另一个HDFS实例。 如何对配置单元元数据执行相同的操作？我需要新的HDFS实例的hive使用它们现有的分区来定义这个数据库和它的表，就像它在原始位置一样。当然，它们通常需要随着hdfs外部表位置的更新而维护其原始模式。 乐于使用直接的hive命令、spark或任何开源且随时可用的通用CLI实用程序。我没有实际的hadoop集群(这是云存储)，所以请避免回答依赖于map reduce/etc的问题(比如Sqoop)。
浏览 16提问于2019-05-15得票数 1
回答已采纳
我已经有谷歌云计费我的Firebase帐户，但有时当预算大于配额，我的防火墙计划被终止。每当我试图链接我的Firebase帐户回谷歌云计费，我不能，我需要重新创建一个新的谷歌云计费。有没有办法重新链接我的Firebase帐户与我的旧谷歌云计费？我要开一张新的账单吗？
浏览 3提问于2021-12-05得票数 0
我正在寻找沙箱或测试环境，在那里我可以学习：
如何在云上部署PHP应用程序，了解云计算的基础知识。
就像Paypal为开发者提供了沙箱。PHP程序员有没有这样的测试环境？我想知道我应该走哪条路来获得基于PHP的云就绪知识。
只是为了说明一下，我正在寻找免费的服务。如果免费或测试场所不可用，那么从开发人员的角度来看，非常便宜的服务也是很好的。
浏览 0提问于2010-11-04得票数 0
回答已采纳
我现在正在寻找一种方法，除了GCE之外，如何在google云上实现websocket客户端。
让我简要介绍一下目标。
环境: javascript，nodejs，google cloud(云函数或应用程序引擎)我的程序作为websocket客户端，我想要得到的数据应该只通过websocket (websocket服务器:服务提供商，客户端:我的程序).The程序将与调度器一起运行，它应该在获得数据后自动执行(在浏览器之外)，程序应该被终止。
我认为这种情况并不常见，因为websocket客户端通常在浏览器上运行。
但是，我必须使用具有云功能和应用程序引擎的google云平台，而不是计算引擎。我
浏览 0提问于2020-04-01得票数 0
正如标题所述，我正在寻找Ubuntu友好软件，它将压缩、加密、拆分和上传数据，以便在多个云上备份。我已经抓取了多个云帐户，免费的大小从2gb到50 2gb不等，我想把加密的数据备份到云上。其中一些账户包括dropbox、box.net、microsoft、google等。我所有的系统都在运行Ubuntu13.04。有什么想法吗？
浏览 0提问于2013-07-02得票数 4
1回答
我看到配置单元到配置单元的数据移动在Gobblin中有一个回看配置，我们可以在其中指定要复制的分区的日期 gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator 在Gobblin中，HDFS到GCS (Google云存储)的数据复制是否有类似的回看配置，只能在特定分区日期之后复制文件？ 我的文件在HDFS中，这些文件是按日期分区的。
浏览 13提问于2021-07-08得票数 1
1回答
我是Hadoop工具的新手。因此，我提出了这个疑问。我正在使用sqoop将数据从我的关系数据库推送到HDFS。现在，作为下一步，我希望使用存储在HDFS中的数据生成一些报告。我有自己的自定义报告格式。我知道使用HIVE可以从HDFS获取数据。但是，我是否可以在此基础上设计自己的自定义报告(Web)？还有没有其他我可以使用的工具？
否则，是否可以在同一台机器上部署一个应用程序(包含HTML GUI和java API)，然后我可以通过HTTP访问它，并可以看到HDFS中存在的数据？
浏览 1提问于2017-02-16得票数 1
2回答
请描述您的问题
标题：开发环境和生产环境 - 微信小程序开发者工具 - 文档首页 - 腾讯云文档平台 - 腾讯云
地址：https://cloud.tencent.com/document/product/619/11446
浏览 153提问于2018-03-20
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。
假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
我在谷歌上搜索任何免费服务，如SauceLabs云，但我找不到任何免费服务。所有这些都是有偿服务或审判。那么，是否有人在使用像SauceLabs云这样的免费服务，可以在不同的浏览器和设备上运行我的selenium代码？
浏览 0提问于2018-02-25得票数 2
我已经有一个云存储帐户了。我正在考虑在node.js中托管一个Azure网站或云服务，但我对下面列出的几个点感到困惑：
如果我的存储账户在‘欧洲北部’，如果我在‘欧洲北部’托管了一个新的Node azure网站/云服务，那么我首先想知道列出的两种可能的配置之间是否存在成本差异？
*Azure网站(Node.js) <->表存储。
*Azure Cloud Service (Web/Worker角色)<->表存储。
另外，在Azure网站上使用云服务是否会带来性能提升？
浏览 1提问于2012-08-29得票数 0
1回答
是否有免费的云存储，如亚马逊云、谷歌云等。这将允许我在上托管实时的ms sql数据库。我猜更好的说法是，有像Azure这样的免费第三方类型软件吗？然后，我将在Visual Studio for applications中使用它。感谢您的建议:)
浏览 0提问于2012-06-12得票数 3
回答已采纳
1回答
在facebook app - heroku上使用免费云(5mb限制)或使用自己的VPS是明智的吗？
我计划建立一个FB应用程序，并尝试选择托管？
你有什么建议？
Heroku云平台对于开发来说是复杂的吗？
浏览 3提问于2012-04-28得票数 0
回答已采纳
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
例如，流量将是..。
独立的TCP客户端从外部TCP服务器读取流数据。
客户端根据数据包(Kafka)发布不同主题的数据，并将其传递给流式分析管道(Spark)。
桌面/移动用户应用程序订阅各种主题并接收NRT数据事件(Kafka)
消费者还从流式/批处理管道(Spark)接收分析。
必须对Kafka集群进行管理、配置和监视，以获得最
浏览 2提问于2016-02-16得票数 0
1回答
我是这里的开发新手。我想知道是否可以使用PHP脚本创建web服务并在云主机上运行它？我用Java创建的web服务怎么样？它也可以在云主机上运行吗？
目前我使用的是来自www.000webhost.com的免费云主机(免费网络主机)。
浏览 4提问于2012-10-26得票数 1
回答已采纳
我正在运行一个CDH4.1.2安全集群，它在单个namenode+secondarynamenode配置下工作得很好，但是当我尝试从Cloudera Manager界面启用高可用性(基于仲裁)时，它在第10步(共16步)终止，“启动将转换到活动模式NameNode (我的namenode的主机名)的namenode”。
深入查看角色日志文件会出现以下致命错误：
Exception in namenode joinjava.lang.IllegalArgumentException: Does not contain a valid host:port authority: [my nameno
浏览 0提问于2013-02-24得票数 2
回答已采纳
我正在使用cloudera快速启动虚拟机。我昨天开始玩谷歌云平台。我正在尝试将cloudera hdfs中的数据复制到1. google云存储(gs://bucket_name/) 2. google云hdfs集群(使用hdfs://google_ copy _namenode:8020/)
我按照中的指示设置了服务帐户身份验证并配置了cloudera核心-site.xml
hadoop :// -cp hdfs://quickstart.cloudera:8020/path_to_copy/ gs://-cp_name/
效果很好。然而，我无法使用distcp复制到谷歌云存储。我
浏览 6提问于2016-04-27得票数 0
回答已采纳
这是我用的免费7天的云服务
[图片]
------------------------------------------------------------------------------------------------------
这是我想备案的域名，里面显示云服务器无可用资源
[图片]
---------------------------------------------------------------------------------------------------------
点击生成备案授权码的时候也是一样没得选择的
[图片]
--------------
浏览 2072提问于2018-02-01
1回答
我想把数据从水槽写入。这有点复杂，因为我观察到了一种非常奇怪的行为。让我解释一下：
引言
我已经在google云上启动了一个hadoop集群(一次点击)，设置为使用一个桶。
当我在主服务器上ssh并使用hdfs命令添加一个文件时，我可以立即在桶中看到它
$ hadoop fs -ls /
14/11/27 15:01:41 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.2.9-hadoop2
Found 1 items
-rwx------ 3 hadoop hadoop 40 2014-11-27 13:45 /
浏览 0提问于2014-11-27得票数 0
回答已采纳
我已经建立了一个免费试用谷歌云帐户，持续60天，并支付300美元的费用。如果我在这个云中设置了一个Google Compute engine虚拟机，我是为计算引擎单独收费，还是为Google云免费试用支付300美元的费用？
浏览 3提问于2015-01-05得票数 0
1回答
我在同一个google云平台上有hdfs集群和python。我想从python访问hdfs集群中的文件。我发现使用pydoop可以做到这一点，但我很难给出正确的参数。下面是我已经尝试过的代码：-
import pydoop.hdfs as hdfs
import pydoop
pydoop.hdfs.hdfs(host='url of the file system goes here',
port=9864, user=None, groups=None)
"""
class pydoop.hdfs.hdfs(h
浏览 1提问于2019-07-04得票数 3
1回答
利用CDN免费托管图像
、、、、
我正在寻找免费的解决方案的图像托管与CDN。我有网站上的小付费托管，将有很多图像画廊，我想上传到一些云，如谷歌驱动器，并使用云的CDN链接图像在我的网站。有免费解决的建议吗？
浏览 2提问于2019-03-14得票数 5
我正在研究如何将数据从共享网络驱动器导入HDFS的POC。数据将位于共享驱动器上的不同文件夹中，每个文件夹对应于HDFS上的不同目录。我看了一些流行的工具，但是大多数工具都是用来移动小数据的，而不是整个文件。这些是我找到的工具，还有其他的吗？
Apache：--如果只有少数生产服务器生成数据，并且不需要实时写入数据，那么通过Web或NFS将数据移动到HDFS可能也是有意义的，特别是如果写入的数据量相对较少--每隔几个小时几个GB的文件不会对HDFS造成损害。在这种情况下，规划、配置和部署Flume可能不值得。水槽实际上是用来实时推送事件的，数据流是连续的，其体积相当大。在线狩猎水槽书和水槽食谱
浏览 5提问于2014-08-12得票数 5
回答已采纳
3回答
在基于Hadoop的环境中，我正处于多节点Docker集群的规划阶段。因此，它应该基于一个轻量级、易于使用的虚拟化系统。当前体系结构(关于文档)包含1个主节点和3个从节点。这台主机使用HDFS文件系统和KVM进行虚拟化。整个云由Cloudera Manager管理。这个集群上安装了几个Hadoop模块。还有一个NodeJS数据上传服务。这一次，我应该使体系结构基于Docker。我读过几本教程，有一些意见，但也有公开的问题。
A.你认为是我项目的好基础吗？我也找到了一个官方的，但它是单节点的.
B.如果我想把它放在一个容器中，系统需求将如何改变？这将是很棒的，因为这个体系结构应该在不同的位置工作
浏览 14提问于2016-01-25得票数 8
我试图在谷歌云存储上创建帐户，但在试用版本中，它需要信用卡或我的个人信息，但我不想透露我的个人信息，请建议我一个链接或一种方式，这样我就可以有效地在谷歌云存储上创建我的帐户，而不需要任何费用。
浏览 0提问于2016-10-05得票数 1
我正在将数据从elasticsearch移动到hdfs。数据大小约为200 80,8000万个数据。
这是我的密码。很简单。只需阅读es，然后写到hdfs。
// 1. config setting
public Map<String, String> esConfigParam() {
return new ImmutableMap.Builder<String, String>()
.put("es.nodes", params.getEsNodes())
.put(&#
浏览 5提问于2020-08-27得票数 1
1回答
HDFS中是否可以使用抽象数据节点？
例如，如果我想运行Hadoop，但不是在硬件上运行，而是在某种软件、云等上运行，有没有允许这样做的API？
有没有提供这种功能的Hadoop的替代方案？
浏览 3提问于2018-03-17得票数 0
我正在尝试在Windows上运行Eclipse中的SPARK应用程序。我必须使用Hadoop集群。我在Ubuntu虚拟机上运行hadoop hdfs。
每当我尝试将hdfs路径传递给windows eclipse (在我的示例中是hdfs:// localhost:9000 )时，它都会给出一个java.net.ConnectException，并显示一条消息，说明连接到localhost:9000失败。
我在ubuntu上安装了SSH。我尝试传递ubuntu机器的ip而不是'localhost'，但同样不起作用。我尝试使用core-site.xml更改默认文件系统的名称(我尝
浏览 1提问于2018-06-21得票数 0
我们需要考虑哪种选择更好
我们想要在很大的范围内创建点击流，场景是:事件-运动-lambda-DB。一切都需要实时或接近实时，云是:AWS我们的选项:HDFS或Dynamodb
浏览 8提问于2022-11-24得票数 -2
因为是建站小白，想买个域名后尝试建站，之前有在其他网站上尝试建站，包括装修网站页面等等，因为一直以来都有用过腾讯云的服务器，所以这次就在腾讯云上购买了域名，购买时还有个900多的云解析，没太理解就付款了，现在觉得买啥用，也不知道怎么退款，然后也没有辅助建站的提示，现在好萌比啊
浏览 318提问于2019-06-15
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
