1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
如果关闭hadoop集群，我们会丢失HDFS中的数据吗？
为什么我们不应该将数据留在HDFS中？
价格问题？
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
1回答
我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。
浏览 0提问于2019-10-12得票数 1
2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
这在亚马逊是可能的，但我的问题是:在OpenShift中是可能的吗？
浏览 1提问于2014-09-15得票数 0
1回答
google为使用Hadoop提供了连接器。()
使用连接器，我从hdfs接收数据到google云存储。
(前)
hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。
因此，我尝试更改设置distcp ( map属性、带带属性.)。
但是速度是一样的。
HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。
我知道一个解决办法
远程->集群节点(使用scp)
节点-> hdfs (使用hdfs命令)
但是对于我的用例，它不起作用，我需要找到一个解决方案，直接从本地上传文件到hdfs，就像hue用于上传一样。
我也试过听从命令
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://<‘hdfs-路径’>
但是，通过以下错误：
copyFromLocal：<‘本地路径’>：没有这样的文件或目录
如有任何
浏览 2提问于2016-06-17得票数 0
我正在研究如何使用GCP，特别是大数据和分析函数，我不太确定它们的功能。我做了一些映射来理解这些组件。你能帮我查一下我的理解吗？
云Pub/Sub: Apache Kafka
云Dataproc: Apache，火花
GCS: HDFS兼容
云数据流: Apache束，Flink
数据存储: MongoDB
BigQuery: Teradata
BigTable: HBase
内存: Redis
云SQL: MySQL，PostgreSQL
云编写器: Informatica
云数据工作室: Tableau
云Datalab:木星笔记本
浏览 3提问于2019-02-10得票数 0
SOLR版本- 5.5.2
我的项目需求是将solr云索引从cloudera集群传输到HDP集群。
数据是巨大的(在生产上有10亿个索引记录)，因此重新索引不是一种选择。
我们已经尝试过solr还原和备份API，但是在云上看不到数据。请检查我们是否遗漏了==>下面的任何一步
1) 允许快照 (Cloudera集群)：
sudo -u hdfs hadoop dfsadmin -allowSnapshot /user/solr/CollectionName
2) 创建了快照：
sudo -u hdfs hadoop dfs -createSnapshot /user/solr/
浏览 0提问于2018-06-03得票数 1
亲测了腾讯云、讯飞、百度云的手写字体OCR识别，感觉百度云的识别效果效果和腾讯云差不多，略强于讯飞，但价格确是差距颇大，为什么会出现这种情况，甚至讯飞的价格都跟腾讯云差不多，为什么百度的会那么便宜，是有什么弊端吗？
浏览 1027提问于2021-09-02
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。
然而，我意识到，当目标是云时，基于快照差异的复制不能工作。
这样的同步还可以吗？
-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。
命令
hadoop distcp --conf hdfs.conf -update -delete hdfs:///tmp/test_distcp gs://onpremhadoopfiles-123/
带有快照diff的命令
hadoop distcp --conf test
浏览 16提问于2022-07-29得票数 0
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
hdfs api 操作部署在腾讯云的伪分布建目录，删除目录都正常，但下载文件就不行了，总是报错
Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt
确定文件正常的，从web页面都能下载查看！
如下是hdfs api 代码
image.png
以下是报错
image.png
请问大佬这是怎么回事？
浏览 229提问于2021-04-15
2回答
根据谷歌云文档，
云存储可能会增加I/O变化。在许多情况下，云存储比HDFS具有更大的I/O差异。如果您有一致的I/O需求，例如由HBase或另一个NoSQL数据库支持的应用程序，这可能会有问题。
有人能提供一个变异的例子吗？什么意思？
浏览 0提问于2021-01-29得票数 0
回答已采纳
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我是如何移动数据的？
我担心它会在公共网络上传播。
安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
我已经将一个数据库的数据和文件夹结构从一个HDFS实例复制到另一个HDFS实例。 如何对配置单元元数据执行相同的操作？我需要新的HDFS实例的hive使用它们现有的分区来定义这个数据库和它的表，就像它在原始位置一样。当然，它们通常需要随着hdfs外部表位置的更新而维护其原始模式。 乐于使用直接的hive命令、spark或任何开源且随时可用的通用CLI实用程序。我没有实际的hadoop集群(这是云存储)，所以请避免回答依赖于map reduce/etc的问题(比如Sqoop)。
浏览 16提问于2019-05-15得票数 1
回答已采纳
1回答
我看到配置单元到配置单元的数据移动在Gobblin中有一个回看配置，我们可以在其中指定要复制的分区的日期 gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator 在Gobblin中，HDFS到GCS (Google云存储)的数据复制是否有类似的回看配置，只能在特定分区日期之后复制文件？ 我的文件在HDFS中，这些文件是按日期分区的。
浏览 13提问于2021-07-08得票数 1
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。
假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
例如，流量将是..。
独立的TCP客户端从外部TCP服务器读取流数据。
客户端根据数据包(Kafka)发布不同主题的数据，并将其传递给流式分析管道(Spark)。
桌面/移动用户应用程序订阅各种主题并接收NRT数据事件(Kafka)
消费者还从流式/批处理管道(Spark)接收分析。
必须对Kafka集群进行管理、配置和监视，以获得最
浏览 2提问于2016-02-16得票数 0
1回答
我有专门的服务器为我的网站。许多托管公司对这样的服务器每月收取大约30欧元的费用：
CPU: i3 @3.4GHz
RAM: 8GB
HDD: 2x1TB
将其与云配置(例如PagodaBox)进行比较，如果将每个实例的内存设置为每个实例1GB，则每个实例的价格为100美元/月。
我不明白这是为什么。我知道，有了云，您可以轻松地扩展您的应用程序，但对于这个价格，我认为它是不值得的。即使是堆栈溢出也有自己的专用服务器。
你认为这些价格值得云的优势吗？
浏览 0提问于2013-03-13得票数 -1
回答已采纳
我正在使用cloudera快速启动虚拟机。我昨天开始玩谷歌云平台。我正在尝试将cloudera hdfs中的数据复制到1. google云存储(gs://bucket_name/) 2. google云hdfs集群(使用hdfs://google_ copy _namenode:8020/)
我按照中的指示设置了服务帐户身份验证并配置了cloudera核心-site.xml
hadoop :// -cp hdfs://quickstart.cloudera:8020/path_to_copy/ gs://-cp_name/
效果很好。然而，我无法使用distcp复制到谷歌云存储。我
浏览 6提问于2016-04-27得票数 0
回答已采纳
1回答
我想把数据从水槽写入。这有点复杂，因为我观察到了一种非常奇怪的行为。让我解释一下：
引言
我已经在google云上启动了一个hadoop集群(一次点击)，设置为使用一个桶。
当我在主服务器上ssh并使用hdfs命令添加一个文件时，我可以立即在桶中看到它
$ hadoop fs -ls /
14/11/27 15:01:41 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.2.9-hadoop2
Found 1 items
-rwx------ 3 hadoop hadoop 40 2014-11-27 13:45 /
浏览 0提问于2014-11-27得票数 0
回答已采纳
1回答
我在同一个google云平台上有hdfs集群和python。我想从python访问hdfs集群中的文件。我发现使用pydoop可以做到这一点，但我很难给出正确的参数。下面是我已经尝试过的代码：-
import pydoop.hdfs as hdfs
import pydoop
pydoop.hdfs.hdfs(host='url of the file system goes here',
port=9864, user=None, groups=None)
"""
class pydoop.hdfs.hdfs(h
浏览 1提问于2019-07-04得票数 3
3回答
公司打算考虑用CDN。对比了腾讯云阿里云的价格，都差不多。
但是有个腾讯云代理商说，腾讯云他们可以给很大的折扣，算下来比阿里云便宜的多？
腾讯云CDN有没有代理商，会是不是骗子？他们网站是：http://www.dayuyun.com/qcloud/
浏览 2770提问于2019-04-03
1回答
我在HDFS中加载了2列CSV文件。第1列是型号名称，第2列是$中的价格。Example - Model: IE33, Price: $52678.00
当我运行下面的脚本时，所有的价格值都返回一个两位数的结果，例如$52。
ultraPrice = LOAD '/user/maria_dev/UltrasoundPrice.csv' USING PigStorage(',') AS (
Model, Price);
dump ultraPrice;
我所有的价值都在20000到60000美元之间。我不知道为什么它被切断了。
如果我更改CSV文件并从价格值中删
浏览 2提问于2016-06-16得票数 0
请描述您的问题
标题：价格总览 - 云通信 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/269/11673
浏览 554提问于2018-02-12
活动需要临时提升宽带，对比了下不同平台上云机器宽带临时提升价格，同配置下腾讯云费用居然是某云的快2倍。。。？
是不是我需要开个钻才能有优惠？
浏览 1111提问于2018-12-12
请描述您的问题
标题：价格总览 - 点播 - 文档首页 - 腾讯云文档平台 - 腾讯云
地址：https://cloud.tencent.com/document/product/266/2838
浏览 318提问于2018-03-19
我想从一个有2列的DataFrame生成一个单词云，第一列是项目，第二列是价格。我是这样做DataFrame的： articules=["Smartphone", "Laptop", "Tablet", "Headphone", "Workstation", "TV"]
votes=["900", "2000", "1000", "300", "2500", "3000"]
data={'Ite
浏览 30提问于2020-08-14得票数 0
回答已采纳
1回答
HDFS中是否可以使用抽象数据节点？
例如，如果我想运行Hadoop，但不是在硬件上运行，而是在某种软件、云等上运行，有没有允许这样做的API？
有没有提供这种功能的Hadoop的替代方案？
浏览 3提问于2018-03-17得票数 0
4回答
做为老用户，从腾讯云刚起步的时候就开始用了。从一开始的意气勃发到现在的奄奄一息。
对于腾讯云的观察，发现几点问题：
1.资源越来越少，特别上海区经常断货（应该说断货快半年多了），
2.价格一点也不便宜。
3.服务器可定制化差。
4.售后越来越垃圾。
刚才跑去阿里看了一下，发现价格已经把腾讯淘汰了。腾讯云，要加油了。
附上阿里云的图片，4核4G5M带宽才3000+
QQ截图20180508190303.png
浏览 630提问于2018-05-08
2回答
腾讯云首页查看直播服务定价，只有服务计费方式，看不到每一项服务方式的具体价格，导出计价表格也没有具体价格，请问在哪里可以看到具体价格，比如我想了解直播服务按流量计费的价格，在哪里可以查看
image.png
浏览 1163提问于2019-01-30
我想每天从雅虎/谷歌金融公司( yahoo/google finance )获取数据，这些数据与股票的爆炸物处理价格有关。这些价格应该直接存储在HDFS文件中。
稍后，我可以在其之上创建外部表(使用HIVE)，并用于进一步的分析。
因此，我并不是在寻找基本的map-还原，因为我没有任何这样的输入文件。在python中是否有可以用Hadoop编写数据的连接器？
浏览 4提问于2015-08-06得票数 1
我们需要考虑哪种选择更好
我们想要在很大的范围内创建点击流，场景是:事件-运动-lambda-DB。一切都需要实时或接近实时，云是:AWS我们的选项:HDFS或Dynamodb
浏览 8提问于2022-11-24得票数 -2
3回答
我在HDFS中有一个巨大的文件，里面有时间序列数据点(雅虎股票价格)。
我想要找到时间序列的移动平均值，我该如何开始编写Apache Spark作业来做到这一点。
浏览 0提问于2014-05-01得票数 40
回答已采纳
我正在设计一个搜索引擎，这是运行在云上。我们刚刚开始，对Hdoop了解不多。谁能说出HBase、MapReduce和HDFS是否可以在一台安装了Hdoop并在上面运行的机器上运行？
浏览 1提问于2010-09-16得票数 1
回答已采纳
1回答
我希望使用google价格计算器为云资源构建简单的计费应用程序。
谷歌是否提供了与谷歌价格计算器交互的API？
我试过了，但找不到！
浏览 4提问于2017-12-26得票数 3
我们知道建议将parquet.block.size设置为HDFS块大小，但对HDFS很重要。
当写入云存储(如s3或gs )时，设置parquet.block.size是否重要？
对于使用这些数据的下游作业，在下面这样的情况下，并行性会发生什么呢？
前任：
如果我写火花数据，~ 20 GB到s3或gs
每个.parquet文件大小为2GB，设置为parquet.block.size = 512 MB
每个.parquet文件大小为2GB，设置为parquet.block.size = 64 MB
浏览 3提问于2019-09-19得票数 0
云服务器-AMD SA1超惠专区 4核8G 10M价格为2499元，我这边企业认证审核通过后，价格会是这么多吗？
[附加信息]
浏览 660提问于2018-12-14
我需要将金融数据保存到云数据存储(而不是通过appengine，使用云数据存储API beta)；价格信息使用BigDecimal存储在我们的对象中。
根据api文档，只有double和long作为数字类型被支持。
我担心使用BigDecimal的doubleValue()方法节省价格，因为它具有双重和精确性，另一种方法是使用toString并将其保存为字符串，但这感觉效率很低。
你认为合适的方法是什么？
谢谢
浏览 5提问于2016-04-03得票数 0
回答已采纳
1回答
在我的应用程序中，我需要通过多个键进行搜索，例如，价格、城市之间、面积之间的价格，然后按添加的日期对这些值进行排序()。当我们想要过滤数据并对其进行排序时，使用防火墙云是一个很好的选择吗？我阅读了这些文档，并对云火药库的数量限制感到惊讶。
我知道您可以使用索引，但是在一次通过许多不同的值过滤的情况下，这有意义吗？
编辑:小示例：
并希望有一个菜单，过滤和选择每个价值和可能性排序，例如，按价格或日期的报价。例如，用户希望选择50到80之间的区域，城市等于'NY‘等，然后按价格对其进行排序。
浏览 7提问于2021-09-12得票数 0
回答已采纳
1回答
我使用的是桉树私有云，我已经在其上建立了一个CDH5 HDFS。我想备份我的HDFS到桉树S3。按照这里的建议，使用distcp的经典方法是：，即hadoop distp hdfs://namenode:9000/user/foo/data/fil1 s3://$AWS_ACCESS_KEY:$AWS_SECRET_KEY@bucket/key不工作。
看来hadoop是预先配置的，在亚马逊上有一个S3位置，我找不到这个配置在哪里，以便将其更改为运行在欧几里德图上的S3服务的IP地址。我希望能够更改S3的uri，就像使用hdfs://前缀时更改NameNode uri一样。但似乎这是不可能的.
浏览 6提问于2014-10-10得票数 0
回答已采纳
每月125k的Firebase云函数调用是否适用于自定义服务器上使用的admin-sdk？在自托管服务器上使用admin sdk，云函数的价格如何计算？
浏览 0提问于2020-12-27得票数 0
我正在为专业数据工程师学习，我想知道对于Dataproc上的热门数据，"Google推荐的最佳实践“是什么(考虑到成本问题)？
如果成本是一个问题，那么我发现了一个建议，将所有的数据都存储在云存储中，因为它更便宜。
是否可以建立一种机制，使所有数据都在云存储上，而最近的数据则自动缓存在HDFS上？类似AWS对FSx/Lustre和S3所做的事情。
浏览 7提问于2020-03-09得票数 2
回答已采纳
2回答
我有一个solr云(v4.10)安装，安装在Cloudera (CDH5.4.2) HDFS之上，每个实例包含3个solr实例，每个实例承载每个核心的碎片。我正在寻找一种将solr数据从生产集群逐步复制到开发集群的方法。有三个核心，但我只想复制其中之一。
我尝试过使用Solr复制备份和还原，但这似乎没有将任何内容加载到dev集群中。
http://host:8983/solr/core/replication?command=backup&location=/solr_transfer&name=core-name
http://host:8983/solr/core/repl
浏览 8提问于2015-12-07得票数 3
回答已采纳
1回答
高光谱图像存储
、、、、
我想使用Python保存高光谱图像，但我不知道可以在哪里保存数据。我想过HDFS。我需要在本地服务器上做这件事，而不用云提供者。
是否有一种方法可以使它变得简单，您是否推荐任何特定的数据库？
浏览 6提问于2022-05-10得票数 -1
1回答
我们将从数据中心外包一个解决方案(出于某种原因)，它是一个建立在.NET和SQL server上的web解决方案，它已经安排了夜间服务。我搜索了云托管(IaaS)，我找到了一些很好的价格和报价，看到专用服务器非常便宜，硬件规范也很好。
我在云托管中看到的优点是，它更易于扩展，而且由于它是虚拟机，它们提供了更好的可用性。但是如果我想比较专用服务器和云服务器/主机，在硬件规格和价格方面，我看到专用服务器更便宜。
我会给出一些定价的例子，但我不想包括特定公司的软件包，以免被视为他们的广告。
什么情况使云托管比专用服务器更可取？哪些情况使专用服务器比云托管更可取？
浏览 0提问于2010-07-17得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
