2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
这在亚马逊是可能的，但我的问题是:在OpenShift中是可能的吗？
浏览 1提问于2014-09-15得票数 0
SOLR版本- 5.5.2
我的项目需求是将solr云索引从cloudera集群传输到HDP集群。
数据是巨大的(在生产上有10亿个索引记录)，因此重新索引不是一种选择。
我们已经尝试过solr还原和备份API，但是在云上看不到数据。请检查我们是否遗漏了==>下面的任何一步
1) 允许快照 (Cloudera集群)：
sudo -u hdfs hadoop dfsadmin -allowSnapshot /user/solr/CollectionName
2) 创建了快照：
sudo -u hdfs hadoop dfs -createSnapshot /user/solr/
浏览 0提问于2018-06-03得票数 1
1回答
google为使用Hadoop提供了连接器。()
使用连接器，我从hdfs接收数据到google云存储。
(前)
hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。
因此，我尝试更改设置distcp ( map属性、带带属性.)。
但是速度是一样的。
HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
我正在研究如何使用GCP，特别是大数据和分析函数，我不太确定它们的功能。我做了一些映射来理解这些组件。你能帮我查一下我的理解吗？
云Pub/Sub: Apache Kafka
云Dataproc: Apache，火花
GCS: HDFS兼容
云数据流: Apache束，Flink
数据存储: MongoDB
BigQuery: Teradata
BigTable: HBase
内存: Redis
云SQL: MySQL，PostgreSQL
云编写器: Informatica
云数据工作室: Tableau
云Datalab:木星笔记本
浏览 3提问于2019-02-10得票数 0
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我是如何移动数据的？
我担心它会在公共网络上传播。
安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
我们需要考虑哪种选择更好
我们想要在很大的范围内创建点击流，场景是:事件-运动-lambda-DB。一切都需要实时或接近实时，云是:AWS我们的选项:HDFS或Dynamodb
浏览 8提问于2022-11-24得票数 -2
1回答
我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。
浏览 0提问于2019-10-12得票数 1
1回答
R与Hadoop的市场篮子分析
、、、、
我正试图找到一种快速的方法，对数百万行的交易市场篮子数据进行关联分析。
我到目前为止所做的事：
在星火之上创建了一个R服务器&云上的Hadoop (Azure HDInsight)
在HDFS上加载数据
开始使用RevoScaleR
然而，我被困在了最后一步。据我所知，我无法使用RevoScaleR中没有提供的函数来处理数据。
以下是访问HDFS数据的代码：
bigDataDirRoot <- "/basket"
mySparkCluster <- RxSpark(consoleOutput=TRUE)
rxSetComputeCont
浏览 3提问于2016-12-15得票数 0
我已经将一个数据库的数据和文件夹结构从一个HDFS实例复制到另一个HDFS实例。 如何对配置单元元数据执行相同的操作？我需要新的HDFS实例的hive使用它们现有的分区来定义这个数据库和它的表，就像它在原始位置一样。当然，它们通常需要随着hdfs外部表位置的更新而维护其原始模式。 乐于使用直接的hive命令、spark或任何开源且随时可用的通用CLI实用程序。我没有实际的hadoop集群(这是云存储)，所以请避免回答依赖于map reduce/etc的问题(比如Sqoop)。
浏览 16提问于2019-05-15得票数 1
回答已采纳
1回答
我已经开发了一个使用elgg框架的社交网站，我在亚马逊云(亚马逊EC2，免费的层微实例服务)上托管它，因此为它开发了一个基准。我正在创建大约200个列来描述每个用户(大多数是虚拟的)，之后我应该创建大约一百万个用户，每个用户的配置文件都更新了一些data.This，以反映托管在云上的大data.When的形象，我们应该根据查询和所有用户的更新操作来衡量云的性能。问题是如何创建如此多的用户？哪种工具是最好的选择？要做到这一点，我还应该考虑文件系统(HDFS)上的存储，并做一些修改(输出应该是一行，输入应该是非结构化数据)。对于elgg框架，我们使用mysql作为后端。我不知道如何开始。任何建议都
浏览 2提问于2011-10-20得票数 0
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。
假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。
我知道一个解决办法
远程->集群节点(使用scp)
节点-> hdfs (使用hdfs命令)
但是对于我的用例，它不起作用，我需要找到一个解决方案，直接从本地上传文件到hdfs，就像hue用于上传一样。
我也试过听从命令
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://<‘hdfs-路径’>
但是，通过以下错误：
copyFromLocal：<‘本地路径’>：没有这样的文件或目录
如有任何
浏览 2提问于2016-06-17得票数 0
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
如果关闭hadoop集群，我们会丢失HDFS中的数据吗？
为什么我们不应该将数据留在HDFS中？
价格问题？
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
Apache被设计为运行在一堆商品机器(节点)上。这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。当我研究Hadoop集群的任何标准解释时，总是基于prem架构，因为所有Hadoop体系结构都是用逻辑和简单的on-prem视图来解释的。但这给理解基于云的集群是如何工作的带来了困难--特别是HDFS、数据局部性等概念。在解释的on版本中，每个节点都有自己的“本地”存储(这也意味着存储硬件是为特定节点修复的，它不会被洗牌)，而且也不会假设节点被删除。此外，我们将该存储作为节点本身的一部分，因此我们从不考
浏览 2提问于2020-09-30得票数 0
回答已采纳
我想在云上创建我自己的服务，其他开发人员可以访问它来编写他们的应用程序。基本上我的服务(API)应该在后台使用Apache MapReduce Java程序。一个例子:我想提供一个名为wordCount(String fileName)的服务，该服务获取一个文件，使用Java Hadopp API计算单词的出现次数，并将结果写入HDFS。这个是可能的吗？我如何在BlueMix中开发它？请提供详细的解释。
谢谢你，索林
浏览 0提问于2015-08-09得票数 0
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。
然而，我意识到，当目标是云时，基于快照差异的复制不能工作。
这样的同步还可以吗？
-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。
命令
hadoop distcp --conf hdfs.conf -update -delete hdfs:///tmp/test_distcp gs://onpremhadoopfiles-123/
带有快照diff的命令
hadoop distcp --conf test
浏览 16提问于2022-07-29得票数 0
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。 我已经尝试过将多个文件压缩为单个文件。 val spark = SparkSession.builder
.master("local")
.appName("spark session example")
.getOrCreate()
val df = spark.read.parque
浏览 16提问于2019-10-13得票数 4
回答已采纳
1回答
我想把数据从水槽写入。这有点复杂，因为我观察到了一种非常奇怪的行为。让我解释一下：
引言
我已经在google云上启动了一个hadoop集群(一次点击)，设置为使用一个桶。
当我在主服务器上ssh并使用hdfs命令添加一个文件时，我可以立即在桶中看到它
$ hadoop fs -ls /
14/11/27 15:01:41 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.2.9-hadoop2
Found 1 items
-rwx------ 3 hadoop hadoop 40 2014-11-27 13:45 /
浏览 0提问于2014-11-27得票数 0
回答已采纳
hdfs api 操作部署在腾讯云的伪分布建目录，删除目录都正常，但下载文件就不行了，总是报错
Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt
确定文件正常的，从web页面都能下载查看！
如下是hdfs api 代码
image.png
以下是报错
image.png
请问大佬这是怎么回事？
浏览 229提问于2021-04-15
2回答
根据谷歌云文档，
云存储可能会增加I/O变化。在许多情况下，云存储比HDFS具有更大的I/O差异。如果您有一致的I/O需求，例如由HBase或另一个NoSQL数据库支持的应用程序，这可能会有问题。
有人能提供一个变异的例子吗？什么意思？
浏览 0提问于2021-01-29得票数 0
回答已采纳
我正在使用Windows命令行，因为Unix和防火墙的问题阻碍了gsutil的工作。我可以读取我的Google Cloud Storage文件并将它们复制到其他存储桶中(我不需要这样做)。我想知道的是如何将它们直接下载到HDFS中(我正在‘ssh’进入)？有人做过这个吗?理想情况下，这是第一部分，第二部分是为谷歌云存储数据创建Hive表，这样我们就可以使用HiveQL和Pig了。
浏览 0提问于2015-12-11得票数 2
1回答
我看到配置单元到配置单元的数据移动在Gobblin中有一个回看配置，我们可以在其中指定要复制的分区的日期 gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator 在Gobblin中，HDFS到GCS (Google云存储)的数据复制是否有类似的回看配置，只能在特定分区日期之后复制文件？ 我的文件在HDFS中，这些文件是按日期分区的。
浏览 13提问于2021-07-08得票数 1
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
例如，流量将是..。
独立的TCP客户端从外部TCP服务器读取流数据。
客户端根据数据包(Kafka)发布不同主题的数据，并将其传递给流式分析管道(Spark)。
桌面/移动用户应用程序订阅各种主题并接收NRT数据事件(Kafka)
消费者还从流式/批处理管道(Spark)接收分析。
必须对Kafka集群进行管理、配置和监视，以获得最
浏览 2提问于2016-02-16得票数 0
我有一个安装了Presto作为可选组件的DataProc集群。我的数据存储在google云存储(GCS)中，我可以使用Presto查询它。但是，我没有找到将查询结果写回GCS的方法。如果我登录到主节点并从那里运行Presto命令，我可以写入hdfs，但它不能识别任何GCS位置。 如何将Presto查询结果写入GCS？
浏览 23提问于2019-05-04得票数 4
1回答
我在同一个google云平台上有hdfs集群和python。我想从python访问hdfs集群中的文件。我发现使用pydoop可以做到这一点，但我很难给出正确的参数。下面是我已经尝试过的代码：-
import pydoop.hdfs as hdfs
import pydoop
pydoop.hdfs.hdfs(host='url of the file system goes here',
port=9864, user=None, groups=None)
"""
class pydoop.hdfs.hdfs(h
浏览 1提问于2019-07-04得票数 3
我在一个hdfs文件schema.avsc中存储了一个单元表模式。我希望创建同一个模式的单元表，并希望从另一个hdfs路径转储数据，其中数据存储在HDFS文件系统中。
1:如何创建表?2:如何将存储在hdfs文件中的数据转储到创建的表中？
浏览 4提问于2017-01-22得票数 3
回答已采纳
我正在使用cloudera快速启动虚拟机。我昨天开始玩谷歌云平台。我正在尝试将cloudera hdfs中的数据复制到1. google云存储(gs://bucket_name/) 2. google云hdfs集群(使用hdfs://google_ copy _namenode:8020/)
我按照中的指示设置了服务帐户身份验证并配置了cloudera核心-site.xml
hadoop :// -cp hdfs://quickstart.cloudera:8020/path_to_copy/ gs://-cp_name/
效果很好。然而，我无法使用distcp复制到谷歌云存储。我
浏览 6提问于2016-04-27得票数 0
回答已采纳
1回答
在学习spark，在本地用虚拟机搭建了一个3台机器的测试集群，然后有一台云服务器上每天都有一个tomcat网站访问日志文件，如何去把这个日志传文件传到虚拟机的测试集群的hdfs上，有没有什么工具可以用，还是要自己写代码工具。
浏览 299提问于2018-10-11
我正在用水槽写到谷歌云存储。水槽在HTTP:9000上收听。我花了一些时间才使它正常工作(添加gcs库，使用凭据文件.)但现在它似乎是通过网络进行交流的。
我正在为我的测试发送非常小的HTTP请求，并且我有大量可用的RAM：
curl -X POST -d '[{ "headers" : { timestamp=1417444588182, env=dev, tenant=myTenant, type=myType }, "body" : "some body ONE" }]' localhost:9000
我在第一次请求时遇到
浏览 3提问于2014-12-01得票数 0
回答已采纳
这是我在Hive和HDFS的第一周，所以请容忍我。
到目前为止，我看到的合并多个ORC文件的几乎所有方法都建议使用ALTER TABLE和CONCATENATE命令。
但是，我需要合并同一个表的多个ORC文件，而不必对表进行ALTER。另一种选择是创建现有表的副本，然后对其使用ALTER TABLE，使原始表保持不变。但我也不能这么做，因为空间和数据冗余的原因。
我想要达到的(理想情况)是:我需要将这些兽人作为一个文件传输到云环境中。那么，在传输过程中，我是否可以将兽人合并到云中呢？这可以通过/不使用Hive来实现吗?也许可以直接在HDFS中实现。
浏览 0提问于2019-06-14得票数 3
我试图在我的Scala项目中使用，该项目使用了Spark和HDFS。为了我的模型的可重用性，我需要将它们写入HDFS。
现在我正在使用对象，预先检查路径是否存在，如果不存在则创建路径(否则会抛出一个FileNotFoundException)：
import java.nio.file.Paths
val path: String = "hdfs:/my/hdfs/path"
val outputPath: Path = Paths.get(path)
val outputFile: File = outputPath.toFile
if(!outputFile.exists
浏览 2提问于2020-11-11得票数 2
回答已采纳
2回答
我创建了一个公有VPC，然后在其中添加了一堆节点，以便我可以将其用于spark集群。不幸的是，它们都有一个如下所示的分区设置：
ec2-user@sparkslave1: lsblk
/dev/xvda 100G
/dev/xvda1 5.7G /
我在这些机器上设置了一个云管理器，所有节点只剩下1G用于HDFS。如何扩展分区，使其占用100G的所有空间？
我尝试创建了/dev/xvda2，然后创建了一个卷组，将/dev/xvda*的所有内容添加到其中，但是/dev/xvda1在挂载时没有添加。在这种情况下，我不能从live CD启动，它在AWS上。我也尝试过resize2fs，但它显示根分区
浏览 0提问于2015-07-21得票数 2
1回答
HDFS中是否可以使用抽象数据节点？
例如，如果我想运行Hadoop，但不是在硬件上运行，而是在某种软件、云等上运行，有没有允许这样做的API？
有没有提供这种功能的Hadoop的替代方案？
浏览 3提问于2018-03-17得票数 0
我正在设计一个搜索引擎，这是运行在云上。我们刚刚开始，对Hdoop了解不多。谁能说出HBase、MapReduce和HDFS是否可以在一台安装了Hdoop并在上面运行的机器上运行？
浏览 1提问于2010-09-16得票数 1
回答已采纳
我正在一个独立的实例( solr -5.3.0和Hadoop 2.7)中尝试在HDFS上创建solr核心。我已经开始了如下的服务，
$ bin/solr start -Dsolr.directoryFactory=HdfsDirectoryFactory -Dsolr.lock.type=hdfs -Dsolr.data.dir=hdfs://localhost:9000/tmp -Dsolr.updatelog=hdfs://localhost:9000/tmp -s solr-cores/core1
等待30秒才能看到Solr在端口8983上运行/在端口8983 (pid=42277)上启
浏览 0提问于2016-01-11得票数 3
1回答
在Datawarehouse的一个典型的HDFS环境中，我看到了一些不同的阶段，在这些阶段中，数据被分阶段处理和转换，如下所示。我正试图在Google云平台上设计一个系统，在那里我可以执行所有这些转换。请帮帮忙。
HDFS:：着陆区->级1区->级2区
着陆区--对于具有原始数据级1区域的数据--来自着陆区的原始数据被转换，然后更改为不同的数据格式和/或非规范化并存储在第1阶段2区域中--第1阶段的数据在交易表上更新，例如HBASE。如果它只是一个时间段数据，那么仍然是基于HDFS的HIVE表，那么，报告会发生在第2阶段(如果转换之间也可能有多个区域)
我在Google中实现的思想
浏览 0提问于2018-08-14得票数 0
回答已采纳
我在hdfs中创建了一个文件夹，它的名称是“\”。如何删除或访问该文件夹？我不能那样做。
我尝试在\user\prime\temp\nipun\cddsIdNotinPsdw中创建这个文件，它在hdfs中创建了下面的一个--它以\t作为选项卡，\n作为hdfs的下一行--这里是它在我的hdfs中显示的文件夹的名称，我无法删除它
\user\prime emp
ipun\cddsIdNotinPsdw
现在，我无法在hdfs中删除这一点。
浏览 5提问于2017-01-12得票数 1
回答已采纳
1回答
我已经创建了输入文本文件test.txt，并将其放入HDFS /user/yogesh/ put /test.txt
在HDFS as /user/yogesh/Output上创建输出路径
在本地/home/yogesh/WordCount.jar上创建jar文件，并从本地提交jar，如下所示：hadoop jar /home/yogesh/WordCount.jar WordCount /user/yogesh/Input/test.txt /user/yogesh/Output/output1
我有以下错误：
线程"main“中出现异常
org.apache.
浏览 3提问于2016-02-26得票数 1
1回答
我在HDFS hdfs://localhost:8020/user/ hive /warehouse中有配置单元仓库。
我在hdfs中有一个数据库mydb，比如hdfs://localhost:8020/user/hive/warehouse/mydb.db
如何使用Pyspark创建表并向其中插入数据
请给出建议
浏览 31提问于2018-01-23得票数 1
1回答
Following the question in this link，还有一个关于在Hadoop HDFS上创建目录的问题。 我是Hadoop/Flume的新手，我选择了一个使用Flume将csv数据保存到HDFS的项目。Flume水槽的设置如下所示： contract-snapshot.sinks.hdfs-sink-contract-snapshot.hdfs.path = /dev/wimp/contract-snapshot/year=%Y/month=%n/day=%e/snapshottime=%k%M 使用此Flume设置，相应的csv文件将保存到HDFS中的以下文件夹下：
浏览 47提问于2021-01-11得票数 1
回答已采纳
您好，我是hadoop新手，我想使用cloudera管理器API创建hdfs复制。
如何使用Cloudera CM API创建hdfs复制？
浏览 9提问于2017-07-16得票数 0
我在Clickhouse上创建了一个基于HDFS的表。我的HDFS集群启用了HA，但是在查询我创建的myDDl表时发生了一个错误：
CREATE TABLE IF NOT EXISTS userItemLable ON CLUSTER cluster_1st(
label int,
length int,
duration int
)ENGINE=HDFS('hdfs://cluster1/test/','')
错误代码：
Code: 210. DB::Exception: Received from localhost:9000. DB::Exception
浏览 27提问于2020-07-03得票数 0
我们知道建议将parquet.block.size设置为HDFS块大小，但对HDFS很重要。
当写入云存储(如s3或gs )时，设置parquet.block.size是否重要？
对于使用这些数据的下游作业，在下面这样的情况下，并行性会发生什么呢？
前任：
如果我写火花数据，~ 20 GB到s3或gs
每个.parquet文件大小为2GB，设置为parquet.block.size = 512 MB
每个.parquet文件大小为2GB，设置为parquet.block.size = 64 MB
浏览 3提问于2019-09-19得票数 0
1回答
我正在寻找一种高效的方法来将目录列表从一个Hadoop文件项目同步到另一个目录结构相同的目录。
例如，假设HDFS1是创建数据的官方来源，每周我们需要将所有 data -2目录下新创建的数据复制到HDFS2：
**HDFS1**
hdfs://namenode1:port/repo/area-1/data-1
hdfs://namenode1:port/repo/area-1/data-2
hdfs://namenode1:port/repo/area-1/data-3
hdfs://namenode1:port/repo/area-2/data-1
hdfs://namenode1:port
浏览 7提问于2013-11-01得票数 2
1回答
我使用的是桉树私有云，我已经在其上建立了一个CDH5 HDFS。我想备份我的HDFS到桉树S3。按照这里的建议，使用distcp的经典方法是：，即hadoop distp hdfs://namenode:9000/user/foo/data/fil1 s3://$AWS_ACCESS_KEY:$AWS_SECRET_KEY@bucket/key不工作。
看来hadoop是预先配置的，在亚马逊上有一个S3位置，我找不到这个配置在哪里，以便将其更改为运行在欧几里德图上的S3服务的IP地址。我希望能够更改S3的uri，就像使用hdfs://前缀时更改NameNode uri一样。但似乎这是不可能的.
浏览 6提问于2014-10-10得票数 0
回答已采纳
当试图通过从节点(Datanodes)访问HDFS中的数据时，在3节点上安装了cloudera cdh4。
当我试图在HDFS中创建新文件夹时，请使用
hadoop fs -mkdir Flume(Foldername)
命令无法从任何一个从节点在集群的hdfs中放置数据或创建文件夹，但是从主节点工作，也可以从主节点、水槽、蜂箱、猪所有其他进程运行在从(Datanodes)尝试重新启动集群namenode格式仍然不能工作！
第二，当我在做
hadoop fs -ls /
结果不是来自hdfs，而是来自从节点的当前目录路径。以及除了在HDFS中创建目录之外，如何检查集群中的从节点
浏览 6提问于2013-10-23得票数 0
回答已采纳
1回答
我是Apache工具的新手。我正在尝试从mongo导入数据并将这些数据放入HDFS中。我已经创建了两个处理器，一个用于MongoDB，另一个用于HDFS，我正确地配置了它们。作业正在成功运行，并将数据存储到HDFS中，但作业在成功时应自动终止。但事实并非如此，而且在HDFS中创建了太多的文件。我想知道如何使按需工作在NIFI和如何确定一个工作是成功的。
浏览 0提问于2018-03-16得票数 0
回答已采纳
我正在为专业数据工程师学习，我想知道对于Dataproc上的热门数据，"Google推荐的最佳实践“是什么(考虑到成本问题)？
如果成本是一个问题，那么我发现了一个建议，将所有的数据都存储在云存储中，因为它更便宜。
是否可以建立一种机制，使所有数据都在云存储上，而最近的数据则自动缓存在HDFS上？类似AWS对FSx/Lustre和S3所做的事情。
浏览 7提问于2020-03-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
