我想使自定义源&接收器从本地服务器(文件或dbs)直接数据流。所以我想知道这是否可能。
如果可能的话，我应该小心做些什么呢？我从来没有做过定制的源和水槽。但我用过一次GCS数据流。
浏览 3提问于2016-03-16得票数 0
回答已采纳
我使用从云存储中读取一个11.57GB的文件，并将它们写入谷歌BigQuery。花费了大约12分钟和30名工人。然后，我压缩了相同的文件(大小现在变为1.06GB)，然后再使用google从谷歌存储中读取它们，并将它们写入BigQuery。现在用了大约31分钟和同样的30名工人。除了第一个数据流</em
浏览 3提问于2016-08-06得票数 0
回答已采纳
我的组织计划在BigQuery中存储一组数据，并希望定期提取其中的一些数据并将其带回本地数据库。在回顾我在网上找到的关于Dataflow的内容时，最常见的例子是从另一个方向移动数据-从本地数据库到云。是否可以使用Dataflow将数据从云中
浏览 22提问于2020-07-07得票数 0
回答已采纳
1回答
我正在构建一个基础架构，在这个基础架构中，我希望分别接收热数据和冷数据。对于热数据，我将我的数据写入Cloud Spanner，而对于冷数据，我希望将我的数据写入更持久的东西，如BigQuery。我正在使用来自流媒体服务的数据，但我想利用BigQuery的缓存机制-如果我经常将冷数据流
浏览 0提问于2020-08-07得票数 0
1回答
我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：
当从用户帐户运行数据流作业时，Dataflow在我们的大多数Dataflow用例中，我们在项目A中运行Dataflow作业，而在项目B中从BigQuery中读取数据流作业。现在，问题是，在
浏览 0提问于2018-12-05得票数 3
我使用使用google云数据流服务已经有一段时间了。数据流管道
写到Google大查询。我有类似的管道运行在其他项目上，运行非常好。今天，当我启动数据流作业时，管道启动，从数据存储读取
浏览 0提问于2018-05-07得票数 4
3回答
我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。并且数据存储区导出服务仅导出为levelDB格式。任何线索都会很有帮助，谢谢！
浏览 59提问于2019-05-03得票数 0
回答已采纳
可以在Dataprep Job中读取表单Kafka或Google Pub/Sub吗？如果是这样的话，当在visual studio (减去购买或下载工具的能力)上编辑示例时(减去购买或下载工具的能力)，而调试生产流程(相同的“类型”数据“)是在这些工具(在我们最喜欢的IDE上编码Scala/Java )之外的任何工具上执行时，我应该期待什么”最佳实践“部署考虑因素？
浏览 1提问于2018-09-12得票数 0
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的ETL脚本，这可能吗</em
浏览 4提问于2021-08-23得票数 1
我有两个问题
1)我想使用Kafka和Google云数据流管道程序。在我的管道程序中，我想读取卡夫卡的数据，有可能吗？2)我创建了启用了BigQuery的实例，现在我想启用Pubsub，我能做什么呢？
浏览 0提问于2015-04-27得票数 0
回答已采纳
我需要每天从BigQuery加载大约1000万个数据到firestore。执行此操作的最快方法是什么？具有并行单独写入的云函数是一种选择(根据下面的链接)，但在这种情况下，并行化bigquery表将是一个挑战。数据流在这种情况下工作吗?通过数据流读取和写入数据？
浏览 45提问于2021-04-07得票数 0
我有2年的合并数据，大小约300 my，在我的本地磁盘，这是我已经提取的数据。我必须将相同的数据加载到google云存储和BigQuery表中。google云存储中的最终数据应该以压缩格式逐日隔离(每天的文件应该是一个gz格式的文件)。我还必须在一个分区表中加载Big
浏览 2提问于2016-08-10得票数 1
回答已采纳
我是谷歌数据流的新手。我有两个数据流流水线来执行两个不同的任务。一个是ETL处理并加载到Bigquery，另一个是从Bigquery读取以聚合报告。我想先运行管道ETL，在它完成后，将运行报告管道，以确保bigquery中的数据是最新的更新。
我试着在一条<
浏览 14提问于2017-08-11得票数 0
我想在我的Firebase应用程序上记录以下用户操作：
时间(毫秒)：动作但是，我不会访问存储在用户日志位置的数据，所以我相信这不会降低数据库中其他位置的
浏览 0提问于2018-04-15得票数 1
在Google生态系统中构建是非常强大的。我非常喜欢您如何将文件摄取到Cloud，然后数据流丰富、转换和聚合数据，然后最终存储在BigQuery或Cloud中。
当前端web应用程序(可能是内置于React中)向云存储提交文件时，可能需要一段时间才能完全处理。客户端可能希望查看管道中文件的
浏览 0提问于2018-05-11得票数 1
2回答
用于NRT数据应用的Google
、、、、
同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
消费者还从流式/批处理管道(Spark)接收分析。我读到了谷歌云DataFlow，云存储，BigQuery和Pub。<
浏览 2提问于2016-02-16得票数 0
1回答
设计
、
我们需要您对以下场景的数据流设计提供指导。
需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从</
浏览 4提问于2021-12-13得票数 -1
我在Bigquery表中有数据，并希望将其同步到singlestore表。我可以在这里看到单商店管道文档，。它有使用GCS加载数据的选项。它似乎期待着来自谷歌云的文件。我是单身商店的新手，有人能给我一个更好的建议吗？我要不要用管道？我已经从Bigquery创建了一个查询流，现在希望将数
浏览 10提问于2022-09-12得票数 0
回答已采纳
在我的公司里，我正在实现我的第一个“自动”数据摄取管道。我们的客户不想让我们在他们的数据库中进行任何调用(甚至创建一个副本等等)。我一直在网上阅读许多主题，并达到以下链接： --这些URL是访问时间限制的资源，例如Google，并将数据写入其中。我的简单
浏览 4提问于2020-02-06得票数 2
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
