实时数据流计算 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

从sql server到Azure Datawarehouse的实时数据流

azure、apache-kafka、spark-streaming、azure-data-lake、sql-data-warehouse

我正试图在Microsoft数据仓库之上构建一个实时报告服务。目前，我有一个拥有大约5TB数据的SQL服务器。我想将数据流到数据仓库，并使用Azure DW的计算能力生成基于数据的实时报告。然而，这种方法比实时方法更接近实时.是否有任何方法利用Server更改数据捕获来将数据流到数据仓库中？

浏览 6提问于2017-10-23得票数 2

回答已采纳

7回答

线程还是进程？有了独立于数据的任务，哪种任务更好呢？

c、gcc、concurrency、parallel-processing

有一组N个与数据无关的实时任务。每个任务处理一些数字数据流。每个任务的数据流来自输入端口，然后结果流被定向到输出端口。 1)什么是计算密集度较低的:进程或线程形式的任务？

浏览 1提问于2009-12-16得票数 3

回答已采纳

1回答

我可以在Android上使用libgdx进行科学计算和UI吗？

android-widget、scientific-computing、libgdx

我正在制作一个基于实时数据流的交互式数学可视化应用程序。Libgdx被推荐给我来处理复杂的实时图形，但我也需要进行科学计算，并需要一些UI，如按钮和下拉列表。

浏览 0提问于2011-06-17得票数 1

回答已采纳

1回答

实时音视频录制的视频文件通过云点播回调怎么关联起来？

云点播、实时音视频

https://cloud.tencent.com/document/product/266/7830最关键的是回调之后，我怎么来跟我的视频聊天关联起来？谢谢

浏览 885提问于2019-01-24

1回答

.net中的数据流处理

.net、apache-flink、apache-pulsar、data-stream

我正在学习一些产品来实现事件源和一般的数据流处理。特别是，我发现Apache非常适合在多个微服务之间流我的所有事件，但我想处理所有这些数据，以便计算实时输出。我发现Apache可能是适合我的产品，但问题是用Java编写的，您应该用Java编写计算代码。您知道在.NET世界中是否有类似的东西，一个处理实时流、保持计算状态的框架，多少像Apache所能做的那样？或者你对我能用C#替代做什么有什么建议吗？谢谢

浏览 4提问于2022-07-21得票数 0

1回答

Storm实时处理:如果它发生故障怎么办？

bigdata、apache-storm

Storm是一个免费开源的分布式实时计算系统。它接收数据流并对其进行处理。如果Storm宕机了，并且部分数据从未通过它，这意味着计算将不同步，该怎么办？ Storm如何解决这个问题？

浏览 1提问于2013-02-05得票数 1

回答已采纳

1回答

多线程或异步是否适合接收带有API请求的实时节拍，同时执行其他任务

python-3.x、multithreading、time-series、multiprocessing、python-asyncio

我有一个从服务器接收和存储实时节拍数据的python函数(通过API请求)。另一个功能是将数据取到1分钟的烛杆上，并将其附加到pandas数据帧中。然后我想调用另一个函数，它应用了一些数学计算，并管理实时市场中的订单执行。请告诉我从上面的选项中选择哪个更好？

浏览 0提问于2021-02-01得票数 0

1回答

Node.js中的异步查询是否有助于克服实时数据流中的延迟？

javascript、node.js、asynchronous、real-time

我知道实时数据流是开发Node.js的主要原因之一。如果异步查询有助于克服实时数据流中的延迟，有人可以回答或提供一篇文章吗？

浏览 2提问于2015-03-01得票数 0

回答已采纳

2回答

数据流

apache-spark、spring-cloud-dataflow

我找到了Apache和Spring数据流。我想知道它们的主要区别和利弊。有人能帮我吗？

浏览 3提问于2018-07-21得票数 8

回答已采纳

1回答

数据流流-它适合我们的用例吗？

google-cloud-dataflow

我们有以下用例：在业务分析之前，我们需要对数据进行转换/清理/去有机化。但这是一种有点混乱的方法，尤其是因为数据是实时传输的，而且很可能会非常糟糕地计算出哪些数据需要处理。听起来也很脆。这就是数据流流的目的吗？如果是的话，数据流在流模式下可以读取哪些数据源？

浏览 2提问于2015-06-04得票数 2

回答已采纳

1回答

包含10,000个节点的d3.js树状图

javascript、d3.js、orientation、treemap

当我接收到新数据时，更新并重新渲染的js树映射。我已经建立了一个包含50个元素的数据集，它工作得很好。但是，我正尝试在一个更大的数据集10,000个元素上运行相同的代码。它似乎无法渲染图形，有谁知道d3.js在大型数据集上工作的任何示例，或者有人有任何建议吗？另外，当我绘制地图时，有时它们会移动位置，似乎元素的方向被弄乱了，因为它们移动到图表之外或与另一个元素重叠，在整个图表中留下空白，但在重新渲染之后，图表通常会自我更正，然后再次混乱。我认为这个问题的出现是因为图形正在根据绝对位置调整自己的大小，但是上一次渲染中某些位置的矩形把事情搞得一团糟。在能够重新渲染之前，有没有线索来停止这个混乱图

浏览 0提问于2014-07-25得票数 1

2回答

在ssh上记录树莓派的数据最有效的方法是什么？

logging、ssh、raspberry-pi、file-transfer

我目前在raspberry pi上有一个python脚本，它在运行时在同一目录下创建一个日志文件，其中包含我希望在笔记本电脑上实时查看的重要数据(我可以用它ssh到pi中)。显然，我可以使用文本编辑器在使用ssh时查看笔记本电脑上的日志文件，但它不是实时数据流。不幸的是，虽然我有相当多的python经验，但我不太了解网络方面的东西，除了我可以将文件scp/rsync到我的计算机上，但当然，这也不能让我实时查看我的日志文件。

浏览 25提问于2018-06-12得票数 1

回答已采纳

1回答

同时使用两个程序从CSV读取数据

python、c#、csv、connect、live

我使用c#获取实时股票市场数据，然后Python对这些数据进行计算，然后将数据返回到csv文件以供c#再次读取，如果我使用多个步骤，即收集历史数据、预测历史数据和读取历史数据，则它可以工作，但当我尝试在一个步骤(实时)中执行此操作时，我会得到以下错误。我用以下参数打开了它我只在程序停止时关闭数据流，而数据流在

浏览 5提问于2020-12-21得票数 1

1回答

Wowza流媒体直播服务器数据两个问题

wowza

(用作直播服务)是否关心数据流的方向？谢谢

浏览 5提问于2014-07-22得票数 1

1回答

Storm框架应用程序

hadoop、apache-spark、apache-storm、spark-streaming、apache-samza

但是Hadoop不支持实时处理，这就是响应时间长的原因。我知道Storm是另一个大数据分析应用程序框架。但我对我们是否可以使用Storm来实现这种应用程序感到困惑。

浏览 0提问于2015-10-07得票数 1

4回答

用于实时计算密集型任务的云平台？

google-app-engine、amazon-ec2、amazon-web-services、cloud

我正在为下面的场景寻找云计算解决方案，但我在Amazon和类似的服务中找不到任何与我的问题描述相匹配的服务。你知道什么云计算平台可以解决我的问题吗？一般的问题是:我想在数据流上运行一些数据分析(每秒只有1k )。数据分析由一组独立的线程执行，这些线程对该数据流进行操作。每个线程只计算一个布尔值。我拥有的线程越多，计算结果就越好。此外，需要有某种连接来流输入数据并返回计算结果(< 1k /秒)。事情应该是实时发生的(而不是像“在接下来的几

浏览 5提问于2012-08-23得票数 0

回答已采纳

1回答