1回答
我知道数据存储中不支持自动增量。
但是，在java中，如何创建唯一的id，比以前的id更大，这是可能的。我知道java支持UUID，这是唯一的，但没有顺序。
我需要自动增量的原因是，如果我以某种方式管理自动增量，我就可以按顺序得到结果。我不需要应用任何额外的过滤器来排序数据存储结果。我在某个地方读过数据存储，默认情况下返回ASC订单。如果我按顺序创建唯一的id，我就可以得到已经按顺序格式的结果。
我用的是物化。
有什么建议吗？
浏览 1提问于2017-12-02得票数 1
回答已采纳
1回答
我使用GraphFrame创建了15k图形对象。这些图很小(每个图有10-100个节点，10-100个边)。我只需要在每个图上应用最短路径和某些其他算法。我目前的实现是使用for循环循环遍历所有15k图。令人惊讶的是，集群模式比客户端模式慢得多。
我处理了10张图表。下面是客户端模式和集群模式的性能指标。我试图找出集群模式比客户端模式慢的原因。我只是搞不懂衡量标准。
集群的配置(星火独立)
客户端模式的配置：
客户端模式：
Scheduling mode = FIFO
Spark Context default degree of parallel
浏览 3提问于2017-09-05得票数 1
1回答
假设我有一个网站，它的点击率很高。我需要将点击数据存储在某个数据库中，以便可以将其用于报告和监控目的。点击数据将包含信息，例如谁将用户引用到此站点，用户从哪里来，他们什么时候来等。是否有一种方法可以存储这些数据，然后以10分钟为间隔进行分析，这样您就可以每隔10分钟获得站点运行情况的概述。哪种类型的数据库最适合于此目的，以及哪种分析工具可以从该数据快速生成有意义的信息。我正在考虑的一种分析方法是使用map-reduce的一些变体来对此数据运行查询。
浏览 1提问于2011-04-08得票数 2
回答已采纳
2回答
我从未使用过像neo4j这样的图形数据库，我想知道它们是否支持简单的复制和集群分发以及键值数据库，或者是否存在固有的结构使其变得非常困难/缓慢。
浏览 0提问于2012-09-06得票数 2
我在我的DataFlow管道(2.29.0)中使用google-cloud-storage (1.54.0)将文件写入Google Storage。我随机地看到了下面的错误。 来自worker: java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: com.google.cloud.storage.StorageException: Socket closed org.apache.beam.runners.dataflow.worker.GroupAlsoByWindowsParDoFn$1.outp
浏览 56提问于2021-10-05得票数 0
1回答
在最初的中，Sergey和Lawrence解释说，他们没有直接在存储库中保存爬行网页的HTML内容，因为他们想节省一些HDD空间。以下是这一段：
4.2.2储存库
存储库包含每个网页的完整HTML。每个页面都使用zlib进行压缩(请参阅RFC1950)。压缩技术的选择是速度和压缩比的权衡。我们选择了zlib的速度，而不是bzip提供的压缩方面的显著改进。与zlib的3比1压缩相比，bzip在存储库上的压缩率约为4比1。在存储库中，文档一个接一个地存储，并以docID、长度和URL作为前缀，如图2所示，存储库不需要使用其他数据结构来访问它。这有助于提高数据的一致性，并使开发更加容易；我们只能从
浏览 1提问于2019-08-16得票数 0
回答已采纳
1回答
我开始了解hadoop。我对它有了一些了解，但是当我读到关于Hive，Pig和其他Apache工具时，我感到很困惑。因此，有人能简单地概述一下hadoop和Apache的工具(Hive、Pig、等)，我想知道它们在处理大数据时是如何和在哪里使用的。
浏览 3提问于2014-05-20得票数 0
回答已采纳
1回答
我正在用Zend Framework开发一个大型应用程序，我开始问自己哪台服务器最适合它。
我知道有Zend Cluster Server，但很多公司都在使用Apache Hadoop。有什么关系？对于zend开发人员来说，哪个是更好的选择？
浏览 0提问于2011-01-09得票数 0
1回答
试图理解Oracle数据库中是否存在这样的概念。假设我有两个数据库，Database_A & Database_B Database_A具有schema_A，有什么方法可以将这个模式附加到Database_B
我的意思是，如果在schema_A中有一个填充schema_A的任务，我可以在Database_B中看到这个只读视图。我们正在尝试将一个大型Oracle数据库拆分为两个较小的数据库，并有一个庞大的PL/SQL代码，并尽量减少这里的重构。
浏览 5提问于2022-04-26得票数 2
1回答
我是Azure数据仓库的新手，在阅读一些关于数据实际存储位置的文章时，我一点也不感到困惑。是计算节点为db表或azure blob存储数据吗？
谢谢
浏览 2提问于2016-08-27得票数 0
回答已采纳
1回答
我很想知道谷歌是如何存储PageRank算法中使用的矩阵的；我正在寻找一种数据结构，用于存储一个非常大(不适合于任何一台计算机的内存)稀疏矩阵，并且高效地(还不确定这意味着什么)对其执行操作。
如果有白纸可用，请张贴一个链接或标题(我做了一些研究，但找不到一个)，如果没有，如果你可以张贴链接，或仅仅名称的论文或书籍，将有助于我开始。
在我最初的研究中，我发现了稀疏的逐行格式1，并且我开始阅读稀疏矩阵技术2，所以如果我在这里正确的话，请让我看看。
1 Chang，1969 Curtis and Reid，1971 Gustavson，1972
2 Pissanetzky，1984年
浏览 0提问于2013-10-22得票数 0
当我试图在DSE图中获取顶点计数时，使用
g.V().count()
在生产模式下，错误正在显示。
Could not find a suitable index to answer graph query and graph scans are disabled
但在发展模式中也是如此。我是不是做错什么了。
我正在尝试快速启动链接，但创建了自己的模式。
模式：
schema.propertyKey("id").Int().single().create() schema.propertyKey("name").Text().single().cre
浏览 3提问于2016-08-17得票数 1
回答已采纳
这很可能不是SQL服务器问题，但设置似乎只会影响对SQL服务器的批量插入。
我们最近移动了VM硬件，所有被移动的来宾都将他们的虚拟交换机从标准更改为分布式。
然后，我从网络读取输入流时，开始接收一个致命错误。在批量插入操作期间，会话将在两个SQL服务器上终止(输入错误: 64，输出错误: 0)。其中一个SQL服务器是具有新配置的VM，另一个是物理服务器。这两个大容量插入操作都起源于具有新配置的VM。批量插入并不是每次都会失败，当它出现时是非常随机的。
当我们将虚拟交换机改为标准交换机而不是分布式交换机时，问题就解决了。
我正在寻找一个更多的解释，为什么它不工作的分布式开关，而不是一个决议。我的
浏览 0提问于2017-05-03得票数 3
1回答
我已经在本地安装了PredictionIO，使用我根据需要修改的通用推荐模板对引擎进行了培训，一切看起来都很好。
既然我知道这可以满足我的需求，我希望将它部署到生产中，不幸的是，关于它的文档不多。
理想情况下，我希望在AWS上部署所有的东西，文档中有一部分描述了它，但是由于禁用了CloudFormation模板，所以没有用。
我正在考虑使用Docker来实现它，但是我对整个堆栈缺乏了解，我想了解以下几点：
数据应该存储在哪里？ hbase似乎是“数据库”，将其与其他服务器(事件服务器、预测服务器)放在同一服务器上不是很危险吗？
是如何扩展的？，我需要在负载均衡器后面运行多个Predic
浏览 1提问于2016-09-16得票数 5
我已经构建了一个抓取爬行器，它使用user_id作为命令行参数，并从数据库中获取urls。现在，我希望我的应用程序具有可伸缩性。
与此同时，我正在研究一些在互联网上提供的解决方案，但并不是所有的解决方案都与我的要求完全匹配，就像在一些建议中传递一堆url进行刮擦一样，还有一些建议使用根url并将所有内容留给Scrapy，但我的用例完全不同。我在找这里的入口。
如果我可以在蜘蛛之间分发客户机ID，而不是分发URL，那也可以。
浏览 1提问于2019-03-09得票数 0
回答已采纳
1回答
Google drive sdk和api (php客户端库最新版本)有什么问题吗？
我正在修改谷歌驱动器中的文件，然后在Q参数date_modified>中‘修改文件的日期之前’。date_modified和我发送的日期之间的差异大约是2-3分钟，但我得到的结果是空的。如果我在5-10分钟的修改时间后使用之前使用的相同代码进行此请求，那么我将获得实际结果。将更改复制到Google服务器是否有任何延迟。有人知道这件事吗？
浏览 0提问于2013-01-08得票数 2
回答已采纳
2回答
我正在使用真实的用户数据实现一个电影推荐系统。我打算采用协同过滤的方法。然而，这种方法通常需要一个巨大的矩阵来存储用户的评分电影。因为我有超过一万部电影和十万用户。我不可能创建这么大的稀疏矩阵。我想知道每个人是如何在如此大量的数据中实现协同过滤的？谢谢!
浏览 3提问于2013-03-12得票数 2
回答已采纳
我是云代工的新手，正在寻找开源CF中的自动缩放应用程序。
在开始研究后发现Bosh v2提供了这种能力，现在我正在尝试使用links 在Linux机器上安装Bosh V2。
在执行上述步骤后，当我执行bosh –v时，我得到以下错误-bash: bosh: command not found。有没有人能帮我找出哪里出了问题并找到可能的解决方案？提前感谢
浏览 4提问于2018-06-26得票数 1
2回答
最新的数据库热潮似乎以非关系数据库为中心。为什么？似乎适得其反。例如，以关系方式( Django + SQL中的示例代码)表示数据对我来说更有意义：
class Post(models.Model):
name = models.CharField()
created = models.DateTimeField(auto_now_create = True)
class Comment(models.Model):
text = models.TextField()
post = models.ForeignKey('Post')
c
浏览 4提问于2011-10-28得票数 9
回答已采纳
1回答
我是HBase的初学者。我目前不确定是什么影响了HBase的性能。首先，我在独立模式下运行Hbase。我使用一台机器运行Mapreduce程序来处理两百万行文本，并将结果输出到存储在本地文件系统中的HBase表中。它花了大约1小时40分钟。然后我切换到伪分布式模式。然后，Htable文件被存储在HDFS.All中，包括程序在内的其他内容保持不变。然后花了3个多小时！我完全糊涂了。有人能告诉我为什么会这样吗？
另一个问题是，由于我在功能不是很强大的Linux机器上创建了5个虚拟机作为虚拟集群(8G ram。3 3GHz四核CPU)。当我一个月前运行Mapreduce程序时，当我在一个主服务器上运
浏览 2提问于2012-07-27得票数 1
回答已采纳
在Java开发人员的许多职务描述中，我看到了这一行:在低延迟、大容量系统/应用程序上工作的经验？这句话的确切意思是什么？
浏览 2提问于2014-02-24得票数 3
回答已采纳
1回答
我计划在我的基于web的应用程序中实现Hadoop框架。但我只是将其托管在本地主机中。我计划实现mapreduce和hdfs作为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始呢？我对Hadoop框架进行了深入的研究。了解它是如何工作的，并尝试使用互联网上的wordcount示例。
浏览 2提问于2015-02-04得票数 0
我使用以下代码将特定文件移动到不同的文件夹： function move_file(file_id, target_folder_id){
var source_file = DriveApp.getFileById(file_id);
var source_folder = source_file.getParents().next();
if (source_folder.getId() != target_folder_id) {
DriveApp.getFolderById(target_folder_id).addFile(source_
浏览 35提问于2019-12-11得票数 0
1回答
比较内存中的集群计算系统
、、、
我正在从事Spark(Berkeley)集群计算系统的工作。在我的研究中，我了解了一些其他的内存系统，如Redis，Memcachedb等。如果有人能给我一个SPARK和REDIS (以及MEMCACHEDB)的比较，那就太好了。Spark在哪些情况下比其他内存系统更有优势？
浏览 4提问于2013-05-22得票数 10
回答已采纳
我有一个带有一个TaskManager和两个处理槽的Apache Flink设置。当我执行一个并行度设置为1的应用程序时，该作业大约需要33秒才能执行。当我将并行度增加到2时，作业需要45秒才能完成。
我在我的Windows机器上使用Flink，配置为10个计算核心(4C+ 6G)。我想获得更好的结果与2个插槽。我能做什么?
浏览 22提问于2018-02-26得票数 1
回答已采纳
2回答
我读过Udi的文章。
MassTransit支持分布式事务吗？(为了避免MassTransit上的重复问题，而不是通过代码手动检查)
浏览 7提问于2016-04-02得票数 0
回答已采纳
eScience基础设施与网格计算或分布式计算基础结构有什么不同？他们的一些例子是什么。
我不能把它们区分清楚。网格是如何使它成为一个电子科学平台的？
浏览 0提问于2012-10-13得票数 1
1回答
为了澄清，因为我不完全确定如何在标题中总结。
我有一个redis集群和一个redis支持的调度程序(类似于sidekiq/resque，等等)。
我的红星群有一个主人和几个奴隶。我将一个作业插入到主程序上，然后将其复制到奴隶上。
我有四个工人在听这些奴隶。
问题是:我只想得到一份工作。但是，目前的设置是，一个作业将被复制到各个奴隶中，然后由多个工作人员来获取，从而复制工作负载。
希望就如何解决这一问题提出任何建议。我可以使用特定于工人的队列，然后在特定队列上安排作业。但这仍将复制到奴隶和积累的工作，永远不会被拾取，这将需要修剪。
据我所知，也许redis不是为这种信息传递而建的，也许像rabb
浏览 0提问于2018-04-17得票数 1
1回答
我一直在阅读关于共享内存和消息传递的文章，我相信共享内存比消息传递更快，但是我似乎没有遇到消息传递的优点。与共享内存相比，消息传递有什么优势吗？
浏览 3提问于2014-10-15得票数 2
回答已采纳
貌似看到两个都做git服务，在犹豫选哪个。。
一个是腾讯工峰，好像微信小程序有内置。一个是之前看到的dev.tencent.com的托管。。。乱了
浏览 1880提问于2019-02-03
对不起，如果我问错了社区的问题。火花ML和Flink ML以及火花和Flink在一般情况下有什么区别？这两个项目都是Apache的项目，我想知道为什么Foundation有两个类似的项目。
我发现了一些有趣的文章，快速大数据: Apache与Apache用于流数据，它对我的问题有答案。
溢出社区已经讨论过这个问题。主题是Apache和Apache有什么区别？
浏览 0提问于2016-10-13得票数 2
回答已采纳
有人有使用图形数据库进行复杂遍历的经验吗？并在Erlang中使用它？优势？小字？
由于某些原因，默认选择似乎是neo4j。
我喜欢Phoebus ( Erlang中的分布式图查询，基于Google的Pregel算法)，但它似乎是被遗弃的软件。
浏览 5提问于2013-01-15得票数 7
我们正在使用快速版和商业版为分布式应用程序提供动力。由于我们需要数据同步，Oracle11g是这个应用程序的好候选者吗？还是甲骨文10G更适合这个用途？
浏览 0提问于2012-03-15得票数 -5
我有每周一次的时间序列数据，并试图使用Pyspark来计算几个列的每周尾随8周的总和。我尝试过使用Pyspark窗口函数，特别是：
sum(df[valueCol]).over(partitionBy(df[idCol]).orderBy(df[timeCol]).rangeBetween(-7, 0))
但是这段代码运行得非常慢(1000个唯一ID和170个时间步骤，每列运行30-60秒)。我从其他StackOverflow问题中了解到，分区和洗牌会导致性能问题，因此为了更好地理解这些问题，我将手动计算8列中每周的8个最近的每周值，然后将这些列添加到后面的8周求和。
下面是我创建的简化数据集
浏览 1提问于2018-09-04得票数 2
1回答
在进程中运行线程
、、
我在一个具有多处理功能的巨大数据集上运行图像处理，我想知道在池中运行ThreadPoolExecutor相对于仅仅在所有项上运行池是否有任何好处。
dataset包含多个文件夹，每个文件夹都包含图像，因此我最初的目的是将每个文件夹拆分为一个进程，将该文件夹中的每个图像拆分为一个线程。另一种方法是获取每一张图像并作为一个进程运行。
例如，每个文件夹作为进程，每个图像作为线程。
from concurrent import futures
from multiprocessing import Pool
from pathlib import Path
def handle_image(ima
浏览 0提问于2019-06-06得票数 0
回答已采纳
在我的web应用程序中，我的用户有许多事件。其中一个事件是“用户更新的facebook状态”。用户可以拥有数百个这类事件，并且有10种类型的事件。我需要以非常可伸缩的方式显示基于事件的事件计数和其他用户统计信息。这是因为每个用户将能够看到他或她的统计数据。显然，我们负担不起每次用户访问网站时都要运行每一次计算，因此缓存这些统计数据肯定是可行的。
为"statistics“创建一个单独的表是否有意义?该表将为我们正在缓存的每个统计信息创建一个用户id和一个列？这张桌子基本上是在演戏，所以我想知道是否有一种更好的或不同的方法来做到这一点。
浏览 1提问于2010-03-12得票数 1
1回答
我想在多节点集群上安装Hadoop和Spark。
我能够成功地在多节点集群上安装和配置Hadoop。我还在主节点上安装和配置了Spark。
我怀疑我是否也要在奴隶中配置火花？
浏览 0提问于2017-05-19得票数 1
回答已采纳
1回答
我目前正在为一个系统监控项目研究NetMX (和JMX )。有谁有这两个库中任何一个的真实例子吗？
我能找到的唯一例子是通过JConsole操作计数器，这并不能帮助我获得更大的图像。
谢谢你的帮助。
琼恩
浏览 2提问于2010-01-14得票数 0
我想了解更多关于将数据库数据划分为不同服务器的一般概念。例如，假设我有一个SQL Server数据库，其中有一个庞大的表。假设一台服务器无法处理此表中的数据量。我想将该表分解，并将其内容拆分到具有相同数据库(复制)的不同服务器中。
现在，假设我与这些服务器中的任何一个都有一个SQL (ADO)连接，并选择从这个特定的表中选择记录。由于数据位于不同服务器上的单独数据库中，所以我需要从所有不同的服务器收集记录，并将它们组合成一个。
我确信有标准的方法来适应这种情况，而且我愿意选择另一条路线，而不是直接的Server连接(我计划将它封装在我自己的HTTP中)，但我仍然将使用SQL Server作为实
浏览 0提问于2013-01-25得票数 4
回答已采纳
哪种图形数据库支持无限扩展，可以处理大量数据，并且可以执行低延迟查询？最好是能与Hadoop很好集成的版本。我最近读到了几个叫Neo4J、AllegroGraph和BigData的产品。请与其中任何一个分享您的经验。
浏览 2提问于2010-06-06得票数 7
我正在做一个项目，该项目将涉及在大图上运行算法。最大的两个有大约300k和600k的顶点(我认为相当稀疏)。我希望找到一个java库，可以处理这么大的图，也可以处理更小的树，因为我将使用的算法之一涉及将图分解为树。理想情况下，该库还应包括广度优先搜索和Dijkstra算法或其他最短路径算法。
基于，我一直在研究一些库(，，，)，但我很难弄清楚它们可以实际处理多少顶点。查看他们的文档，我所能找到的是在中说它可以轻松地处理超过15万个顶点的图形，这仍然比我的图形要小得多……我希望这里有人使用过这些库中的一个或多个，并能告诉我它是否可以处理我需要的图形大小，或者是否有其他更好的库。
对于记录，我不需
浏览 3提问于2012-03-30得票数 8
回答已采纳
4回答
在OSX上有没有等同于Linux DBus的东西？我的意思是，在OSX上有默认可用的“消息总线”吗？
免责声明： OSX菜鸟在这里。
浏览 57提问于2010-04-28得票数 23
回答已采纳
1回答
这个错误意味着什么？
我使用Java部署了5个Lambda函数，这些函数工作得很好，但从今天下午开始，它们都开始在执行每个函数时显示相同的消息：
Service error.
没有输出，没有日志，只有红色框中的消息。
在中，他们说：
下午6:05下午PDT我们正在调查增加的错误率和提高的AWS Lambda请求在美国-东部-1地区。新创建的函数和控制台编辑也会受到影响。
为什么会发生这种情况，是否有办法防止这种情况发生？
浏览 2提问于2016-08-11得票数 1
回答已采纳
3回答
我正在做一个项目，在一个在线流媒体平台上记录大量关于观众的信息。现在MySQL解决方案的问题是查询速度太慢，诸如此类。即使有了扩展和更好的性能调优，这现在也能工作了，因为只有很多数据是实时的，即写/读。
什么是好的(最好的) NoSQL解决方案对我来说？
额外：
我们目前也在使用Amazon服务，我们在那里存储数据。
使用Java，最好使用开源解决方案。
目标定向。
浏览 2提问于2011-04-10得票数 8
我正在尝试了解hive和hadoop是如何交互的。从我读过的教程中可以看出，在运行HIVE查询之前，您可以运行map / reduce作业来获取输入数据。这对我来说似乎适得其反，如果我已经运行了map / reduce作业，并以一种易于解析的格式获得了数据，为什么我不把数据放到传统的数据库中。
谢谢你的帮助，内森
浏览 6提问于2012-04-20得票数 2
回答已采纳
3回答
自从微软推出代号为"Madison“的sql-server版本以来，大规模并行处理(MPP)就进入了人们的视野。它到底是什么，sql-server将如何从中受益？
此外，大规模并行处理(MPP)是否与并行计算相关？
浏览 1提问于2010-06-06得票数 1
回答已采纳
1回答
对于数据库情况下的延迟和吞吐量，我有点困惑。
我的理解是，延迟表示执行单个请求所需的时间(例如insert或select)，而吞吐量则表示在一定时间内执行这些操作的次数(例如每秒插入多少次)。
如果我的理解是正确的话，难道不应该总是把两者联系在一起吗？如果延迟减少，吞吐量应该增加，反之亦然？那么，低延迟的数据库应该具有高吞吐量吗？
我想到的是，许多请求可以并行执行，这可能导致这样一个事实:即使是一个请求也很慢(延迟较高)--一般来说，数据库可以很好地执行(可以并行处理大量请求，特别是当我们讨论可扩展分布式数据库时)。这就是重点吗？
我从读到卡桑德拉的文章开始思考这个问题：
卡桑德拉还高度重视性
浏览 0提问于2018-01-11得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
