1回答
大容量数据存储和处理
、、、、
我正在构建一个新的应用程序，其中我期望有大量的地理位置数据，就像移动的对象每5秒发送一次地理坐标。这些数据需要存储在某个数据库中，以便它可以随时用于跟踪地图上的移动对象。因此，每天要存储的地理坐标约为1150万个。我必须至少在数据库中存储大约一周的数据。
这些数据基本上将用于简单的查询，如查找特定对象和特定路线的所有地理坐标。因此，查询并不是非常复杂，这些数据将不会用于任何分析目的。所以，我的问题是，我应该只使用普通
浏览 2提问于2016-03-29得票数 1
我正在与facebook交互，它给我返回了一些相当大的id，例如intval($facebook_action['id']) gives me "2147483647"
在我的数据库中，我计划将它存储为一个整数，但是这些值可能太大了，因为在php转换中，返回给我的是最大的int值。我是否应该将这些存储为字符串，或者如何处理<
浏览 1提问于2013-08-11得票数 0
回答已采纳
我在一个项目中工作，在这个项目中，我必须每天存储与每个用户的用户活动相关的事件，以便以后分析。我将获得带有时间戳的事件流，稍后将在此数据上运行数据流作业以进行分析，以获取每个用户的统计数据。我正在探索大表来存储这些数据，其中时间戳将作为每一行的关键字，稍后我将运行范围查询来获取单日数据并对其进行处理。但是，在浏览了几个资源之后，我发现有了时间戳的行键，大表就可以进入热点了。解决此问题的任何替代方法或
浏览 2提问于2020-03-31得票数 0
1回答
我们使用Microsoft作为有关这些映像的图像和数据的存储库。我们实时记录，从来不关心恢复。如果数据库速度减慢，无法处理图像数量，则向用户报告此事件。有什么想法吗？
浏览 0提问于2014-01-02得票数 -1
将IPV6地址以字符串形式存储在数据库中，并每次都进行转换以进行子网范围验证并检查与现有子网的重叠，效率将很低。Mongo DB不支持以整数格式存储ipv6地址的大整数数据类型。所以想知道什么是正确的mongo数据类型来存储有效处理的IPV6地址？
浏览 0提问于2018-03-15得票数 0
2回答
根据包含联系人照片处理信息的官方文档(Android4.0)：
Android现在支持用于联系人的高分辨率照片。现在，当您将照片推入联系人记录中时，系统会将其处理为96x96缩略图(与以前一样)和存储在新的基于文件的照片存储区中的256x256“显示照片”(系统选择的确切尺寸在未来可能有所不同)。您可以向联系人添加一张大照片，方法是在数据行的通常照片列中放置一张大照片，然后系统将其处理到适当的缩略图中并显示
浏览 3提问于2013-06-20得票数 0
我有一个项目，处理与斯派克有关的EMR数据处理。
据我所知，人们通常将输入数据存储在某个文件系统(HDFS、S3或本地系统)上，然后对其进行操作。如果数据非常大，我们不想在本地存储这些数据。我的问题是，如果我生成了一堆数据，那么您如何将这些数据远程存储在S3或任何一种云文件系统上呢？在将数据存储在云端之前，我不需要将数据
浏览 1提问于2018-06-20得票数 0
回答已采纳
1回答
我正在使用HDF5来存储坐标格式的大量稀疏数组(基本上是一个Mx3数组，它存储每个非零元素的值、x索引和y索引)。[[1,2,3,4,5], // Data values [45, 12, 43, 55, 12]] /&
浏览 3提问于2016-02-19得票数 1
3回答
我想用一些不适合内存的大矩阵，memory.My矩阵是不稀疏的。我需要一些批处理\块处理或在线机器学习算法。我需要:1.从硬盘驱动器上存储的大矩阵读取一些数据块(可以放在RAM中)，最好是像普通的matlab矩阵一样访问它。2.将一些数据块附加到存储在磁盘上的大矩阵的末尾。
浏览 1提问于2013-08-07得票数 2
需要从oracle数据库中提取数据并存储在Google云平台中。数据大小约为10 TB。有没有可能通过Spark？数据必须每月传输一次。在GCP中存储和处理的数据如下：
Oracle数据库到云存储(不必做CSV导出)，然后它将是干净的，并准备在Dataprep中，这将通过数据流进一步处理，最后它将被存储在Big Query下(从大查询数据
浏览 2提问于2019-11-17得票数 0
所以问题来了，
我有一个if()语句，它可以确定用户以前是否访问过我的站点，如果访问过，则可以选择从数据库中删除他们的记录。问题是，我看不到任何安全的方法。他们是公共用户。
浏览 0提问于2011-10-15得票数 0
回答已采纳
1回答
我正在使用的系统是使用存储过程来与数据库通信。数据库对我来说是一个黑匣子，我访问它的唯一方式是通过存储过程。直到现在，一切都运行得很好，当我必须进行大容量插入时。显然，我可以使用100个调用来执行存储过程，但是我怎么能在同一时间通过几个调用向数据库发送批处理请求呢？
浏览 28提问于2018-06-01得票数 0
最近在Couchbase的一次网络研讨会上，他们说Hadoop用于处理大型日志文件，Couchbase用于将其呈现给应用层。我打算使用Couchbase map reduce来处理大量的日志文件。有人能澄清一下这两个map reduce之间的确切区别吗？Hadoop中是否有更适合处理大型日志文件的功能？
谢谢..。
浏览 0提问于2012-05-13得票数 1
回答已采纳
将上传的文件存储到关系数据库中还是放在IIS目录下的文件系统中好呢？我认为关系型系统会是更好的选择。有什么意见吗？什么时候你会使用其中一个而不是另一个呢？更容易维护版本
文件系统使存储数据变得更容易，我认为在性能方面这是一个更好的选择。
浏览 3提问于2009-05-25得票数 2
回答已采纳
1回答
这些是素数，但非常大，而且很少。第49位梅森素数是2200万位数长。令人难以置信的是，一个数字可以是2200万位数。Postgres提供的内容足以满足任何实际需要。我的问题是GIMPS的
浏览 1提问于2019-10-05得票数 0
回答已采纳
4回答
每个请求i都需要处理时间Ti来处理。我们想要找出在任何时刻的65百分位处理时间(当处理时间根据它们的值以递增的顺序排序时)。我们不能存储过去所有请求的处理时间，因为请求的数量非常大。所以答案不必是精确的65个百分位数，你可以给出一些近似的答案，即处理时间大约是确切的65个百分位数。
提示:这是关于如何在不存储所有数据的情况下为非常大的数据存储直方图(即概览)。
浏览 0提问于2010-06-21得票数 1
回答已采纳
应用程序中有许多Convert.ToDouble()实例，通过try-catch或使用double.tryParse()处理每个实例都不是一个可行的解决方案，因为它需要在许多项目中进行更改。
浏览 0提问于2016-05-12得票数 1
1回答
该服务用于将数据从外部数据库合并到我的数据库。问题是，我只能使用存储过程访问外部数据库。以下方法中的GetArt()是实体框架创建的存储过程之一，它返回120万个对象。context.BulkInsert(artls); }
浏览 0提问于2018-11-28得票数 4
回答已采纳
我有一个包含多个子图像的大图像。每个子图像包含多个区域，需要使用OpenCV以不同的方式进行处理。子图像将在多个并行线程中同时处理。我需要知道的是组织大图像对子图像和要处理的区域的最佳方法，这样我就可
浏览 1提问于2014-03-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
