3回答
我花了很多时间阅读和观看人们谈论如何在他们的架构中使用为处理海量数据集和实时处理而设计的工具的视频。虽然我知道Hadoop/Cassandra/Kafka等工具是做什么的，但似乎没有人解释数据是如何从这些大型处理工具中获得的，以便在客户端/网页上呈现一些东西。根据我对大数据工具的理解，你不能用标准的web应用查询MySQL的方式来构建你的应用程序，考虑到流经这些工具的数据的大小，我可以理
浏览 0提问于2017-09-07得票数 0
2回答
我在处理数据库中的大数据时遇到了以下问题：
基本上，每一秒来自数字传感器的所有测量数据都存储在数据库中。报告应该从所有数据中仅显示发生的更改，例如在时间X时，寄存器#1的值从0更改为1。我已经创建了一个过程，它可以只返回我需要的数据(更改)，这节省了我在php中的大量处理，但最大的问题是，对于4天的当前数据，查询需要6*N秒才能完成，其中N是所选寄存器的数量。另一个想法是在每次插入数据计量时触发一个触发器，但问题是这
浏览 1提问于2012-09-14得票数 1
回答已采纳
2回答
我有一个问题，你是如何用php和mysql处理来自表单的海量数据的？我有接下来的:大约50个字段(输入文本，checkboxex，select，textarea)
之后，我需要将此数据保存到MySQL数据库中，并需要选择和过滤此数据。你有实践吗?
浏览 0提问于2012-07-30得票数 6
回答已采纳
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。
浏览 3提问于2021-03-25得票数 0
我是elasticsearch的新手，并且拥有巨大的数据( mysql表中超过16k的大行)。我需要将此数据推送到elasticsearch中，但在将其编入索引时遇到问题。有没有办法让索引数据更快？如何处理海量数据？
浏览 1提问于2012-05-21得票数 6
每晚cronjob汇总每个用户的统计数据听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况，但这些只是BerkeleyDB的，而且每个统计数据必须有一个文件，这是行不通的，但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践？
浏览 1提问于2011-12-31得票数 2
回答已采纳
我在我的项目中使用了两种数据库，mysql和neo4j。mysql中的内容，neo4j中的关系。2、mysql全文搜索的性能如何？与neo4j相比？
浏览 3提问于2013-11-16得票数 0
的特点如下:2)排序/复杂算法4)类似于Instagram/Facebook的其他功能1)前端- XML + Java (Android)2)如果它能够处理，那么并发用户在没有性能问题的情况下如何处理？MySQL能处理的最大用户？
( 3)其他数据库可以处理得更好吗？4)在接
浏览 7提问于2017-04-08得票数 0
经常重复的是，大数据问题是关系数据库无法扩展到处理正在创建的海量数据。我对技术限制感兴趣--我知道，集群RDBMS的财务成本可能会令人望而却步。
浏览 0提问于2012-02-26得票数 17
回答已采纳
2回答
无法处理请求。
http://localhost/phpmyadmin/schema_export.php?还有其他方法来导出我的架构吗？
我可以改用POST而不是GET吗？
浏览 2提问于2016-01-20得票数 2
我试着自学数据库设计技术。由于facebook是大型数据处理系统的一个例子，我想知道如何处理这些海量数据。我知道他们使用MySQL作为核心数据库引擎，并使用‘Memcached’缓存数据和减少数据库访问。此外，如果任何人都能为像图像或视频这样的媒
浏览 10提问于2014-06-04得票数 0
回答已采纳
1回答
让我们假设我有一个大文件(500GB+)，并且我有一个数据记录声明Sample，它表示该文件中的一行：field1 :: Int,那么，什么数据结构适合于在这些Sample数据的集合上处理(filter/map/折叠)？
浏览 1提问于2014-06-20得票数 2
回答已采纳
1回答
我正在尝试将机器学习应用于Kaggle.com数据集。我的数据集的维度是244768 x 34756。现在，在这种规模下，所有的scikit算法都不起作用。我想我会应用PCA，但即使这样也不能扩展到这个数据集。我可以通过这种方法来应用PCA
浏览 0提问于2015-04-03得票数 1
1回答
作为我工作的一部分，我应该查询源数据库，调用一些过程，获取引用游标中的数据，并填充目标数据库。
由于数据量可能很大，因此我在目标数据库上使用多线程来调用该过程。这种布置工作得很好，除非源db处的数据量很大(例如超过200万个条目)。我已经设置了大约20 GB的堆空间来处理记录，但是我的程序由于堆内存错误而失败。我想知道是否有一种方法可以以并行模式从源数据库中查询数据(例如，假设从源存储过程中总共获取了200万条记录，那么我的程序应该首
浏览 2提问于2013-03-12得票数 0
回答已采纳
3回答
我有一个庞大的MySQL数据库(大约10 GB)，我需要将它复制到另一台服务器(slicehost)。我不想做一个数据库转储和重新导入b/c，我认为这将永远花费时间。是否可以将原始SQL文件从一台计算机移动到另一台计算机，设置相同的mysql服务器，然后翻转开关？
浏览 0提问于2010-05-19得票数 2
回答已采纳
我们计划使用PHP和MySQL/PostgreSQL构建一个基于web的自定义业务分析工具。在我们的应用程序中，我们计划使用Excel表上传客户的数据，这些数据将显示在定制的构建交互仪表板上。在开始处理这个应用程序之前，我没有几个问题。( 2)在某一时刻，是否有多个客户可以同时上载资料？为了处理这种情况，建议为每个客户创建一个单独的
浏览 0提问于2014-07-25得票数 0
2回答
原版：
我使用下面的批处理将1,000万行插入到mysql db中(并不是一次性的，因为它们并不都适合内存)，它太慢了(花费了很多时间)。我应该使用load文件来提高性能吗？
浏览 0提问于2011-01-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
