我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？
谢谢!
浏览 0提问于2010-09-08得票数 4
回答已采纳
2回答
我在处理数据库中的大数据时遇到了以下问题：
基本上，每一秒来自数字传感器的所有测量数据都存储在数据库中。报告应该从所有数据中仅显示发生的更改，例如在时间X时，寄存器#1的值从0更改为1。我已经创建了一个过程，它可以只返回我需要的数据(更改)，这节省了我在php中的大量处理，但最大的问题是，对于
浏览 1提问于2012-09-14得票数 1
回答已采纳
2回答
LIMIT使用JOIN子句的行为
、、、、
在mysql中，当您有3个表(海量数据)被JOIN子句连接时，在SELECT语句的末尾有一个LIMIT子句，sql引擎生成表的笛卡尔乘积，然后应用限制，或者存在之前所做的任何优化？我之所以问这个问题，是因为如果我们使用的是大数据卷，则连接操作是一项开销很大的操作。
在这种情况下，最好执行JOIN和pull all data，还是执行SELECT with LIMIT子句N次？
浏览 2提问于2012-05-23得票数 2
1回答
我想下载usenet消息到我的个人Mysql数据库，所以不使用任何新闻阅读器。目前，我正在为.NET使用IpWorks组件。我用Vb.Net创建了一个简单的应用程序，它可以工作，但它真的很慢……下载并执行插入操作。有谁知道更好的方法来“海量”下载消息，并将其插入到一个简单的mysql表中？
浏览 6提问于2010-05-11得票数 3
回答已采纳
我在我的项目中使用了两种数据库，mysql和neo4j。mysql中的内容，neo4j中的关系。我的问题是：(以博客为例)
1 .如果我使用neo4j进行全文搜索，那么我必须将title和description存储到neo4j DB并索引这两列，是否可以在neo4j DB中存储大量内容？2、mysql全文搜索的性能如何？与neo4j相比？
浏览 3提问于2013-11-16得票数 0
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。
浏览 3提问于2021-03-25得票数 0
1回答
我希望将一个海量数据集导入到mysql服务器中。问题是，前6列的名称很好，之后我有超过1000列的吸收值，我宁愿不坐在那里输入‘吸收-x’几个小时。有没有办法在创建表时指定前几个列名，然后说“对所有列使用以下格式:吸收器-x”？
浏览 16提问于2019-10-22得票数 0
我正在制作一个android应用程序，用于处理孟加拉国公交车、火车和平原的柜台信息。我想把这些信息存储在sqlite数据库中。但我想不出用表格的形式存储这些海量信息的最佳方法是什么。我的意思是，我需要把所有的数据编码到我的src文件中？或者，该数据库中是否有任何图形用户界面(如MySql数据库)可以将数据写入表而不对其进行编码？
浏览 3提问于2014-05-11得票数 1
回答已采纳
经常重复的是，大数据问题是关系数据库无法扩展到处理正在创建的海量数据。我对技术限制感兴趣--我知道，集群RDBMS的财务成本可能会令人望而却步。
浏览 0提问于2012-02-26得票数 17
回答已采纳
我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。var sql = require('mssql');
var mysql = require("my
浏览 1提问于2015-12-01得票数 0
2回答
我有一个问题，你是如何用php和mysql处理来自表单的海量数据的？我有接下来的:大约50个字段(输入文本，checkboxex，select，textarea)
之后，我需要将此数据保存到MySQL数据库中，并需要选择和过滤此数据。你有实践吗?你在你的项目中使用什么？
浏览 0提问于2012-07-30得票数 6
回答已采纳
我是elasticsearch的新手，并且拥有巨大的数据( mysql表中超过16k的大行)。我需要将此数据推送到elasticsearch中，但在将其编入索引时遇到问题。有没有办法让索引数据更快？如何处理海量数据？
浏览 1提问于2012-05-21得票数 6
2回答
我对mysql数据库中的二进制、十六进制和八进制系统非常感兴趣。首先，请给我一个建议，为什么我们在存储信息时需要它们，是因为海量的信息还是为什么？以下是=> SELECT 50<<2 AS example;示例感谢您的</em
浏览 2提问于2012-05-17得票数 5
回答已采纳
我们得到了这个数据模型。知道有限的树的深度，我们当前的表是1:1到模型，外键到父节点。Channel到Station，Measurement到Channel和Station。在加载高峰时，我们得到了大约80000个查询/分钟，而在这些较大的表上的查询明显地懒惰。我们仍然从一个MySQL/ISAM实例中运行，没有任何花哨的优化攻击。大约150 on的文件系统。是否有任何显著不同/
浏览 6提问于2012-09-29得票数 0
回答已采纳
1回答
我有一个csv文件的10+gb，我使用了pandas.read_csv()中可用的"chunksize“参数来读取和预处理数据，用于训练模型想要使用的在线学习方法之一。通常交叉验证和超参数整定是对整个训练数据集进行的，并使用最好的超参数来训练模型，但是在海量数据的情况下，如果我在训练数据块上做同样的操作，如何选择超参数
浏览 9提问于2017-09-26得票数 1
回答已采纳
我能够将我的Linux设备编译成一个复合小工具。(串行+海量存储)我如何在Windows中实现这个功能？做一个定制的驱动程序对这个任务真的很重要吗？如果是这样的话，这是如何以最少的“痛苦”方式完成的？
浏览 3提问于2014-06-12得票数 0
回答已采纳
我们的MySQL和Hadoop平台部署在不同的网络中，Hadoop不能访问MySQL，但是MySQL可以连接到Hadoop。那么，是否有一个工具可以像Sqoop获取数据那样将大量数据从RDS推送到HDFS？或者有没有其他方法可以解决这个问题？
任何帮助都是非常感谢的。顺便说一句，Hadoop集群在我们的网络中使用了一个Kafka主题，通过在两边部署水槽并连接在一起。但是对于海量的R
浏览 1提问于2019-02-20得票数 0
2回答
我设置了许多具有许多属性和一些内容的表。
http://localhost/phpmyadmin/schema_export.php?[myTable500.amp_vs_msaccess]
我已经尝试了不同的选择，如PDF，
浏览 2提问于2016-01-20得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
