我们有两个大表，具有相同的结构，用于存储英汉平行语料库。这两个表都包含千万级的记录。在一个表内和这两个表之间存在大量重复数据(例如，相同的英文和中文内容)。我们希望通过消除数据冗余来合并这两个表，以获得一个干净的表。然而，面对大数据的挑战，我们发现这项任务并不容易。主要的问题是，当我们尝试在MySQL中合并这两个表时，会出现内存溢出。表的数据结构
id --- en
浏览 2提问于2015-10-12得票数 0
2回答
我的数据库包含数千万种产品，因此我需要一种高效的搜索技术来加快响应速度。最初，我尝试根据字母表或查询的一些初始字符创建多个表。然而，这种方法失败了很多次，例如，如果用户搜索"ipod touch“而不是"apple ipod touch”。我可以使用trie或其他数据结构来实现吗？谷歌是如何跟踪这么多数据的？
浏览 1提问于2012-07-28得票数 3
回答已采纳
2回答
出于效率原因，我强烈考虑创建一个“缓存表”，在那里我可能每天计算大部分工作，这样当用户想要进行搜索时，它会更快。
但是，这个缓存表可以很容易地有10到5000万行。这很糟糕吗？这值得吗？
浏览 0提问于2012-01-18得票数 4
1回答
动态表单生成器的数据库架构
、、、、
假设:动态表单生成器，用户可以创建结构未知的表单。
假设我有100万用户，
动态创建每个表单的表，并将数据直接存储在那里，每个字段具有相关的数据类
浏览 2提问于2015-02-14得票数 3
回答已采纳
2回答
trackhistory date between "2016-11-15 00:00:00" and "2016-12-16 13:47:02"
请帮我优化一下。执行死刑需要超过两分钟。
浏览 2提问于2017-02-07得票数 0
回答已采纳
我正在查看的表结构可能如下所示：前两列的组合将被编入索引。这个数据库每天可以轻松地插入、查询、更新和删除数百万(如果不是数千万)行。最好的数据库工具是什么？它是MySQL，还是有更高效的东西，可以使用更少的磁盘空间？
浏览 2提问于2011-09-24得票数 1
回答已采纳
1回答
我试图让用户的家长从1级到7级只。我已经厌倦了下面的递归函数，但它不能正常工作。下面是users表结构：如何实现如下截图所示的效果：请帮帮我。
浏览 0提问于2017-10-13得票数 0
我们有两千万甚至更多的用户数据要处理，有时一个表中有一百万个用户。Dynatable和ag-Grid插件能扩展到这么大的数据吗？
动态： ad-Grid：
浏览 4提问于2016-04-21得票数 0
)", (row.split('::')[0],row.split('::')[1],row.split('::')[2]))
我在.dat文件中有1000万条记录，我正在使用python将它们加载到表中
浏览 2提问于2015-09-13得票数 2
回答已采纳
我做了一个系统，通过它显示特定的排名给用户时，他们有一定的分数。当他们有1000点或更多的分数时，他们是第1级。3000点或更多，他们是2级8000点或更多，他们是4级Mysql表结构：mysql查询如下：if($row){
$rank =
浏览 7提问于2012-06-20得票数 0
回答已采纳
1回答
数据库选择:频繁查询二级连接
、、、、
我的网页应用程序需要经常查询二级连接。每个用户都有200个朋友，这些朋友每个都有200个朋友。我需要一些帮助来确定正确的数据库(和表结构)，使这个web应用程序快速响应。业务逻辑：用户搜索他们的第一级和第二级连接，以获得使用特定服务的其他用户的列表(存储在一列中为无符号int)。这是这个应用程序的唯一功能。表结构
用户表: User_ID (pk)，Facebook_ID (s
浏览 2提问于2016-07-08得票数 0
2回答
我在postgres中有一个简单的表结构，它有一个站点，而site_pages表是一个一对多的关系。这些表在site.id上连接到site_pages.site_id站点~700万行urlsite_pages ~6千万行site_idactive
浏览 3提问于2016-09-14得票数 1
我正在构建的平台的一部分需要一个大型数据表(从数以千万计的记录开始，在一两年内扩展到数亿，可能在某个时候达到数十亿)。数据表的结构是: int、int、float、datetime、datetime。此数据表将接受来自单个源(导入脚本)的多达一千万行的批处理数据。我完全控制导入脚本。各种应用程序将通过web以及可能是自定义TCP服务器来提取数据。我期望以每秒50,000次的速度请求单个行。起初，这听起来像是键值设计的一个很好的应用程序，但是许多请求将采用以下形式：
选择int=A和dat
浏览 0提问于2010-11-10得票数 1
2回答
在分组到子目录之前，是否存在用于在驱动器上保存图像的最佳目录数量。我的基本选择是：第二种情况是我的理想选择，但我担心子目录的数量会影响性能。罗杰
浏览 0提问于2011-11-10得票数 0
1回答
我有一个具有默认容量的表，即5个RCU和5个WCU。根据文档，这将导致Dynamo只创建一个分区。表结构：
我有一些带有一两个项目I的item_types，还有一些带有100000项I的。我们总共有大约一千万份记录。
浏览 0提问于2018-04-16得票数 7
回答已采纳
1回答
我们有一个聚集索引表，它是空的。表大约有20列，5千万行，大约(40 50 )。
对这样的空表应用Insert With (TABLOCK)是最佳实践吗？该表是一个数据仓库表，并在ETL小时内进行。没有并发用户，我们处于简单的恢复模式。只是好奇，如果是这样的话，我们可以更新我们的100+存储过程。
浏览 0提问于2019-02-20得票数 3
回答已采纳
如何在jsp页面中访问存储在Hbase中的数据内容，以便可以在web浏览器中显示。存储在Hbase中的数据可以是各种类型，如图像、文本数据等。
浏览 1提问于2015-02-04得票数 0
1回答
我需要一些帮助来优化2表的查询。一个包含大约一百万行，另一个包含大约一千万行。这是表格结构--
所以，请看一下，并建议我如何才能使它们更快地用于实际应用。
浏览 0提问于2010-06-27得票数 4
回答已采纳
3回答
假设我有一个结构，我想从内核空间中定义的用户级空间中读取，但是用户级空间有多个进程。在内核模块中，我有一个全局结构。struct { int a；int b；} test；外部结构{ int a；int b；} test；
编译器不会抱怨，链接编辑器也不会抱怨。但是，如果用户有多个进程，那么是否为每个进程克隆了该结构？如果我使用共享
浏览 1提问于2010-02-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
