如何提高列表(百万级数据)中字符串比较的速度？
要提高列表中字符串比较的速度，可以考虑以下几个方面的优化：
- 使用哈希算法：将字符串转换为哈希值进行比较，可以大大减少比较的时间复杂度。可以使用常见的哈希算法如MD5、SHA1等，也可以根据具体场景选择适合的哈希算法。
- 使用字典树（Trie）：将字符串构建成字典树，通过前缀匹配的方式进行比较，可以有效减少比较的次数。字典树适用于字符串集合中存在大量共同前缀的情况。
- 使用索引：对字符串列表建立索引，可以通过索引快速定位到目标字符串，减少比较的范围。可以使用常见的索引结构如B树、哈希索引等。
- 使用多线程或并行计算：将列表分割成多个子列表，使用多个线程或并行计算的方式同时进行字符串比较，可以提高比较速度。但需要注意线程安全和数据同步的问题。
- 使用优化的字符串比较算法：针对特定的字符串比较场景，可以选择更高效的字符串比较算法。例如，Boyer-Moore算法、Knuth-Morris-Pratt算法等。
- 使用编译优化：对于频繁进行字符串比较的代码，可以使用编译器的优化选项，如字符串池、字符串常量替换等，以提高比较的效率。
- 使用缓存：对于重复比较的字符串，可以将比较结果缓存起来，下次比较时直接使用缓存结果，避免重复计算。
- 使用更高效的数据结构：如果字符串列表的增删操作较少，可以考虑使用更高效的数据结构，如跳表、红黑树等，以提高字符串比较的效率。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云哈希计算服务：https://cloud.tencent.com/product/hmac
- 腾讯云数据库服务：https://cloud.tencent.com/product/cdb
- 腾讯云分布式数据库服务：https://cloud.tencent.com/product/dcdb
- 腾讯云云原生容器服务：https://cloud.tencent.com/product/tke
- 腾讯云云服务器：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储服务：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/bcs
相关·内容
我在PostgreSQL DB中有一个这样的表。
ID, Name, scores.
10, abc,{23,19,34}
11, def, {2333,233,24}
12, ghi, {321,34}
13,hio,{}
上面的数据模型中的分数是一个数组或数字列表。
现在我们要找出所有得分为19除以10的学生，我如何才能做到这一点？
我试过了，但不起作用。
SELECT * FROM students where 19 = ANY(scores)/10
像这样的东西是有效的。但我们需要一个更好的解决方案(可能使用倒排索引)，因为这些行有数百万行。
SELECT * FROM student
浏览 12提问于2017-07-21得票数 1
1回答
要排序的数组大约有一百万个字符串，其中每个字符串的长度最多可达一百万个字符。
我正在寻找GPU排序算法的任何实现。
我有一个大小约为1MB的数据块，我需要构造。现在，您可以看到在非常小的内存中拥有一百万个字符串是如何可能的。
浏览 0提问于2010-07-15得票数 7
回答已采纳
我有一堆平面文件，基本上存储了数百万个路径及其相应的信息(名称、atime、大小、所有者等)我想编译所有路径的完整列表，这些路径集中存储在这些文件中。对于重复路径，只需要保留最大的路径。
文本文件中大约有500个文件和大约一百万个路径。文件也是用gzipped压缩的。到目前为止，我已经能够在python中做到这一点，但解决方案并没有优化，因为对于每个文件，它基本上需要一个小时来加载并与当前列表进行比较。
我应该选择数据库解决方案吗？sqlite3？在python中有没有数据结构或者更好的算法来解决这个问题呢？谢谢你的帮助！
浏览 0提问于2014-01-11得票数 0
在Python中，我有一个要传递给Cython的字符串列表。以前，我通过将所有字符串转换为bytes，传递给Cython，然后将返回结果转换回str来实现这一点
# script.py
stringlist = ["one","two","three","one"]
output = func(stringlist)
#cyfunc.pyx
from libcpp.string import string
from libcpp.vector import vector
cdef cfunc(vector[string] str
浏览 94提问于2019-10-29得票数 1
2回答
警告:我是数据科学/数据工程师/ Hadoop领域的新手；我一直在寻找将大量数据(数百万行)导入我们设置的Hadoop集群的解决方案。
我在这里看到的第一个工作是通过使用一个利用sqlplus的shell文件。然后，可以将此任务安排为每晚自动执行。这种方法的问题是，它似乎走得太慢了。据我所知，UTL_FILE和Pro*C同样很慢。
这导致我发现了Sqoop，我们确实安装了Sqoop，但我不能理解的是为什么它比sqlplus快得多。使用SQLPlus，我只需选择table语句并将其假脱机到一个以文本分隔的文件中(比如csv)。这是一个过程。在Sqoop中，它是如何进行多个并行调用的？
对这个问题
浏览 0提问于2014-07-31得票数 0
我有个javascript问题假设我们有两个非常大的字符串(~百万或更多的字符)是相等的-它们具有相同的长度和相同的内容。假设我们有这两个函数，它们都执行相同的操作(比较字符串)：
function equals1(a, b) {
return a === b;
}
function equals2(a, b) {
if (a.length !== b.length) {
return false;
}
for (var i = 0; i < a.length; ++i) {
if (a[i] !== b[i]) {
浏览 1提问于2014-10-23得票数 3
回答已采纳
我想使用尽可能快的方法将字符串与列表中的字符串进行匹配。
我迭代通过一个列表，以匹配产品名称和设置该产品的价格。
我正在尝试匹配每40万个项目的名称在另一个列表中，我可以找到价格，该列表也包含40万个项目。
在字符串上执行"contains()“匹配400,000项400,000次需要很长时间才能完成。我也尝试了startsWith()，因为我不是按子字符串搜索，我使用字符串是因为在第二个列表中肯定有完全匹配。它只是需要一种更快的方法来在内部for循环中找到匹配，以获得价格？
ProductData t = null;
for (int i = 0; i < ParseCSV.p
浏览 5提问于2014-03-05得票数 0
1回答
我们使用带有MyIsam引擎的MySQL，在用户仍然可以访问数据库的情况下，我们每天需要更新大量的行(数百万行)。
我们有来自美国，英国，印度，中国不同时区的用户。当用户第一次注册时，从第三方源下载数据。所有用户共享同一组表，但他们的数据不重叠，即任何用户都不会访问与其他用户相同的行。
第三方系统修改数据，以便使我们的数据库保持最新，我们下载用户数据的新快照，每个night.The用户的数据在午夜相对于该用户时区进行更新。
由于所有用户共享相同的表，这意味着数据更新过程可以更新美国时区的用户的数据，而英国的用户正在积极地浏览他们的数据。这就是问题所在。我们有数以百万计的数据需要更新，但我们无法
浏览 0提问于2012-11-04得票数 0
3回答
检查数字是否在集合中的最快方法？
、、、、
在Javascript中检查数字是否在列表中的最快方法是什么？
我知道indexOf >=，但它对我来说似乎相当慢。
我每秒必须执行数百万次检查，并且列表相当短(最多10个条目)
浏览 2提问于2013-08-10得票数 3
我正在运行一个概念证明，让我们在ES中对更“规范化”的数据运行嵌套查询。
例如，使用嵌套
客户-> -名称
- email - events -> - created - type
现在，我遇到了这样一种情况:给定客户的事件列表可以移动到另一个客户。例如，客户A有50个事件客户B有5000个事件
现在，我想将所有事件从客户A移到客户B
在拥有数百万客户的规模上，在UI中的图形上运行查询是父/子更合适，还是应该由嵌套来处理？
在我的情况下，利弊是什么？
浏览 1提问于2013-02-18得票数 13
回答已采纳
我是RiakTS的新手，我正在尝试比较IoT领域的Druid和RiakTs。在选择product.Hence之前，我想检查一下RiakTS的写入效率，我从下面的演练开始。
使用的数据: Aahrus (具有430万行的数据)使用的客户端: Python Node:单个独立节点。
整个过程进展顺利。在一百万行的批次中插入430万行需要6分钟。
这是预期的性能，还是我们可以调整它？
浏览 0提问于2016-11-06得票数 1
2回答
我创建了一个将数百万个值插入到MySql数据库的程序。我读过关于批量插入的文章，它将优化我的程序并使其更快，但是当我尝试这样做时，它也以同样的方式工作。我没有将每个值插入到数据库中，而是在每次500个值的列表中，然后将它们插入一个大循环中，如下所示：
for(int i=0;i<500;i++)
{
insertData(list.get(i));
}
然后，我删除列表中的所有值，然后再次开始收集500个值。不是应该更好点吗？
我的插入代码是：
public void insertToNameTable(String id,String name) throws SQLExcept
浏览 2提问于2014-12-18得票数 1
回答已采纳
1回答
我有一个包含这个结构的100k+条目的尾部：
struct entry {
char *file_name;
FILE *file;
TAILQ_ENTRY(entry) tailq;
};
其目的是为应用程序存储数千个文件指针，创建数千个文件并将内容附加到这些文件。
在尾部每增加一次，我就有一个前导：
int c;
char temp[20];
struct entry *np;
TAILQ_FOREACH(np, &tailq_head[y], tailq) {
if(strcmp(np->file_name, temp) == 0){
c = 1
浏览 7提问于2012-02-17得票数 2
回答已采纳
假设我有一个数据，
a b
0 1 2
1 2 3
2 4 2
3 4 3
我想过滤数据，这样我就可以得到结果，
a b
0 1 2
3 4 3
也就是说，我希望将(1,2)和(4,3)组合起来，将这两列过滤在一起。
如果我试试这个，
df1 = df[df['a'].isin([1,4]) & df['b'].isin([2,3])]
因为(1,3)和(4,2)的组合也包含在上面的方法中，所以我获得了整个数据帧。但我只需要给定的组合。考虑到相应的元组组合，我有一个由两列组成的元组的庞大列表，我希望在此基础上过滤数
浏览 0提问于2018-12-27得票数 17
回答已采纳
我有一个包含数百万行1.4+的数据源，而且还在不断增长。
我们让用户添加过滤器来减少被调用的数据，但您一次仍然会看到43,000+/-到100,000 +/-行。
在任何人说之前，没有人可以查看那么多行，它们被导出到excel工作簿进行基于它们的计算。
我从返回的CSV文件加载GridView中的结果，如下所示：
Object result = URIService.data;
CSVReader csvReader = new CSVReader(result);
DataTable dataTable = csvReader.CreateDataTable(true, true);
If
浏览 0提问于2013-07-02得票数 2
回答已采纳
2回答
我必须在数据库中存储数百万个URL，并且能够通过URL快速找到行。
MySQL 的字符串索引不够快，因为它们只索引字符串的前4个字符(通常为www. )，然后MySQL遍历以www.开头的每一行，并将值与我搜索的URL进行比较。
MongoDB 不允许您自定义字符串和索引的字符数，因此我认为MongoDB不合适。
Google 有一个特殊的URL类型，这很好，但我不能使用GAE。
有什么建议吗？
浏览 19提问于2010-11-11得票数 3
回答已采纳
数以百万计的职位数据正在进入一个需要存储在数据库中的系统中。数据以管道分隔的格式以平面文件的形式出现，定期说是一天两次。最重要的是，在一百万项记录中，只有5%会有任何变化。其他记录与早期提要中的记录相同。建议一种快速将这些数据放入数据库的最佳策略。考虑到与以前的数据库版本相比，只有5%的传入数据会有任何变化。
我检查了一个与讨论过的这里类似的问题。但是它是关于大容量插入操作，可以通过先分块，然后对DB进行大容量插入来完成。
但是这里的想法是找出某些记录是否真的改变了，如果是，那么只插入或更新，否则只留下记录。这样可以节省很多时间。
有什么指示吗？
浏览 0提问于2017-02-21得票数 2
回答已采纳
1回答
根据属性从列表中删除项目
、、、、
我有一个奇怪的情况，代码行的执行时间超过5分钟，我不明白为什么： var cleansedTransactions = competitorTransactions.Where(i => !endedItemsLocal.Contains(i.ItemID)).ToList(); 进一步解释： competitorTransactions - is a list of transactions which in this case contains 921 record inside it;
endedItemsLocal - is an IEnumerable<string&
浏览 13提问于2019-04-22得票数 0
回答已采纳
我有一个在数字海洋上使用Redis的数据库，非常慢。我让Kubernetes在1百万个数据集上运行一些随机查询。这是我把ETHUSDT:1654903478350:851334981作为Crypto:TimeStamp:TradeId的密钥的一个例子。和一个数据示例："{"1654903478350":"{\"e\":\"trade\",\"E\":1654903478350,\"s\":\"ETHUSDT\",\"t\":851334981,\"p\"
浏览 5提问于2022-06-11得票数 0
如何通过在每行末尾附加'\n‘来将数百万个值的列表连接到单个字符串中-
输入数据在列表中：
list[0] = And the good south wind still blew behind,
list[1] = But no sweet bird did follow,
list[2] = Nor any day for food or play
list[3] = Came to the mariners' hollo!
下面的代码通过在末尾添加新的行字符将列表连接到一个字符串中-
String joinedStr = list.colle
浏览 0提问于2020-01-15得票数 0
1回答
我有以下任务。
我需要创建一个控制台应用程序，它接受一个参数，这是要生成的数据的数量。数据是人员地址和姓名。我创建了一个包含state, city, zip-code字段的表adress。我还创建了一个包含first和last name列的表。我使用HugSQL来处理PostgreSQL。所以我想动态地混合地址，名字和姓氏，并将结果打印到控制台中，生成的值的数量取决于传递给应用程序的参数。这是我的代码：
(ns project.core
(:require
[project.db.get :as get]))
(defn parse-int [s]
(Integer. (re
浏览 25提问于2017-10-11得票数 0
我正在构建一个API，以允许远程系统同步数据表中数百万行的(单向)。系统在每个端运行不同的数据库(我的接收系统是Server，但发送系统是SAP/Hana)，因此它们只能通过API进行通信。
仅使用API上的方法，如何确定两个系统之间数据行的差异，并确保它们始终是同步的？
我的一个想法是提供一个ID列表(主键)，然后是某种类型的"check“值或LastUpdatedDate，然后远程系统可以使用它来查找需要添加或更新哪些记录。然而，如果有1,000万rows+，有什么方法可以避免每次我想同步数据库时发送全部1000万个密钥吗？
有什么协议可以让我复制做类似事情的想法吗？例如，我知道I
浏览 0提问于2018-06-20得票数 1
回答已采纳
我正在将数以百万计的记录摄取到Elasticsearch中，同时也从Elasticsearch中提取记录。我实际上正在使用Elasticsearch客户端。我只在每个JVM上创建一个客户机。使用此客户端，将数据摄取到Elasticsearch中，也可以使用该客户端从Elasticsearch中提取数据。提取数据写入文件并进行一些分析，再次将数据写入文件并将数据输入到elasticsearch中。
这是在一个JVM上只创建一个Java客户机并使其保持活力的最佳方法吗？
或者在需要时创建客户端，并摄取/提取数据，然后关闭它。
或者创建客户池并重用它。(如连接池)
浏览 6提问于2016-07-14得票数 8
3回答
我有一个包含字符串的元组列表，例如：
[('this', 'is', 'a', 'foo', 'bar', 'sentences')
('is', 'a', 'foo', 'bar', 'sentences', 'and')
('a', 'foo', 'bar', 'sentences', 'and', 'i'
浏览 0提问于2013-12-23得票数 20
回答已采纳
我有一个元素列表，我需要为每个元素创建一个由位组成的签名。我将得到一个位向量列表。在此之后，我需要按词法对位向量列表进行排序。之后，我需要在排序向量列表中搜索一个位向量。
我发现，如果我将签名表示为字符串，排序将采用O(N)，而使用二进制搜索进行搜索将采用O(M logN)，其中M是字符串签名的长度。
但我发现，通常情况下，对于数字，排序需要O(n LogN)，而使用二进制搜索进行搜索将需要O( logN)。
我的问题是，如何在java中表示位向量，这样我就可以按字典顺序排序，并实现与处理数字相同的性能？
我最关心的是使用二进制搜索实现O(logN)搜索时间，因为有人在一篇论文中声称实现了这一
浏览 0提问于2013-06-25得票数 4
1回答
使用Java EE处理大量数据
、、、、
我们有一个支持Oracle、MySQL和SQL Server供应商的Java应用程序。我们使用视图模型来查看从数据库中获取的数据，也在DAO模型中使用分页，到目前为止运行良好，但现在我们正在处理数百万条记录，比如1000万条记录，这给我们带来了一个很大的问题，因为我们的应用程序性能问题变得非常糟糕。经过一些调查，我们发现查询中的order by在DB级别上造成了很大的速度减慢，但我们仍然必须使用它。
问题是:有没有什么技术可以处理这样大量的数据并具有良好的性能(响应时间和内存问题)？
浏览 0提问于2013-05-09得票数 0
我使用Cassandra 1.2.1，并使用COPY命令插入数百万行。每一行都是100字节长。问题是插入发生得相当慢，速度是每秒1500行。我们有3个节点群集，每个节点的磁盘空间为50 GB，每个节点的RAM为4 GB。Cassandra进程正在以1 GB的最大堆大小运行。我们将提交日志和数据文件存储在同一磁盘上。这种行为的原因可能是什么？任何帮助都将不胜感激。
浏览 0提问于2013-03-05得票数 1
1回答
我使用的是包含一百万条记录的Sqlite数据库。我有一个多列排序的要求。为此，我在数据库上创建了复合索引，这提高了orderby的性能，但当我们颠倒排序顺序而不是索引中指定的顺序时，性能仍然很差。例如，我创建了索引Create index StudentIDNAMEIndex ( SID DESC，名称DESC )；
当我按SID ASC、名称DESC或任何其他组合排序时，ORDER BY查询的性能会急剧下降。由于不可能为每个组合添加索引，有没有其他方法可以在没有索引的情况下改进排序或有效地使用索引？
浏览 1提问于2012-02-08得票数 1
1回答
我正在运营一个网站，我的收藏中有450万份文档。我需要为任何文档添加另一个字段，将有10个不同的字符串在所有这450万。字符串将类似于“Apache2.0using E”。
我需要找到所有的文档，例如，在这个字段“Apache2.0using E”中。那么，我应该按这个字符串进行搜索，还是应该为所有字符串创建另一个集合，然后在我的450万集合中按字段的I进行搜索？当然我会使用索引，但是按序列号搜索会比搜索字符串更快吗？
谢谢。
浏览 0提问于2012-03-13得票数 1
回答已采纳
我正在进行经济模拟。随着时间的推移，数百、数千甚至数百万(但不超过30.000.000)代理=对象必须对数据进行协议，数据总是具有相同的结构。它通常由许多布尔值、浮点数和整数组成，可能是数组/列表(在5到100个不同变量之间)。在仿真过程中，数据库没有读取权限。仿真结束后，数据将不再改变。对于每一个模拟，我将创建一个新的数据库。当前的编程语言是python，但是这种选择会对java中的未来项目产生影响。将来该项目也有可能在网络上运行。如果重要的话:对象通过0mq进行通信。我应该选择什么数据库类型和实现？
它需要开源的好的python和java APIs是不可缺少的
浏览 1提问于2011-12-11得票数 0
2回答
大于/小于如何在内部工作
如果我将5与100与5与2,147,483,647 (Integer.MAX_VALUE)进行比较，性能会受到多大影响
5 < 100 and 5 < Integer.MAX_VALUE
我之所以问这个问题，是因为在一些代码中，当数据不存在时，会返回rank= Integer.MAX_VALUE，即使rank大于100，我们也会丢弃数据，所以如果我返回101而不是Integer.MAX_VALUE，会不会有很大的改善。我得到了数百万条记录的文件，我必须为每条记录做这个比较。
浏览 1提问于2012-12-17得票数 1
回答已采纳
我在数据库的一个表中有5列，其中两列是唯一的(一个是整数，另一个是字符串)。
整数类似于
1,5,6,7,9,0和string类似于http://exmaple.com/Book-on-the-self-no-2。
现在应该使用哪一列来搜索行？它会对性能产生怎样的影响？数据库是sql还是mysql？
谢谢..
浏览 1提问于2011-07-21得票数 1
回答已采纳
4回答
我有一个大约1GB的.txt文件(包含超过百万行)，我有一个字符串列表，我试图从字符串列表中删除文件中的所有行，并创建新文件，但这需要很长时间。
using (StreamReader reader = new StreamReader(_inputFileName))
{
using (StreamWriter writer = new StreamWriter(_outputFileName))
{
string line;
while ((line = reader.ReadLine()) != null)
{
if (!_lstL
浏览 11提问于2016-04-20得票数 11
回答已采纳
我必须为贷款申请数据库设计数据仓库，并且在选择如何存储详细数据方面有问题。应用程序在OLTP数据库存储资本和当前余额每月处理一次，但为了报告经常需要知道当前余额在任何给定的日期计算的利息，费用等，所以应用程序生成这在飞行中。问题是-为每笔贷款存储每天的所有数据是一个好主意吗？这将在一个月内产生数百万条记录！这种情况的最佳实践是什么？还在计算部分数据吗？
浏览 1提问于2014-01-20得票数 0
1回答
我的表有三列。如果在select语句中选择NVARCHAR(MAX)列，则会发现性能较差。是否可以在NVARCHAR(MAX)列上创建索引？
CREATE TABLE TEST
(
id primary key,
product VARCHAR(50),
Title NVARCHAR(max)
)
INSERTING MILLIONS OF RECORDS....
SELECT product, Title
FROM TEST
这个表包含了上百万条记录。如何为该列创建索引？它真的提高了我的select语句的性能吗？或者还有其他方法来改善这一点呢？
浏览 0提问于2018-12-13得票数 4
回答已采纳
1回答
我正在尝试使用迭代器包中的迭代器在R中创建一个函数，以帮助迭代器遍历数据帧的每一行。
给出一个这样的表：
data<-data.frame(c(1,0,0,NA,NA,1,1,NA,0), ncol=3, byrow=TRUE)
>data
[,1] [,2] [,3]
[1,] 1 0 0
[2,] NA NA 1
[3,] 1 NA 0
我希望它遍历每一行，从左到右返回第一个非NA值，如果所有
浏览 1提问于2019-07-10得票数 0
我正在为我们的项目使用Postgresql数据库并做一些性能测试。我们需要插入数百万条带有索引列的记录。我们在表中有5列。我只在整数上创建了索引，然后性能很好，但是当我也在文本列上创建索引时，性能降低到了1/8倍。我的问题是，在文本列上使用索引插入数据时，如何提高性能？
浏览 1提问于2012-01-30得票数 1
1回答
我有一个类似于下面的存储过程
SELECT *
FROM Table1
WHERE Tag IN (ids)
这里的Tag是一个Integer列。
我尝试将逗号分隔值作为字符串传递到存储过程中，但它不起作用。然后我使用存储过程，如下所示
SELECT *
FROM Table1
WHERE FIND_IN_SET(Tag, ids)
这非常有效，唯一的问题是我的表非常大-数百万行，当运行一个直接的SQL语句时，使用FIND_IN_SET比使用IN花费的时间太长。
使用的最佳性能优化选项是什么？
是否有一个拆分函数可以将it转换为整数，并将其解析为IN子句？我认为这将是最好的选择。有什么建
浏览 2提问于2013-07-15得票数 2
回答已采纳
1回答
我需要实现某种类型的字符串/文本匹配。
我有两个需要匹配的视频游戏标题(名称)列表。
在其他数据中，使用EntityFramework6从DB获取列表。一条记录包含两个unicode字符串、分隔的标题前缀和标题的其余部分。
列表A示例：
prefix title
An | Amazing race
An | Amazing Race 2
| Super Racer
The | Death race: Revenge
| reveng of Björn the Dead racer: game with really long title
浏览 0提问于2014-09-16得票数 0
我正在使用下面的查询从SQL DB的表中检索记录。此报表汇总条目列表的值的总和。最终结果是一份报告，列出了大约700万条记录中的大约2500个客户端。
select customer_id, sum(value) as value
from `data`
where ((`date` >= '2020-05-11' and `date` <= '2020-06-9'))
group by `customer_id`
order by `value` desc, `customer_id` asc;
如果我选择整年作为日期范围，这个报告大约需要
浏览 0提问于2020-06-09得票数 0
3回答
我不确定这是否可能；但我在MySQL数据库中有数百万个“列表”，我想开发一个系统，在其中我获取其中一个列表；并将其与数据库中的所有其他列表进行比较，然后返回：
1.)与主列表非常相似的列表(某种百分比会更好)
2.)给定列表中的某个项目；它将返回包含在所有其他列表中的大多数项目的列表(即，根据流行的选项自动完成列表)。
我最初认为，如果我能创建某种“松散的散列”，可以用数学方法比较列表，那么这是可能的，但我还没有找到一个可扩展的解决方案(因为当正面处理时，这是指数级的)。
任何新的想法/解决方案都将非常受欢迎。谢谢!
浏览 0提问于2011-01-17得票数 2
好的，我有两个集合，Parent和Child。一个父集合可以有多个子文档。
现在，我希望能够根据ChildCollection文档自己的字段以及其父文档的字段对其进行排序。这个是可能的吗？是的，我可以把它放在一个大集合中，但它会有很多冗余。这将适用于数百万条记录，因此在服务器上执行的操作越多越好。
ParentCollection
_id : "parentid1"
field1 : "val1"
field2 : "val2"
fieldx.......
ChildCollection
_id : "childid1"
_pa
浏览 1提问于2011-09-22得票数 1
回答已采纳
1回答
在计算机体系结构讲座上，我学习了写缓冲区的功能，保存数据等待写入内存。我的教授刚刚告诉我，它能提高时间性能。
然而，我真的很好奇“它如何提高时间-性能”？您能更准确地解释写缓冲区是如何工作的吗？
浏览 3提问于2015-11-18得票数 7
回答已采纳
1回答
我有一个由一百万行组成的熊猫数据帧。此数据由客户的事务历史记录组成，因此，1个客户可能有多行。对于每个客户，我都有一个函数要运行，所以我需要使用使用groupby customer ID的apply lambda函数，但是我如何通过多线程来加速这个过程呢？我的机器有8个CPU核心，我希望使用所有这些核心，目前我只能使用1个核心。假设在这一百万行中，我总共有100k个不同的客户，我希望为每个CPU核心执行12.5k个客户，这将使处理速度提高8倍！
谢谢！！
浏览 5提问于2021-05-12得票数 0
1回答
我想对来自多个文件的数百万条记录进行模糊匹配。为此，我确定了两个算法：Jaro和Levenshtein编辑距离。
我不明白这两者有什么区别。看起来Levenshtein给出了两个字符串之间的编辑数，Jaro提供了一个在0.0到1.0之间的归一化分数。
我的问题：
这两种算法的根本区别是什么？
这两种算法的性能有什么不同？
浏览 7提问于2014-08-28得票数 104
回答已采纳
当将快速排序与其他类型进行比较时，我听到了这样的说法：“快速排序对于少量的数据很有效”。
这个评论的一个例子是：
合并排序可以很好地工作在任何类型的数据集上，而不管其大小(大小)。然而，快速排序不能很好地处理大型数据集。
具体来说，我正在研究mergesort与quicksort之间的关系，并多次听说过“快速排序更适合于少量数据，而合并更适合大量数据”。
我知道，与合并排序相比，快速排序具有更大数据量的优点(引用的局部性，不需要额外的空间等等)。
然而，我很难理解为什么较小数据量的快速排序会比合并更好/更好。
我的工作：
从我自己的一个快速程序(它远远没有优化运行每种类型的基本版本)来看，
浏览 1提问于2021-06-08得票数 0
回答已采纳
我有大量的短语(~几百万)，每个少于6或7个单词，大多数少于5个，我想看看它们是否相互“短语匹配”。这是一个搜索引擎营销术语-本质上，如果A包含在B中，则A短语匹配B。现在，它们存储在数据库(postgres)中，我正在对正则表达式执行连接(参见)。即使在尝试了所有基本的优化技巧(索引等)并尝试了提供的建议后，它的运行速度仍然慢得令人难以置信。
有没有更简单的方法来做这件事？我并不反对非DB解决方案。有没有理由认为正则表达式是过度杀伤力，并且比不同的解决方案耗时更长？
浏览 0提问于2010-06-20得票数 5
回答已采纳
5回答
我在MySQL数据库中有一个表：
CodeNo Block
a1 a
a2 a
b1 b
b2 b
c1 c
c2 c
我可以使用以下两种方法中的一种进行查询：
select codeno from mytab where block='b' and codeno like 'b%'
另一个选择
select codeno from mytab where codeno like 'b%'
当mytab中有数以百万计的记录时，哪一个在实际场景中更快？还有谁能
浏览 3提问于2013-10-01得票数 0
回答已采纳
1回答
由于我是大数据平台的新手，我想用我的数据做一些功能工程工作。数据库大小约为30-50 Gb。是否可以像pandas数据帧一样在数据帧中加载完整的数据(30-50 to )？ 这里使用的数据库是Oracle。我试图加载它，但出现内存不足错误。此外，我喜欢在Python中工作。
浏览 14提问于2019-01-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
