问在查询文档子集时提高Solr性能

EN

酶

我有一个可能有数百万份文件的索引。我想对这些文件的一部分(大约25,000份文件)进行大约20'0000次搜索。这25,000个文档可以占用存储在Solr中的大约100 MB (由存储和索引文本字段组成)。

问题

随着索引文档数量的增加，查询的性能会下降很多。例如，在100,000个文档索引上运行20,000次搜索，达到25,000个文档，大约需要4分钟。在200000文档索引上运行相同的搜索大约需要20分钟。

那么，在搜索之前，有没有办法将这25,000个文档缓存在RAM中呢？

更新

一些真正有用的东西：

• 减少返回的行数(几乎在所有情况下，我都必须迭代返回的结果，而且在几乎所有的情况下，匹配结果都不超过100个，但我将行设置为一个非常大的值。减少行数提高了大约2倍的性能。这似乎违反了直觉。如果只有79次匹配，并且我将返回的行计数设置为100，则它的性能要好于79次匹配的情况，并将行数设置为1000。在第一种情况下，Solr已经返回已找到的项计数并快速执行。为什么要有性能差异？)
• 减少了多线程(我增加了用于查询的多线程，因为在开发框中有更多可用资源。在资源有限的生产箱上，它正在放慢速度。仅使用一两个线程就能使我的速度提高约2倍。)

一些没有真正帮助的事情：

• 将字段查询拆分为(我已经在所有可能的地方使用字段查询，但我将它们组合在一个fq中，用于每个查询fq=name:a AND type:b )。使用fq=name:a&fq=type:b将它们分开缓存(参见Apache文档)，可以提高性能。但在这件事上并没有太大的不同。
• 更改缓存设置--在本例中是-- filterCache似乎最具潜力。然而，增加它或改变它的设置并没有产生很大的影响。