我有来自Logstash的数据,这些数据正在以一种过于急切的方式进行分析。从本质上讲,字段"OS X 10.8"将被分解为"OS"、"X"和"10.8"。我知道我可以只更改现有数据的映射和重新索引,但我如何更改默认分析器(在ElasticSearch或LogStash中)以避免在未来的数据中出现此问题?
具体解决方案:在第一次将数据发送到新集群之前,我为该类型创建了一个映射。
来自IRC的解决方案:创建
我有一个web应用程序,它的一个功能是不断地将行附加到一个大表中。这些行大致如下所示:
id bigint not null primary key
visited datetime not null
ip_address
# Other fields
这是一个追踪表,你可能已经猜到了。这个表的使用完全是附加的,也就是说,在插入行之后没有修改行。
但是,我们的数据量已经显著增加,因此有必要将统计数据单独处理到其他表中,而不是立即查询和计算数据。基本上,我已经编写了一个独立的程序,大致可以做到这一点(伪代码)。
while (true) {
Select rows from tracki
我正在尝试找出对我来说最好的方法是找出我的应用程序的哪些部分运行时间最长(最大的运行成本)。这个应用程序并不太复杂,但我想确保所有的部分都得到了适当的调优,这样我就有可能处理更大的负载。
应用程序:加载/分解xml文档,并将内容转储到DB中。应用程序使用Linq to XML解析xml,并使用SQL Server TVP将数据向下传递到数据库。因为我使用的是TVP,所以即使有数据集合,数据也不是很大(XML文件最多1MB),所以我也要往返于数据库。
任何关于如何隔离瓶颈的建议都将不胜感激。
一如既往地非常感谢您的反馈。