我了解到,一些流行的机器人,如RASA或LUIS,会有“置信度分数”来评估域外问题,但它们都没有提供如何计算这些分数的文档。此外,信息检索有一些计算相似度的方法,但我不知道它将使用哪些方法进行域外分类。谁能给我一些关于我可以写哪些论文、说明或代码的想法?
发布于 2019-06-18 19:48:26
我通常做的是创建一个intent out_of_scope
,并为这个intent添加超出范围的消息示例。如果邮件现在超出范围,则预测将不确定,或者该邮件被归类为out_of_scope
。使用Rasa,您还可以在测试集上运行evaluation,这将为您提供置信度水平的直方图。这有助于为置信度分数选择合适的阈值。关于置信度计算:对于Rasa,根据您使用的管道组件的不同,这会有所不同。
https://stackoverflow.com/questions/56553180
复制