平均倒数排名是统计学中,依据排序的正确性,对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。[1]:
平均倒数排名和调和平均数有些相似。
例子
比如,想象一下我们有如下三个查询请求,让系统将他们翻译为英语的复数形式。对于每个例子,系统给出三个猜测,结果中第一个是我们认为最可能正确的:
查询
|
结果
|
正确结果
|
排名
|
倒数排名
|
---|
cat
|
catten, cati, cats
|
cats
|
3
|
1/3
|
torus
|
torii, tori, toruses
|
tori
|
2
|
1/2
|
virus
|
viruses, virii, viri
|
viruses
|
1
|
1
|
通过这三个例子,我们得到平均倒数排名为 约为0.61。
此外:
- 如果所有结果都不正确,结果为 0
- 如果存在多个正确答案,考虑使用平均准确度(MAP)
请参考信息检索以及问答系统[2]
参考文献
- ^ E.M. Voorhees. Proceedings of the 8th Text Retrieval Conference. TREC-8 Question Answering Track Report: 77–82. 1999.
- ^ D. R. Radev, H. Qi, H. Wu, W. Fan. Evaluating web-based question answering systems. Proceedings of LREC. 2002.