On this page
☰
数据格式
评测标准
评测集每个挂牌的名称真值由一个最优名称和大于等于0个可接受名称组成。
预测结果命中最优名称得1分；命中可接受名称得0.5分；其他情况为预测错误，不得分。最终得分为所有样本得分除以测试样本总数。
如下公式所示：
\[s_i = \begin{cases} 1, & \text{if } p_i = g_i \\ 0.5, & \text{elif } p_i \in C_i \\ 0, & \text{else} \end{cases}\] \[S = \frac{\sum_{i}^N s_i}{N}\]$p_i$ 表示第 $i$ 个测试数据的预测结果， $g_i$ 表示第 $i$ 个测试数据的最优名称， $C_i$ 表示第 $i$ 个测试数据的得分。 $N$ 表示测试数据的个数。 $S$ 表示最后得分。
最优名称和可接受名称的定义和实例如下表所示。
| 定义 | 举例（以图1中的图像为例） | |
|---|---|---|
| 最优名称(1分) | 对于 POI挂牌来说最完整且通顺，最能表示POI所有者的取名意图的名称。 | “李记石味先石锅菜”、“谢记原香牛肉馆青白江店” |
| 可接受名称（0.5分） | 名称主体存在，通顺且无错字。可以标示该POI，可基本反应POI所有者的起名意图，且可以被用户接受的名称。比如在名称主体存在的情况下，可以缺少一些经营范围、分店名、专用品牌名等。 | “石味先石锅菜”（缺少专有品牌）“李记石味先”（缺少经营范围）“谢记原香牛肉馆”（缺少分店名） |
| 错误名称（0分） | 无法标示该POI，无法反应POI所有者的起名意图的名称，常见场景有：不通顺、错/漏字、缺失名称主体、名称文字的顺序错误等 | “李记”（仅有专有品牌，不能标示该POI）“石锅菜”（仅有经营范围，不能反映起名意图）“石锅菜李记石味先”（文字顺序颠倒）“石味先火锅菜”（错字）“谢记青白江店” （仅有专有品牌，不能标示该POI） |