ITNLP实验室参加了11月份举行的Automatic Content Extraction 2005 (ACE2005)国际评测并取得了令人满意的结果。评测结果如下:
ITNLP ACE2005 results
Task | Unweighted F | Value-based F | Value |
English EDR | 23.6 | 28.7 | 15.2 |
English EMD | 18.0 | 36.8 | 19.1 |
Chinese EDR | 38.3 | 61.5 | 43.8 |
Chinese EMD | 42.4 | 77.2 | 62.8 |
ACE是由美国国家标准技术研究院(NIST)组织的文本自动内容抽取评测,它从2000年开始举办,今年已经是第6届了。ACE的目标是开发支持文本自动处理的文本内容自动抽取技术,它专注于发展语义自动理解的技术。
ACE2005包含3种语言(中文,英文和阿拉伯文)5项主要的识别任务(实体,值,时间,关系和事件)和3项mention级别的任务(实体mention, 关系mention和事件mention)。ITNLP实验室参加了中英文的实体识别任务和实体mention识别任务。
在中文的两项任务中,尤其是在实体mention识别任务中,我们的系统处于所有参赛系统的中间水平,处于国内参赛系统的领先水平。
参加英文的实体识别国际评测是ITNLP的首次尝试,尽管成绩不尽如人意,但是验证了实验室现有技术的可行性。增强了我们进行英文语言处理技术研究的信心。
(孙承杰 2005年12月1日)