在刚刚结束的Text REtrieval Conference 2006(TREC 2006)国际评测中,我们ITNLP实验室开发的InsunQA06系统参加了Question Answering (QA) Track中针对main task三类问题:factoid, list 和others所进行的测试。
根据会议揭晓的本次评测结果显示:在全球27家参评单位,59个参评系统中,我们的InsunQA06系统在factoid问题评测中排名第五(国内参评单位中排名第一),在list问题评测中排名第十(国内参评单位中排名第二),在others问题评测中由于方法失效未能进入前十名。另外,在Complex Interactive QA (ciQA) Task 此项新任务中排名11。
此次参评的InsunQA06系统是ITNLP实验室继2005年参加TREC 2005 QA 评测后第二次参加此项评测。本次TREC 评测问题集的内容和评测方法与以往有较大改变,我们实验室的TREC QA 小组成员在实验室老师和同学的支持和帮助下,顶住了压力,完成了赛前制定的目标。
通过评测不仅为测试系统性能,正确认识系统表现力提供有力依据,也为系统的进一步完善,确定今后研究方向起到了重要的指导作用。同时,也在国际舞台上展现和宣传了我们ITNLP 实验室。实验室英文QA系统能够再次取得了这样的成绩,充分显示了实验室在语言处理研究方面深厚的积累和强大的实力,增强了我们拓展研究领域的信心。
QA小组成员:李鹏、赵玉茗、张德园、王宝勋、贾文杰 、吕新波 、陆小凤、徐忆苏。