在刚刚结束的Text REtrieval Conference 2006(TREC 2006)国际评测中,ITNLP实验室开发的InsunSpamFilter06系统参加了Spam Filtering Task评测的所有任务:包括在线学习任务(On-line Filtering: Ideal user feedback and Delayed Feedback)与主动式学习任务(Active Learning)。
根据TREC 2006 Spam Track Overview报告显示,全球共有9家单位报名参加了Spam Filtering任务评测,分别是德国的洪堡柏林大学(Humboldt University)、美国的塔夫斯大学(Tufts uiversity)、加拿大的达尔豪斯大学(Dalhousie University)、斯洛文尼亚的约泽夫斯特凡学院(Jozef Stefan Institute)、日本的三菱电子研究室(Mitsubishi Electric Research Labs (CRM114))、新西兰的Tony Meyer、巴西的Fidelis Assis以及国内的北京邮电大学与哈尔滨工业大学。
本次评测采用公共评测结合私有评测的方式,在中英文评测集(共163,585封邮件)对参评系统进行评测。ITNLP研究室参评的InsunSpamFilter06系统在所有参评的32个系统中,On-line Filtering任务排名第17位(共有32个系统参评,系统的Ideal与Delay子任务的成绩分别为0.2112、0.8846,国内参评单位中排名第一);在Active Learning系统评测任务中,InsunSpamFilter06系统位列成绩最优的5个系统之一,成绩令人满意。
ITNLP实验室第一次参加此项评测,参评成员在实验室老师和同学的支持和帮助下,完成了赛前制定的目标:即通过评测对系统性能进行客观、准确评价,提高系统的鲁棒性与适应能力,同时,也在国际舞台上展现和宣传实验室在语言处理研究方面的研究实力。
在此,一并对在本次评测中提供大力帮助的机器翻译研究室(MT)的研究生刘树杰及ITNLP研究室的孙承杰博士生表示感谢。
评测组成员:王强、刘树杰、孙承杰