PDF《硕士研究生学位论文》

the topic set contains

285 topics for topic distillation task and 1,185 topics for navigation task;

the relevance judgements for each topic are constructed. The methodology used in engineering CWT should be readily applicable to the construction of future Web corpora. 2. The high quality of our test collections is demonstrated through analyzing each component of CWT. 1) The document sets share similar distribution with the real Web in site size and out-degree of web pages. 2) Most of the topics for topic distillation task are built up by four Chinese characters and two vocabularies. This phenomenon is similar to the user query logs. The topic difficulty obeys uniform distribution. 3) The completeness of relevance judgements is about 80% and 66% for SEWM-2006 and SEWM-2007 respectively, and evaluation result based on these relevance judgements is reliable;

the second phase check is necessary. 3. We organized SEWM Chinese Web search evaluation, which adopted CWT as II test collections and provided a standard evaluation platform for IR researchers. The evaluation flow, main tasks, submissions, and initial analysis of search results are discussed. The related data is available at http://www.cwirf.org. We provided some utilities such as link extraction at the same time. Keywords: CWT, Information Retrieval, Evaluation, Test Collection, Document Set, Topics, Relevance Judgements III 目录

第一章 引言.1 - 1.1 研究背景.1 - 1.2 本文主要贡献.2 - 1.3 本文组织.4 -

第二章 相关研究.5 - 2.1 测试集.5 - 2.1.1 早期测试集.7 - 2.1.2 TREC 测试集

8 - 2.1.3 其它的测试集.11 - 2.2 评测项目.11 - 2.3 评测指标.12 -

第三章 CWT的构建.15 - 3.1 引言.15 - 3.2 文档集的构建.16 - 3.2.1 文档集构建的几点考虑.16 - 3.2.2 构建过程及结果.16 - 3.3 查询主题集的构建.18 - 3.3.1 构建流程.18 - 3.3.2 TD主题的构建

20 - 3.3.3 HPNP主题的构建

23 - 3.3.4 构建结果.25 - 3.4 相关文档集的构建.25 - 3.4.1 初步评测.27 - 3.4.2 检查.28 - 3.4.3 构建结果.28 -

第四章 CWT分析.30 - 4.1 文档集分析.30 - IV 4.1.1 网站规模分布.30 - 4.1.2 网页出度分布.31 - 4.1.3 相关文档数分布.32 - 4.2 查询主题集分析.33 - 4.2.1 TD主题长度

33 - 4.2.2 TD主题难易度

34 - 4.3 相关文档集分析.37 - 4.3.1 相关文档集完整性.38 - 4.3.2 相关文档集一致性.42 -

第五章 SEWM中文网页检索评测.47 - 5.1 引言.47 - 5.2 SEWM历届评测情况.47 - 5.3 SEWM评测流程.50 - 5.4 评测任务.50 - 5.4.1 TD任务

50 - 5.4.2 HPNP任务

51 - 5.5 检索结果提交.51 - 5.6 评测结果及分析.53 - 5.6.1 评测结果.53 - 5.6.2 有效的检索技术.54 -

第六章 总结与展望.56 - 6.1 总结.56 - 6.2 展望.57 - 参考文献.58 - 致谢.61 - V 图目录 图2-1 信息检索评测系统示意图.6 - 图2-2 TREC文档示例.9 - 图2-3 TREC-1 和TREC-2 的查询主题示例.10 - 图2-4 信息检索性能评测示意图.13 - 图3-1 搜狗网页分类目录.19 - 图3-2 TD主题示例.20 - 图3-3 搜狗网页分类目录浏览图.21 - 图3-4 CWT200g检索界面.22 - 图3-5 HPNP主题示例.23 - 图3-6 CWT200g浏览工具界面.24 - 图3-7 相关判断工具主界面.26 - 图4-1 网站规模分布.31 - 图4-2 网页出度分布.31 - 图4-3 TD主题字数.34 - 图4-4 TD主题词数.34 - 图4-5 TD主题难易度.35 - 图4-6 SEWM-2006 TD主题难易度

36 - 图4-7 SEWM-2006 主题相关文档数变化.39 - 图4-8 SEWM-2007 主题相关文档数变化.39 - 图4-9 新发现的相关文档数变化.41 - 图4-10 Kendall τ 相关性.42 - 图5-1 CWT100g编号文件格式.48 - 图5-2 CWT200g编号文件的格式.48 - 图5-3 TD任务提交结果格式示例.52 - 图5-4 HPNP任务提交结果格式示例.52 - VI 表目录 表2-1 早期测试集.8 - 表3-1 CWT文档集.18 - 表3-2 相关判断初步评测统计.27 - 表3-3 TD任务相关文档数统计.29 - 表3-4 常见问题及解决方法.29 - 表4-1 Pool与实际相关文档对照表