PDF《语篇分析与指代消解》

语篇分析与指代消解 Discourse Analysis Coreference Resolution 王厚峰 wanghf@pku.

edu.cn 北京大学信息科学技术学院 计算语言学教育部重点实验室 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

2 Content ?引入 ? 衔接与连贯 ? 中心理论与指代消解 ? 指代消解的其他方法 ? 指代消解的应用 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

3 程序设计语言 vs. 自然语言 程序设计语言 C 无穷性 ? 无穷的词汇(变量) ? 无穷的程序 C 有穷性 ? 符号有穷 C 有穷映射为无穷 ? 遵循表达规律 自然语言 C 无穷性 ? 无穷 的词汇 ? 无穷的文章(书面语) C 有穷性 ? 文字有穷 C 有穷映射为无穷 ? 遵循表达规律 相同点 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

4 程序设计语言 vs. 自然语言 不同点 ? 程序设计语言 C 规则的有限性 C 语义的精确性 ? X=y+++z (C语言) C 极少数人工制定的 规则 C 规则的约束力强 ? 超越规则 不合法 ! C … ? 自然语言 C 是否存在有限的规则 C 语义的模糊性? ? 该来的没有来 C 众多人在扩展规则;

C 已有的规则随时被突破 (如, 被就业 ,) C … 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

5 程序设计语言的分析 ? 一般流程: 词法分析 语法分析 语义分析 代码优化与生成 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

6 自然语言处理的流程 Phonetic/Phonological Analysis Morphological analysis OCR/Tokenization Parsing Semantic Interpretation Discourse Processing speech text 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

7 语言的形式构成与分析 ? 自然语言处理:需要对每一层做形式分析和意义分析 字序列 词序列 短语/句子 句群/语篇 汉语的各级构成 形式分析 与 意义分析 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

8 不同层次的处理 ? Morphology C 词的构成问题 ? Syntax(Parsing) C 词与词之间的结构关系 ? Semantics C 词的意义、词与词组合(短语/句子)意义 ? Discourse C 句子之间的关系,上下文的意义. 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

9 语篇(Discourse) ? 前后意义关联的句子序列. ? 几种说法: C 话语、语篇(篇章)、文本. (英文:discourse, text) ? 两个例子: C Ex1: 比尔来自于美国.今天交通非常拥挤.长江贯穿中 国的多个省市.因此,计算语言学是计算机科学与语言 学的交叉. ?

4 correct sentences but collectively do not make meaning C Ex2: 这里的交通非常拥挤.张先生早上6:40之前就得 出发去上班,常常会提前半小时到单位;

如果稍晚一 点,他就很可能迟到. ? it makes meaning 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

10 意义相关性的体现(1) ? 例子: C 张三擅长素描.他给家里的每个人都画了一幅[],挂在 房间的[]是自画像. ? 意义上是如何关联的? C 通过词汇语义表达关联: ? 围绕着 画 而展开:素描、画像、一幅[ ] ? 通过 指代 形成关联 ?人称代词 他 ;

?零型代词[ ]所表示的对象 C 以词汇表示的关联,通常称为 衔接(cohesion) 2010-4-15 wanghf@pku.edu.cn, Icler, PKU

11 意义相关性的体现(2) ? 例子: C [s1]张三把李四的车钥匙藏起来了.[s2]他喝醉了. C [s3]张三把李四的车钥匙藏起来了.[s4]他喜欢逗着乐. C [s5]张三把李四的车钥匙藏起来了.[s6]他爱看电影. ? 意义上是如何关联的? C 通过句子的意义表示关联 ? [s1]和[s2]构成合理的篇章:两个句子表示 因果关系 ? [s3]和[s4]也构成合理篇章:同样表示 因果关系 ? [s5]和[s6]构成合理篇章吗? C 通过句子意义表示的关联称为连贯(coherence) ? 如何解释[s5] 和[s6] ? 一种推断: 他希望李四请他看电影 (可能需要更大的上下文) 2010-4-15 wanghf@pku.edu.cn, Icler, PKU