基于Self-training和Web的术语翻译系统

第３４卷　第２２期　

计算机工程　

２００８年１１月　

ｇｏ１．３４　

Ｎｏ．２２　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　

Ｎｏｖｅｍｂｅｒ　２００８　

・

开发研究与设计技术・　文章编号：１ｏ００—．３４２８（２０ｏ８）２２—｛Ｊ２８『ｌ—０３　文献标识码：Ａ　中图分类号：ＴＰ３１２　

基于Ｓｅｌｆ－ｔｒａｉｎｉｎｇ和Ｗｅｂ的术语翻译系统　

李志圣，孙越恒，何丕廉　

ｆ天津大学计算机科学与技术学院，天津３０００７２）　

摘要：现有基于模式的术语翻译系统存在２个主要缺点，即学习过程依赖人工标定语料和缺乏对模式的评分以及对候选术语的评分太简　

单。该文将ｓｅｌｆ－ｔｒａｉｎｉｎｇ学习机制引入术语翻译系统，在一对训练语料上完成初始学习，在实际运行中自动选择可靠程度较高的术语重新　

训练，以改进系统性能。该系统中增加了对模式的评分，利用启发规则，扩充了候选术语的评分方法。实验结果表明，改进后系统的性能　

高于原有系统。　

关键词：术语翻译；ｓｅｌｆ－ｔｒａｉｎｉｎｇ机制；机器学习　

Ｔｅｒｍｉｎｏｌｏｇｙ　Ｔｒａｎｓｌａｔｉｏｎ　Ｓｙｓｔｅｍ　Ｂａｓｅｄ　ｏｎ　Ｓｅｌｆ－ｔｒａｉｎｉｎｇ　ａｎｄ　Ｗｅｂ　

ＬＩ　Ｚｈｉ・ｓｈｅｎｇ，ＳＵＮ　Ｙｕｅ・ｈｅｎｇ，ＨＥ　Ｐｉ－ｌｉａｎ　

（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ　Ｕｎｉｖｅｒｓｉｔｙ．Ｔｉａｎｊｉｎ　３０００７２）　

［Ａｂｓｔｒａｃｔｌ　Ｔｈｅｒｅ　ａｒｅ　ｔｗｏ　ｍａｉｎ　ｄｅｆｉｃｉｅｎｃｉｅｓ　ｉｎ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｍｅｔｈｏｄｓ　ｂａｓｅｄ　ｏｎ　ｐａｔｔｅｒｎ：ｔｈｅ　ａｍｏｕｎｔ　ａｎｄ　ｒｅｌｉａｂｉｌｉｔｙ　ｏｆ　ｐａｔｔｅｒｎｓ　ａｒｅ　ｒｅｓｔｒｉｃｔｅｄ　ｂｙ　ｔｈｅ　

ｔｒａｉｎｉｎｇ　ｓｅｔ．ａｎｄ　ｔｈｅ　ｍｅｔｈｏｄｓ　ｆｏｒ　ＳＣＯＩ　ｉｎｇ　ｐａｔｔｅｒｎｓ　ａｎｄ　ｃａｎｄｉｄａｔｅ　ｔｅｒｍｉｎｏｌｏｇｉｅｓ　ａｒｅ　ｔｏｏ　ｓｉｍｐｌｉｆｉｅｄ　Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ｓｅｌｆ－ｔｒａｉｎｉｎｇ　ｓｔｕｄｙ　

ｎｒｅｃｈａｎｉｓｍ　ｉｎｔｏ　ｔｅｒｍｉｎｏｌｏｇｙ　ｔｒａｎｓｌａｔｉｏｎ　ｓｙｓｔｅｍ　Ｔｈｉｓ　ｓｙｓｔｅｍ　ａｃｃｏｍｐｌｉｓｈｅｓ　ｉｎｉｔｉａｌ　ｓｔｕｄｙ　ｉｎ　ａ　ｐａｉｒ　ｏｆ　ｔｅｒｍｉｎｏｌｏｇｉｅｓ　ｓｔｕｆｆ，ａｎｄ　ｓｅｌｅｃｔｓ　ａ　ｍｏｒｅ　ｒｅｌｉａｂｌｅ　

ｃａｎｄｉｄａｔｅ　ａｕｔｏｍａｔｉｃａｌｌｙ　ｗｈｉｃｈ　ｉｓ　ｒｅｔｒａｉｎｅｄ　ｉｎ　ｐｒａｃｔｉｃａｌ　ｒｕｎｎｉｎｇ．Ｉｔ　ａｄｄｓ　ｔｈｅ　ｍｏｄｅｌ　ｓｃｏｒｉｎｇ　ｉｎｔｏ　ｔｈｉｓ　ｓｙｓｔｅｍ，ａｎｄ　ｉｍｐｒｏｖｅｓ　ｔｈｅ　ｍｅｔｈｏｄ　ｏｆ　ｓｃｏｒｉｎｇ　ｔｈｅ　

ｃａｎｄｉｄａｔｅ　ｌｅｔ’ｍｍｏｌｏｇｉｅｓ　ｂｙ　ａｐｐｌｙｉｎｇ　ｈｅｕｒｉｓｔｉｃ　ｒｕｌｅｓ　Ｅｘｐｍ’ｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｉｎｄｉｃａｔｅ　ｔｈａｔ　ｔｈｅ　ｉｍｐｒｏｓ　ｅｄ　ｓｙｓｔｅｍ　ｈａｓ　ｈｉｇｈｅｒ　ｐｅｒｔｂｒｍａｎｃｅ　ｔｈａｎ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　

ｓｙｓｔｅｍｓ．　

［Ｋｅｙ￣ｖｎｒｄｓ］ｔｅｒｍｉｎｏｌｏｇｙ　ｔｒａｎｓｌａｔｉｏｎ：ｓｅｌｆ　ｔｒａｉｎｉｎｇ　ｍｅｃｈａｎｉｓｍ；ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　

互联网网页数量正快速增加，其中包含了丰富的双语混　

（１）学习过程。通过向搜索引擎提交标注的翻译对，在返　

合文本，例如“机器学习ｆｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ）研究计算机怎样　

回的摘要页面中获取模式串。　

模拟或实现人类的学习行为，重新组织已有的知识结构，使　

（２）实际运行。为用户提出的源语言术语加上模式串，提　

之不断改善自身的性能。”。对于上述文本，用户即使不懂英　交到搜索引擎，获取与模式串紧邻且连续的目标语言词串作　

文也能猜测“ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ”的中文翻译是“机器学习”。　为候选术语，并以频度作为候选术语的评分。　

网页上还存在很多类似的双语文本，例如“…机器学习　

上述方法存在以下问题：　

ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ…”、“…机器学习一ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ…”等，　（１）忽略了对模式的评分，对候选词的评分方法太简单。　

如果获取的此类文本形式越多、数量越大，则翻译的可信度　（２）学习结果依赖人工提供的训练语料集。　

越高。　

对于问题（１），笔者通过观察混合双语网页发现：　

ｌ相关工作　

（１）不同模式的可信度不同。例如，网页中经常出现模式　

机器翻译的研究工作始于２０世纪５０年代，最初的工作　

“Ｅ（Ｆ”，其中，Ｅ是源语言术语；Ｆ是目标语言术语。它们　

重点是对句子的翻译…。近年来，随着双语文本来源的增多，　

是正确互译的可能性很大。而如果网页中出现“Ｅ　Ｆ”模式，　

基于双语文本的翻译工作成为热点。　

很少人会认为Ｆ是Ｅ的翻译。因此，必须对模式串进行评分。　

文献【２　Ｊ提出一个新方法来翻译基本名词短语。例如，翻　

（２）候选术语的应得评分不应该只依赖其频度，还要依赖　

译“ｉｎｆｏｒｍａｔｉｏｎ　ａｇｅ”时，先通过词典确定其中文意思是“信　

与之同现的模式串的评分。　

息”，“ａｇｅ”的中文意思有“时代”和“年代”，然后提交“信　

问题（２）涉及机器学习中的一个重要课题：由于人工标定　

息时代”和“信息年代”到搜索引擎，将返回的相关文档数　

语料的代价太大，许多研究者开始寻找从少量人工标定语料　

量作为评判依据。在该例中，“信息时代”将返回较多网页数　

出发，利用未标定语料来改进系统性能的半监督学习方法。　

量，因此，它是合理的翻译。该方法的缺点是必须依靠定义　

ｓｅｌｆ—ｔｒａｉｎｉｎｇ方法是新近出现的半监督学习方法，其核心思想　

良好的词典资源，且当词条意义较多时，存在组合爆炸问题。　

如下：利用少量人工标定数据，估计系统初始的参数，如果　

文献　Ｊ提出在日文、英文双语网页文本中，可以将与日　

系统在运行中发现与人工标定数据相似度较高的未标定数　

文相邻的英文词串作为候选英文翻译，并统计其频度，作为　

据，会将其作为自动标定数据，加入到训练集中，重新训练，　

这些候选可信度的评分。　

从而改进系统性能　』。　

文献ｆ４】注意到如果位于源语言术语和目标语言术语之　

作者简介：李志圣（１９７７一），男，博士研究生，主研方向：信息检索；　

间的字符串不同，则翻译的可靠性不同。它把不同字符串定　

孙越恒，博士；何丕廉，教授、博上生导师　

义为模式串，提出ＴｅｒｍＭｉｎｅ系统，其核心方法如卜：　

收稿日期：２００８—０４一ｌ１　Ｅ－ｍａｉｌ：ｌｚｓｊｅｆ＠ｔｏｍ．ｃｏｒｎ　

利用ｓｅｌｆ—ｔｒａｉｎｉｎｇ方法进行半监督学习的技术已被应用　

到很多领域。文献【６】利用ｓｅｌｆ　ｔｒａｉｎｉｎｇ方法学习实体之间的　

语义关系，文献【７］将ｓｅｌｆ　ｔｒａｉｎｉｎｇ用于学习主语的常用模式，　

文献【８】利用互联网获取语料，学习词语的搭配。以上文献的　

实验都表明，ｓｅｌｆ－ｔｒａｉｎｉｎｇ方法能利用未标注语料，有效改进　

系统性能。　

２．２侯选术语的查找和评分　

当用户输入目标术语Ｅ后，系统将按如下方法查找候选　

术语，并进行评分：　

（１）提交术语Ｅ到百度，获取摘要；　

（２）在摘要中，找到目标语言串Ｆ，它匹配“ＥｓＦ”或“ＦｓＥ”，　

其中，Ｓ是习得的模式串；　

（３）存储所有不同的Ｆ；　

（４）对Ｆ进行评分。　

文献【４】的工作中仅用候选词频作为评分标准。由于网页　

的噪音较大，应发掘尽可能多的特征，以提高评分的准确率。　

本文采用ｓｅｌｆ　ｔｒａｉｎｉｎｇ机制，实现了一个新的术语翻译系　

统ＴｅｒｍＳｅａｒｃｈｅｒ。其基本思想如下：先通过一对标注的术语　

对，进行初始学习，然后在实际运行中，通过互联网为用户　

提出的术语查询请求寻找候选术语，如果一个候选被判定为　

足够可靠，那么它可以作为训练语料，重新训练。基于上述　

思想可以获得更多模式，并改进现有评分。ＴｅｒｍＳｅａｒｃｈｅｒ系　

统的运行流程见图１，其中，（１）表示初始训练，获得模式集；　

（２）表示获取候选术语及其评分；（３）表示重训练和重新评分。　

图１　ＴｅｒｍＳｅａｒｃｈｅｒ系统的运行流程　

２术语翻译系统　

２．１模式获取和评分　

假定文本形如“…ＥｓＦ…”，其中，Ｅ是源语言术语；Ｆ　

是目标语言术语；Ｓ是Ｅ和Ｆ之间的字符串。则“ＥｓＦ”被称　

为一个模式，Ｓ被称为模式串。例如，假定Ｅ是“计算机”，　

Ｆ是“ｃｏｍｐｕｔｅｒ”，那么在文本“计算机（ｃｏｍｐｕｔｅｒ）的发展历史”　

中存在模式“Ｅ（Ｆ”，模式串为“（”。　

以术语Ｅ及其翻译Ｆ作为输入，获取模式串和评分的方　

法如下：　

（１）提交“Ｅ　Ｆ”到搜索引擎（本文以百度作为搜索引擎）；　

（２）在返回的摘要中，找出查找近邻的Ｅ和Ｆ，抽出位于　

２个词汇间、长度小于ｄ的字符串（ｄ被经验地设置为１０）；　

（３）存储上述模式串，如果该模式串已经存在，则评分加　

１，如果未存在，则评分设置为１。　

上述评分方法基于一个观察结果，即发生频度越大的模　

式串越可靠。因此，频度适合作为模式串的评分。　

在实际运行中，选用相关网页数量较多的一个翻译对：　

“计算机ｃｏｍｐｕｔｅｒ”，提交到百度。表１列出了获取的模式　

串，可以看到，模式串“”的评分明显高于比“　”的评分，　

这证明“∑Ｆ”　帚可信的樟　

表１　以。计算机ｃｏｍｐｕｔｅｒ　为ｊｌ呵练语料获取的部分模式串及评分　

模式串　评分　

“翻译为”　

“１＞’’　

通过观察，笔者找到４条启发规则。　

规则１高频度的候选应比低频度的候选更可靠。　

例如，当提交“中央处理器”到百度，在前５Ｏ页摘要中，　

使用表１列出的部分模式，能查到表２列出的候选术语。由　

表２第２行可见，“ＣＰＵ”有最高的出现频度，是正确的候选。　

表２　。中央处理器　的候选术语　

规则２正确候选在候选集中通常与较多其他候选相似。　

为了简化计算，按如下方法定义候选词条的相似性：如　

果词条Ｅ是词条Ｆ的子串，那么称Ｅ和Ｆ互为相似词条。例　

如，在表２中，与“ＣＰＵ”相似的候选有：“Ｉｎｔｅｌ　ＣＰＵ”和“ＣＰＵ　

ＰＩＩＩ”等。　

规则３出现在更多模式中的候选应该比出现在一个模　

式中的候选更可靠。　

这是因为正确的翻译应该出现在多个网页中。由于不同　

网页由不同作者写出，因此它们具有多种模式。而不正确的　

候选通常来源于特定网页，它们应具有相同模式。在表２的　

第３行中，“ＣＰＵ”出现在５个模式中，而错误候选，如“ＡＭＤ”　

“ＰＣ”“Ｕｎｉｔ”仅出现在１个模式中。　

规则４出现在具有较高评分的模式中的候选，应该比出　

现在较低评分模式中的候选更可靠。　

文献［ｇｉｎ用模式抽取基本名词词组时，采用的评分函数　

是与候选同现的所有模式评分的总和。与此类似，本文采用　

式（１）计算频度和模式对候选术语的影响度。　

Ｎ　

ｓｃｏｒｅ（Ｆ）＝∑（ｓｃｏｒｅ（ｐＯ）　（１）　

ｉ　

其中，Ｆ为某候选术语，若　为Ｆ在第ｉ次出现时的文本，　

则Ｐ　指代Ｆ在　中的模式串；Ｎ为Ｆ出现的总次数。　

规则２指出，相似候选术语的评分对目标候选的评分有　

增益作用，因此，扩充式（１）为式（２）。　

Ⅳ　

ｓｃｏｒｅ（Ｆ）＝∑（ｓｃｏｒｅ（ｐｉ））　ｘｓｃｏｒｅ（Ｆ—ｓｉｍｉｌａｒ）　（２）　

其中，　为相似候选对目标候选的增益系数，它应介于０～１　

之间，本文设为０．５。　

２．３　ｓｅｌｆ－ｔｒａｉｎｉｎｇ机制　

ｓｅｌｆ－ｔｒａｉｎｉｎｇ机制描述如下：　

（１）当用户提交某个源语言术语进行查询时，在获得的候　

选术语集中，如果评分最高的候选术语，其分值比评分次高　

２８１—　

的候选术语超出ｍ倍（　被经验地设置为３），那么该候选术　

语被认为是可靠术语。　

（２）用该候选术语和源语言术语作为训练对，根据２．１节　

的方法，重新训练，获取更多模式，更新模式评分，直到整　

个模式集的数量不再增加。　

在３．２节的测试结果中，被选择为可靠术语的正确率为　

９４．１％。实验表明，上述选择方法是近似正确的。　

笔者在实验中发现，被选择的术语出错的原因是包含源　

语言术语的网页很少，导致同时包含源术语和正确翻译的网　

页极稀疏。由于错误候选术语出现的网页数量也很少，因此　

使用错误候选对模式集进行更新时，其实际影响很小。　

３实验结果　

３．１测试集　

术语有２个特性：（１）很大一部分术语不出现在普通词典　

里；（２ｊ很多新术语频繁地在网络上出现。在文献【４ｊ的工作中，　

测试集从大英百科全书中选取，该测试集的弱点是不能反映　

术语的第（２）个特性。本文从２个方面获取测试集：（１）按文献　

【４１的方法，从大英百科全书中随机抽取１００对术语；（２）从　

５个不同领域的网站，分别抽取２０对术语。　

３．２初始ｉｌｌＩ练和ｓｅｌｆ－ｔｒａｉｎｉｎｇ　

本文使用一对术语“计算机ｃｏｍｐｕｔｅｒ“进行初始训练，　

得到了４８个模式作为初始模式集。部分模式和评分列于表１　

中。在ｓｅｌｆ－ｔｒａｉｎｉｎｇ阶段，有１７个候选术语被自动选择进行　

重训练。其中，１６个是正确的，准确率是９４．１％。经过重训　

练之后，得到５５个模式，评分被重新计算，如表３所示，与　

表１对比可见，评分虽然改变了，但模式串评分的名次未变。　

噪音模式串在重训练过程中，继续维持低评分基本不变。　

表３重ｔ啊练后的部分模式串及评分　

模式串　评分　

“翻译为”　

“ｌ＞　

３．３准确率　

由表４可以看到，测试集中的多数术语不能在“Ａｍｅｒｉｃａｎ　

Ｈｅｒｉｔａｇｅ　Ｄｉｃｔｉｏｎａｒｙ”中找到，原因是术语通常较新且较专业。　

因此，普通词典不适合作为查询术语的工具。大英百科全书　

包含了网络数据测试集中的６５％，另外３５％是近年来新出现　

的词汇，未被记载于大英百科全书。　

表４不同方法的准确事比较　（％）　

测试集　网络术语测试集大英百科全书测试集　总测试集　

２８２一　

表ＴｅｒｍＳｅａｒｃｈｅｒ在网络术语集上的性能高于在大英百科　

全书测试集上的性能，这是因为包含网络术语的网页通常较　

多且较规范。　

在整个测试集上，Ｇｏｏｇｌｅ在线翻译（ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｒｎ／　

ｌａｎｇｕａｇｅ

ｔｏｏｌｓ）的准确率是６８％，大英百科全书的准确率是　

８２．５％，ＴｅｒｍＳｅａｒｃｈｅｒ的翻准确率是８８．５％。　

在大英百科全书测试集上，文献【４１的准确率是８６％，　

ＴｅｒｍＳｅａｒｃｈｅｒ的准确率是８７％。　

表５记录了在测试集上，ＴｅｒｍＳｅａｒｃｈｅｒ的准确率与返回　

的网页数量的关系，可以看出，返回的网页数量越大准确率　

越高。　

表５　实验中阉页数量和准确率的关系　

４结束语　

本文提出一个基于ｓｅｌｆ—ｔｒａｉｎｉｎｇ机制的网络术语模式获　

取和评估的方法，开发了网络术语翻译系统ＴｅｒｍＳｅａｒｃｈｅｒ。　

与原有机制不同，本文首次将ｓｅｌｆ－ｔｒａｉｎｉｎｇ机制运用到术语翻　

译中，使系统对人工标定语料的依赖度降到最低，并利用启　

发规则，改进了候选术语的评分机制，对模式串进行评分。　

参考文献　

［１】Ｈｕｔｃｈｉｎｓ　Ｗ，Ｓｏｍｅｒｓ　Ｈ．Ａｎ　Ｉｎｔｒｏｄｕｃｔｉｏｎ　ｔｏ　Ｍａｃｈｉｎｅ　Ｔｒａｎｓｌａｔｉｏｎ［Ｍ］．　

Ｌｏｎｄｏｎ，Ｅｎｇｌｉｓｈ：Ａｃａｄｅｍｉｃ　Ｐｒｅｓｓ，１９９２．　

［２】Ｃａｏ　Ｙｕｎｂｏ，Ｌｉ　Ｈａｎｇ．Ｂａｓｅ　Ｎｏｕｎ　Ｐｈｒａｓｅ　Ｔｒａｎｓｌａｔｉｏｎ　Ｕｓｉｎｇ　Ｗｅｂ　Ｄａｔａ　

ａｎｄ　ｔｈｅ　ＥＭ　Ａｌｇｏｒｉｔｈｍ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　

ｏｎ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ．Ｐｈｉｌａｄｅｌｐｈｉａ，ＵＳＡ：［ｓ．ｎ．］，２００２．　

【３】Ｎａｇａｔａ　Ｍ，Ｓａｉｔｏ　Ｓｕｚｕｋｉ　Ｋ．Ｕｓｉｎｇ　ｔｈｅ　Ｗｅｂ　ａｓ　ａ　Ｂｉｌｉｎｇｕａｌ　

Ｄｉｃｔｉｏｎａｒｙ［Ｚ］．Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，Ｔｏｕｌｏｕｓｅ，　

２ｏ０１．　

［４］Ｗｕ　Ｊｉａｎｃｈｅｎｇ，Ｔｒａｃｙ　Ｌ，Ｊａｓｏｎ　Ｓ　Ｃ．Ｌｅａｒｎｉｎｇ　Ｓｏｕｒｃｅ—ｔａｒｇｅｔ　Ｓｕｒｆａｃｅ　

Ｐａｔｔｅｒｎｓ　ｆｏｒ　Ｗｅｂ—ｂａｓｅｄ　Ｔｅｒｍｉｎｏｌｏｇｙ　Ｔｒａｎｓｌａｔｉｏｎ［Ｚ］．Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　

Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，２００５．　

【５］Ｚｈｕ　Ｘｉａｏｊｉｎ．Ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ　Ｌｅａｒｎｉｎｇ　Ｌｉｔｅｒａｔｕｒｅ　Ｓｕｒｖｅｙ［Ｄ］．　

Ｗｉｓｃｏｎｓｉｎ，ＵＳＡ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｗｉｓｃｏｎｓｉｎ，２００７．　

［６］Ａｇｉｃｈｔｅｉｎ　Ｅ，Ｇｒａｖａｎｏ　Ｌ．Ｓｎｏｗｂａｌｌ：Ｅｘｔｒａｃｔｉｎｇ　Ｒｅｌａｔｉｏｎｓ　ｆｒｏｍ　Ｌａｒｇｅ　

Ｐｌａｉｎ—ｔｅｘｔ　Ｃｏｌｌｅｃｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５ｔｈ　ＡＣＭ　Ｉｎ￣ｒｎｍｉｏｎａｌ　

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｄｉｇｉｔａｌ　Ｌｉｂｒａｒｉｅｓ．［Ｓ．１．］：ＡＣＭ　Ｐｒｅｓｓ，２０００．　

【７】Ｒｉｌｏｆｆ　Ｅ，Ｗｉｅｂｅ　Ｊ，Ｗｉｌｓｏｎ　Ｔ　Ｌｅａｒｎｉｎｇ　Ｓｕｂｊｅｃｔｉｖｅ　Ｎｏｕｎｓ　Ｕｓｉｎｇ　

Ｅｘｔｒａｃｉｔｏｎ　Ｐａｔｔｅｍ　Ｂｏｏｔｓｔｒａｐｐｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　７ｔｈ　

Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｌｅａｒｎｉｎｇ．　

Ｅｄｍｏｎｔｏｎ，Ｃａｎａｄａ：［ｓ．ｎ．］，２００３．　

［８］Ｒｉｌｏｆｔ　Ｅ，Ｊｏｎｅｓ　Ｒ．Ｌｅａｒｎｉｎｇ　Ｄｉｃｔｉｏｎａｒｉｅｓ　ｆｏｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｘｔｒａｃｔｉｏｎ　

ｂｙ　Ｍｕｌｔｉ—ｌｅｖｅｌ　Ｂｏｏｔｓｔｒａｐｐｉｎｇ［Ｚ］．Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　ｔｈｅ　Ａｄｖａｎｃｅｍｅｎｔ　

ｏｆＡｒｔｉｉｆｃｉａ１　Ｉｎｔｅｌｌｉｇｅｎｃｅ．１９９９．