汉语词法分析系统ICTCLAS在Nutch-0.9中的应用与实现

第２０卷第５期　

２００８年１０月　

军械工程学院学报　

Ｖｏｌ＿２０　Ｎｏ．５　

Ｊｏｕｒｎａｌ　ｏｆ　Ｏｒｄｎａｎｃｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｃｏｌｌｅｇｅ　

０ｃｔ．．２００８　

文章编号：１００８—２９５６（２００８）０５—００６３—０４　

汉语词法分析系统ＩＣＴＣＬＡＳ在Ｎｕｔｃｈ一０．９　

中的应用与实现　

蔡小艳　，寇应展　，沈巍　，郑伟　

（１．军械工程学院计算机工程系，河北石家庄

２．北京航空航天大学电子信息工程学院，北京

０５０００３；　

１０００８３）　

摘要：分析了Ｎｕｔｃｈ的语言分析器结构，针对Ｎｕｔｃｈ对中文进行单字切分的不足，结合基于多层隐马模型的汉语　

词法分析系统ＩＣＴＣＬＡＳ，以ＪａｖａＣＣ脚本设计了可扩展的词法分析器，实现了Ｎｕｔｃｈ对中文的词语切分。实验表　

明，利用ＪａｖａＣＣ和ＩＣＴＣＬＡＳ分词系统实现的中文分词完善了Ｎｕｔｃｈ的中文搜索功能。　

关键词：Ｎｕｔｃｈ；Ｌｕｃｅｎｅ；ＩＣＴＣＬＡＳ；中文分词　

中图分类号：ＴＰ３９３．０９　文献标识码：Ａ　

Ｔｈｅ　Ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　Ｒｅａｌｉｚａｔｉｏｎ　ｏｆ　ＩＣＴＣＬＡＳ　ｏｎ　Ｎｕｔｃｈ一０．９　

ＣＡＩ　Ｘｉａｏ．ｙａｎ　，ＫＯＵ　Ｙｉｎｇ—ｚｈａｎ　，ＳＨＥＮ　Ｗｅｉ　，ＺＨＥＮ　Ｗｅｉ　

（１．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｏｒｄｎａｎｃｅ　Ｅｎｇｉｎｅｅｉｒｎｇ　Ｃｏｌｌｅｇｅ，Ｓｈｉｊｉａｚｈｕａｎｇ　０５０００３，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ　ｏｆ　

Ｅｌｅｃｔｒｏｎｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｅｒｏｎａｕｔｉｃｓ　ａｎｄ　Ａｓｔｒｏｎａｕｔｉｃｓ，Ｂｅｉｊｉｎｇ　１０００８３，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ａｎａｌｙｚｅｓ　ｔｈｅ　ｌｉｎｇｕｉｓｔｉｃ　ａｎａｌｙｓｉｓ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　Ｎｕｔｃｈ，ｗｈｉｃｈ　ｏｎｌｙ　ｓｅｇｍｅｎｔｓ　Ｃｈｉｎｅｓｅ　ｉｎｔｏ　

ａ　ｓｉｎｇｌｅ　ｃｈａｒａｃｔｅｒ．Ｔｏ　ｓｏｌｖｅ　ｔｈｉｓ　ｐｒｏｂｌｅｍ，ｔｈｅ　ｐａｐｅｒ　ｃｏｍｂｉｎｅｓ　Ｃｈｉｎｅｓｅ　ｌｅｘｉｃａｌ　ａｎａｌｙｓｉｓ　ｓｙｓｔｅｍ　ＩＣＴＣＬＡＳ　

ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉ—ｌａｙｅｒ　ＨＭＭ，ｕｓｉｎｇ　ＪａｖａＣＣ　ｔｏｒｅａｌｉｚｅ　ａｎ　ｅｘｐａｎｓｉｂｌｅ　ｌｉｎｇｕｉｓｔｉｃ　ａｎａｌｙｓｉｓ，ａｎｄ　ｆｉｎａｌｌｙ　ｉｍｐｌｅ—　

ｍｅｎｔｓ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｕｓｉｎｇ　Ｊａ—　

ｖａＣＣ　ａｎｄ　ＩＣＴＣＬＡＳ　ｐｅｒｆｅｃｔｓ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｓｅａｒｃｈｉｎｇ　ｆｕｎｃｔｉｏｎ　ｏｆ　Ｎｕｔｃｈ．　

Ｋｅｙ　ｗｏｒｄｓ：Ｎｕｔｃｈ；Ｌｕｃｅｎｅ；ＩＣＴＣＬＡＳ；Ｃｈｉｎｅｓｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　

随着互联网技术的飞速发展，互联网络上的信　

息量正在以几何级数的速度增长。人们在享受互联　

网带来的便利的同时，却面临着如何在海量的网络　

信息中准确、快捷地找到自己所需要的信息问题。　

搜索引擎应运而生，它是互联网信息查询的导航针。　

现在的商业搜索引擎不少，但都是保密的，不便研　

究。而Ｎｕｔｃｈ是用Ｊａｖａ实现的开源搜索引擎，它提　

供了运行自己的搜索引擎所需的全部工具。　

的方法。中国科学院计算技术研究所开发的汉语词　

法分析系统ＩＣＴＣＬＡＳ的分词正确率达到了　

９７．５８％，因此，笔者将中科院的ＩＣＴＣＬＡＳ分词系统　

与Ｎｕｔｃｈ相结合，实现了Ｎｕｔｃｈ的中文分词。　

１　Ｎｕｔｃｈ简介　

１．１　Ｌｕｃｅｎｅ　

Ｎｕｔｃｈ是在Ｌｕｃｅｎｅ之上创建的开源搜索引擎。　

Ｌｕｃｅｎｅ是Ａｐａｃｈｅ软件基金会Ｊａｋａｒｔａ项目组的子项　

中文分词影响着搜索结果的相关度排序及搜索　

的效率和准确度，因此好的搜索引擎必须处理好中　

文分词。Ｎｕｔｃｈ的分词器对英文的切分比较完善，　

目，是开放源代码的全文检索引擎工具包，它不是完　

整的全文检索引擎，而是全文检索引擎的架构，提供　

了完整的查询引擎、索引引擎和部分文本分析引擎　

（英文与德文两种西方语言）¨　。Ｌｕｃｅｎｅ的目的是　

对中文只进行单字切分，若要实现较好的中文信息　

的搜索查询，就需要在Ｎｕｔｃｈ中增加中文分词处理　

收稿日期：２００８－０５—２１；修回日期：２００８－０７・１０　

作者简介：蔡小艳（１９８４一），女，硕士研究生　

为软件开发人员提供简单易用的工具包，以方便的　

在目标系统中实现全文检索的功能，或者是以此为　

军械工程学院学报　

基础建立完整的全文检索引擎。　

２．１．３　词库分词　

１－２　Ｎｕｔｅｈ　

词库分词是用已经建立好的词的集合（按照某　

Ｎｕｔｃｈ是开源的Ｊａｖａ语言实现的搜索引擎，是建　种算法）去匹配目标，当遇上集合中已经存在的词　

立在Ｌｕｃｅｎｅ核心之上的Ｗｅｂ搜索的实现。Ｌｕｃｅｎｅ　时，就将它切分出来。通常词库分词被认为是最理　

为Ｎｕｔｃｈ提供了文本索引和搜索的ＡＰＩ。Ｎｕｔｃｈ的出　

想的中文分词算法。　

现使得抓取、索引、检索一体化，并且开放源码，提供　使用词库分词法在文本中匹配单词，常用的算　

了除商业搜索引擎外的新选择。个人、企业都可通过　

法如下：　

Ｎｕｔｃｈ来构建适合自身需要的搜索引擎平台，提供适　

１）最大正向匹配法（Ｍａｘｉｍｕｍ　Ｍａｔｃｈｉｎｇ　Ｍｅｔｈ—　

用于自身的搜索服务，可以让研究者通过配置，逐步　

ｏｄ１　

完善各个模块，从而实现所需的搜索引擎。　

最大正向匹配法通常简称为ＭＭ法，其切分流　

总体上Ｎｕｔｃｈ可以分为抓取部分和搜索部分。　程见图１。其基本思想为：设Ｄ为词典，ＭＡＸ表示　

抓取程序可抓取页面，并把抓取回来的数据做成反　Ｄ中的最大词长，ｓｔｒ为待切分的字串。ＭＭ法是每　

向索引；搜索程序则对反向索引搜索回答用户的请　

次从ｓｔｒ中取长度为ＭＡＸ的子串与Ｄ中的词进匹　

求。抓取程序和搜索程序的接口是索引，二者都使　

配。若成功，则该子串为词，指针后移ＭＡＸ个汉字　

用索引的字段　。　

后继续匹配，否则子串逐次减１进行匹配。　

２中文分词技术　

开始　

为了建立中文搜索引擎，首先要解决的就是中　

文的语言分析问题。英文是以词为单位，词和词之　

待切分的字符串　

间靠空格隔开。中文是以字为单位，句子中所有的　

字连起来才能描述某个意思，如何在这些由连续的　

取当前字符串序列的前ＭＡＸ个字为匹配字　

文字组成的语句中把某个具有独立意义的词汇切分　

出来就是很大的问题。例如，英文句子Ｉ　ａｍ　ａ　

查找词典，进行匹配　

ｓｔｕｄｅｎｔ，用中文则为：“我是一个学生”。计算机通过　

空格知道ｓｔｕｄｅｎｔ是一个单词，但是不能很容易明白　

“学”、“生”合起来才表示一个词。把中文的汉字序　

列切分成有意义的词，就是中文分词。我是一个学　

上Ｙ　

兰鳖婆　竺　

生，分词的结果是：我是一个学生。　

１切分词长为ＭＡＸ的字词，即从待切　

Ｎ　

１　分字符串中去除该ＭＡｘ字词　

２．１中文分词技术分类　

通常，对中文进行分词，一般有以下３种方式：　

单字分词、二分法、词库分词。　

字符串全部匹配　

２．１．１　单字分词　

＋Ｙ　

单字分词，是在对中文文本进行分词时，以字为　

结束　

单位进行切分。它没有词表维护成本，适合于一般　

应用，缺点是索引比较大、查询复杂、效率不高、准确　

图１　ＭＭ法的切分流程　

率也较低。　

２．１．２　二分法　

２）逆向最大匹配法（Ｒｅｖｅｒｓｅ　Ｍａｘｉｍｕｍ　Ｍａｔｃｈｉｎｇ　

所谓二分法，就是将每２个字当作１个词语进　

Ｍｅｔｈｏｄ）　

行切分，然后建立索引　Ｊ。二分法没有词表维护成　

逆向最大匹配法通常简称为ＲＭＭ法。ＲＭＭ　

本，适合于一般应用，效率略高于单字切分，但查询　

法的基本原理与ＭＭ法相同，不同的是分词的扫描　

复杂、索引冗余大。　

方向，它从右至左取子串进行匹配。一般说来，逆向　

例如下面的文本：军械工程学院，当使用二分法　

匹配的切分精度略高于正向匹配，遇到的歧义现象　

进行切分时，切分出来的词条就是军械＼械工＼工程＼　

也较少。统计结果表明，单纯使用正向最大匹配的　

程学＼学院。　

错误率为１／１６９，单纯使用逆向最大匹配的错误率　

第５期　蔡小艳等：汉语词法分析系统ＩＣＴＣＬＡＳ在Ｎｕｔｃｈ一０．９中的应用与实现　

为１／２４５，ＲＭＭ法在切分的准确率上比ＭＭ法有很　

大提高　。　

２．２汉语词法分析系统ＩＣＴＣＬＡＳ分析　

目前Ｌｕｃｅｎｅ所采用的中文单字（应用ＳｔａｎｄＡｎ—　

ａｌｙｚｅｒ类）和双字分词（应用ＣＪＫＡｎａｌｙｚｅｒ类）模块，　

对中文信息分析和处理的效果远远达不到人们所期　

望的效果。如果要更好的分词，需要编写自己的　

Ａｎａｌｙｚｅｒ，把它们包装成Ｌｕｃｅｎｅ的ＴｏｋｅｎＳｔｒｅａｍ，再利　

用已有的词典，根据正向最大匹配法或者逆向最大　

匹配法写分词，并且应用在Ｌｕｃｅｎｅ中。　

目前国内第１个开放源码的中文分词系统是中　

国科学院计算技术研究所开发的基于多层隐马模型　

汉语词法分析系统ＩＣＴＣＬＡＳ（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　

Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ｌｅｘｉｃａｌ　Ａｎａｌｙｓｉｓ　Ｓｙｓｔｅｍ），该系统　

主要功能包括中文分词、词性标注、命名实体识别、　

新词识别、同时支持用户词典。分词正确率高达　

９７．５８％，基于角色标注的未登录词识别能取得高于　

９０％召回率，其中中国人名的识别召回率接近　

９８％，分词和词性标注处理速度为５４３．５ＫＢ／ｓ。　

ＩＣＴＣＬＡＳ还提供完整的动态连接库ＩＣＴ—　

ＣＬＡＳ．ｄｌｌ、ＣＯＭ组件和相应的概率词典，开发者可　

以完全忽略汉语词法分析，直接在自己的系统中调　

用ＩＣＴＣＬＡＳ。基于以上特点，笔者将结合ＩＣＴＣＬＡＳ　

分词来实现Ｎｕｔｃｈ的中文分词。　

３　Ｎｕｔｃｈ一０．９中加入ＩＣＴＣＬＡＳ分词　

３．１　Ｎｕｔｃｈ的分词器　

Ｎｕｔｃｈ一０．９＼ＳＦＣ＼ｉａｖａ＼ｏｒｇ＼ａｐａｃｈｅ＼ｎｕｔｃｈ中的ａ—　

ｎａｌｙｓｉｓ包是Ｎｕｔｃｈ一０．９的分析器，由于Ｎｕｔｃｈ是基　

于Ｌｕｃｅｎｅ的，所以Ｎｕｔｃｈ的分词是继承Ｌｕｃｅｎｅ的。　

Ｎｕｔｃｈ分词的最底层使用的是Ｌｕｃｅｎｅ的Ａｎａｌｙｚｅｒ抽　

象类，它位于Ａｎａｌｙｓｉｓ包中，是中文分词的基础。　

ＮｕｔｅｈＡｎａｌｙｚｅｒ继承Ａｎａｌｙｚｅｒ类，实现了Ｃｏｎｆｉｇｕ—　

ｒａｂｌｅ、Ｐｌｕｇｇａｂｌｅ接口，它是Ｎｕｔｃｈ中扩展分析文本的　

扩展点，所有用于解析文本的插件都应实现这个扩展　

点，该抽象类中定义了公有的抽象方法ｔｏｋｅｎＳｔｒｅａｍ　

（Ｓｔｒｉｎｇ　ｆｉｅｌｄＮａｍｅ，Ｒｅａｄｅｒ　ｒｅａｄｅｒ），返回类型Ｔｏｋｅｎ－　

Ｓｔｒｅａｍ。该方法用于分析文本，其后的具体类在这个　

方法中实现了从文本中提取索引词组的策略、算法。　

ＮｕｔｃｈＤｏｃｕｍｅｎｔＡｎａｌｖｚｅｒ继承ＮｕｔｃｈＡｎａｌｙｚｅｒ，使　

用ＪａｖａＣＣ定义的语言（词典）分析器，不含有Ｓｔｏｐ—　

Ｗｏｒｄｓ列表，保持了查询分析的连贯性　Ｊ。各个类　

与接口的ＵＭＬ见图２。　

ＮｕｔｃｈＤｏｃｕｍｅｎｔＡｎａｌｙｚｅｒ是Ｎｕｔｃｈ系统默认的分　

图２各个类与接口的ＵＭＬ图　

词器，它调用了由ＪａｖａＣＣ生成的ＮｕｔｃｈＤｏｃｕｍｅｎｔ－　

Ｔｏｋｅｎｉｚｅｒ切分器，这个切分器用于对Ｎｕｔｃｈ的文档　

文本进行分词。笔者通过修改ＮｕｔｃｈＤｏｅｕｍｅｎｔ—　

Ｔｏｋｅｎｉｚｅｒ．ｊａｖａ，并结合中科院的ＩＣＴＣＬＡＳ分词，实　

现了Ｎｕｔｃｈ的中文分词。　

３．２　ＩＣＴＣＬＡＳ分词加入到Ｎｕｔｃｈ一０．９的关键步骤　

１）把ＩＣＴＣＬＡＳ的ｄＵ文件放到＼ｌｉｂ＼ｎａｔｉｖｅ＼ＩＣＴ—　

ＣＬＡＳ．ｄｌｌ下。　

２）把ＩＣＴＣＬＡＳ打包成ＩＣＴＣＬＡＳ．ｊａｒ放到ｎｕｔｃｈ　

一

０．９＼ｌｉｂ目录下，同时将ＩＣＴＣＬＡＳ中的ｄａｔａ类也　

放到这个目录，分词的时候要调用这个词库。　

３）修改ＮｕｔｃｈＡｎａｌｙｓｉｓ．ＪＪ文件　

将ｌ＜ＳＩＧＲＡＭ：＜ＣＪＫ＞＞改为Ｉ＜ＳＩＧＲＡＭ：　

（＜ＣＪＫ＞）＋＞重新用ＪａｖａＣＣ编译ＮｕｔｃｈＡｎａｌｙｓ—　

ｉｓ．ＪＪ这个文件来产生新的解析器。　

４）修改ＮｕｔｃｈＤｏｃｕｍｅｎｔＴｏｋｅｎｉｚｅｒ．ｊａｖａ中的代　

码，加入　

ｐｒｉｖａｔｅ　ｓｔａｔｉｃ　Ｒｅａｄｅｒ　ｍｙｒｅａｄｅｒ＝ｎｕｌｌ；　

ｐｕｂｌｉｃ　ＮｕｔｃｈＤｏｃｕｍｅｎｔＴｏｋｅｎｉｚｅｒｆ　Ｒｅａｄｅｒ　ｒｅａｄｅｒ）｛　

ｓｕｐｅｒ（ｐｒｏｃｅｓｓ（ｒｅａｄｅｒ））；　

ｔｏｋｅｎＭａｎａｇｅｒ　＝　ｎｅｗ　ＮｕｔｃｈＡｎａｌｙｓｉｓＴｏｋｅｎＭａｎａｇｅｒ　

（ｍｙｒｅａｄｅｒ）；　

｝　

ｐｕｂｌｉｃ　ｓｔａｔｉｃ　Ｒｅａｄｅｒ　ｐｒｏｃｅｓｓ（Ｒｅａｄｅｒ　ｒｅａｄｅｒ）｛　

ＢｕｆｆｅｒｅｄＲｅａｄｅｒ　ｉｎ＝ｎｅｗ　ＢｕｆｆｅｒｅｄＲｅａｄｅｒ￣　ｒｅａｄｅｒ）；　

Ｓｔｒｉｎｇ　ｌｉｎｅ＝…：　

Ｓｔｒｉｎｇ　ｔｅｍｐ　ｎｕｌｌ；　

ｔｒｙ｛　

ｗｈｉｌｅ（（ｔｅｍｐ＝ｉｎ．ｒｅａｄＬｉｎｅ（））！＝ｎｕｌ１）｛　

ｌｉｎｅ＋＝ｔｅｍｐ．ｒｅｐｌａｃｅＡｌｌ（”／”，””）；　

军械工程学院学报　

Ｓｙｓｔｅｍ．ｏｕｔ．ｐｒｉｎｔｌｎ（１ｉｎｅ）；　

｝　

｝ｃａｔｃｈ（Ｅｘｃｅｐｔｉｏｎ　ｅ）｛　

Ｓｙｓｔｅｍ．ｏｕｔ．ｐｒｉｎｔｌｎ（ｅ）；　

｝　

ｔｒｙ｛　

ｉｆ（１ｉｎｅ！＝ｎｕｌｌ＆＆！ｌｉｎｅ．ｅｑｕａｌｓ（””））｛　

ｃｏｎ．ｘｊｔ．ｎｉｐ．ｗｏｒｄ．ＩＣＴＣＬＡＳ　ｉｃ＝ｅｏｍ．ｘｊｔ．ｎｌｐ．　

ｗｏｒｄ．ＩＣＴＣＬＡＳ．ｇｅｔＩｎｓｔａｎｃｅ（）；　

ｌｉｎｅ＝ｉｃ．ｐａｒａｇｒａｐｈＰｒｏｃｅｓｓ（１ｉｎｅ）；　

ｍｙｒｅａｄｅｒ＝ｎｅｗ　ＳｔｒｉｎｇＲｅａｄｅｒ（１ｉｎｅ）；　

ｒｅｔｕｒｎ　ｍｙｒｅａｄｅｒ；　

｝。　

４结果的实现　

４．１　Ｎｕｔｃｈ抓取网站页面的实现　

１）建立抓取目录　

在ｎｕｔｃｈ一０．９的安装目录建立文本文件　

ｕｒ１．ｔｘｔ，写入要抓取的起始页，例如：ｈｔｔｐ：／／　

ｙｊｓｙ．ｏｅｃ．ｍｔｎ／。　

２）配置ｃｒａｗｌ－ｕｒｌｉｆｈｅｒ．ｔｘｔ　

ｃｒａｗ１．ｕｒｌｉｆｌｔｅｒ．ｔｘｔ文件记录需要抓取哪些类型　

的网页。打开ｎｕｔｃｈ一０．９／ｃｏｎｆ／ｃｒａｗｌ—ｕｒｌｉｆｈｅｒ．ｔｘｔ，　

找到下面２行：　

＃ａｃｃｅｐｔ　ｈｏｓｔｓ　ｉｎ　ＭＹ．ＤＯＭＡＩＮ．ＮＡＭＥ　

＋￣ｈｔｔｐ：／／（［ａ—ｚ０—９］　＼．）　ＭＹ．ＤＯＭＡＩＮ．ＮＡＭＥ／　

以上部分是正则表达式，表示搜索的范围。在　

这里测试改为＋　ｈｔｔｐ：／／（［ａ—ｚ　０－９］％＼．）　

ｙｊｓｙ．ｏｅｃ．ｍｔｎ／，表示抓取ｙｊｓｙ下所有的网页。　

３）修改ｎｕｔｃｈ一０．９＼ｃｏｎｆ＼ｎｕｔｃｈ—ｓｉｔｅ．ｘｍｌ，设置　

ｈｔｔｐ代理名称。　

＜ｃｏｎｆｉｇｕｒａｔｉｏｎ＞　

＜ｐｒｏｐｅｒｔｙ＞　

＜ｎａｍｅ＞ｈｔｔｐ．ａｇｅｎｔ．ｎａｍｅ＜／ｎａｍｅ＞　

＜ｖａｌｕｅ＞ｏｅｅ＜／ｖａｌｕｅ＞　

＜／ｐｒｏｐｅｒｔｙ＞　

＜／ｃｏｎｉｆｇｕｒａｔｉｏｎ＞　

４）运行Ｃｒａｗｌ命令抓取网页　

在Ｃｙｇｗｉｎ控制台下输入ｃｄ／ｃｙｇｄｒｉｖｅ／ｄ／ｎｕｔｃｈ．　

０．９，运行ｂｉｎ／ｎｕｔｃｈ　ｃｒａｗｌ　ｕｒ１．ｔｘｔ－ｄｉｒ　ｃｒａｗｌｅｄ．ｄｅｐｔｈ　３一　

ｔｈｒｅａｄｓ　４＞＆ｃｒａｗ１．１ｏｇ。其中，一ｄｉｒ指定抓取内容所　

存放的目录；一ｄｅｐｔｈ表示抓取的网页深度；．ｔｈｒｅａｄｓ　

指定并发的线程数；一ｃｒａｗ１．１ｏｇ日志文件的存储地　

址。　・　

程序运行结束后，在ｎｕｔｃｈ一０．９目录下创建了　

名为ｃｒａｗｌｅｄ的文件夹，ｉｎｄｅｘ是ｃｒａｗｌｅｄ中的子文件　

夹之一，用ｌｕｋｅ索引察看器就可以看到ｎｕｔｃｈ一０．９　

实现中文分词后的索引。　

４．２用Ｌｕｋｅ查看索引结果　

Ｌｕｋｅ是查询Ｎｕｔｃｈ索引文件的图形化工具，可　

以比较直观地看到索引创建情况，它需要结合Ｌｕ．　

ｃｅｎｅ包使用。图３、４是用Ｌｕｋｅ查看建立的索引。　

２１　７２￣ｃｏｎｔｅｎｔ，　

管　

２２　７２￣ｃｏｎｔｅｎｔ－　

究　

２３　

７２　Ｃｔｉｔｌｅ￣　

研　

２４　７２￣ｕｒｌ＝　

ａｓｐ　

２５　７２　《Ｃ０ｎｔｅｎ　

２６　７２　ｃ０ｎｔｅｎｔ》　

２７　

７２－ｃｏｎｔｅｎｔ－　

２８　７２￣ｃｏｎｔｅｎｔ＞　

２９　

７１　￣ｃｏｎｔｅｎｔ＝　

３０　７１　￣ｃｏｎｔｅｎｔ＝　

３１　

７１　《ｃ０ｎｔｅｎｔ》　

３２　７１　－ｃｏｎｔｅｎ＞　

３３　７１＜ｃ０ｎｔｅｎＰ＇　

３４　７１　￣ｃｏｎｔｅｎｔ＝　

生理

３５　

院言方

７１

时

￣ｃｏｎｔｅｎ＞　

天今是规址　

图３加入ＩＣＴＣＬＡＳ分词前的索弓　

２１　７１　￣ｃｏｎｔｅｎｔ》　

时间　

２２　

７１　￣ｃｏｎｔｅｎｔ＞　

入口　

２３　７１　￣ｃｏｎｔｅｎｔ＞　

地址　

２４　

７１　￣ｃｏｎｔｏｎｔ￣　

培养　

２５　

７１　￣ｃｏｎｔｅｎｔ＝　

我　

２６　

７１　《Ｃ０ｎｔｅｎｌ》　

单位　

２７　

７１　《ｃ０ｎｔｅｎｔ》　

加入　

２８　７１　￣ｃｏｎｔｅｎｔ＝　

领导　

２９　７１＜ｃｏｎｔｅｎ＞　

队伍　

３０　

７１　￣ｃｏｎｔｅｎｔ＞　

首　

３１　

７１　￣ｃｏｎｔｅｎ＞　

导师　

３２　

７１　￣ｃｏｎｔｅｎｔ＞　

简介　

３３　７１　￣ｃｏｎｔｅｎ＞　

规章制度　

３４　７１　《ｃＯｎｔｅｎｔ》　

为首　

３５　

７１　≮ＣＯｎｔｅｎｌ》　

收藏　

图４加入ＩＣＴＣＬＡＳ分词后的索引　

（下转第７０页）　

７０　军械工程学院学报　

２・２握把宽厚比Ｐｄ　

考虑到自然握持模型的横断面并非圆形，并且　

自动手枪的握把中要容纳弹夹，所以，应该给出一个　

合适的握把颈部宽厚比。试验结果表明，非圆截面　

握把的另一个好处是，可以通过握持感觉，给射手以　

指向性提示。　

击　

Ｊ　绢　日　

　、

由于笔者试验条件所限，试验的结果和据此得　

出的初步结论不一定准确，但却展示出了一种可能，　

即用关键特征量来对武器握把的人机工程学特性进　

行描述。例如：对于握把舒适性的描述。这对于提　

参考自然握持模型和３种认可度较高的手枪的　高武器握把设计水平以及设计自动化等方面具有一　

宽厚比，可以得出比较适宜的握把颈部宽厚比Ｐ　的　

取值在１．８～２．２之间。　

２．３握把前沿长度　

射击时产生的翻转力矩，主要靠虎口与中指、无　

名指和小手指产生的平衡力矩来平衡。当握把有效　

握持长度不足时，小手指处于悬空状态，将会影响握　

持的稳定性，并由此对射手的心理产生不良影响。　

因此，握把前沿最小长度应该大于等于中指、无名指　

定的意义。如果在此基础上把身高或手型与武器握　

把尺寸加以匹配，那么握把舒适性将会得到进一步　

提高。　

参考文献：　

［１］ＧＢ５７０３－－８５，人体测量方法［ｓ］．　

［２］ＧＢ１００００－－８８，中国成年人人体尺寸［ｓ］－　

［　］ＧＢ／Ｔ１２９８－－１９９１，在产品设计中应用人体尺寸百分位　

租小篓踅妻　根据对手部尺寸实测的结果……………　…～　

《中国成年人人体尺寸》中的有关数据　１进行修正，　

笔者给出的适宜的握把前沿长度Ｌ　≤５５　Ｆｉｌｍ。　

，

并孝照国家标准　莘　

王　

：　…～～…一　

：３９４８．

机工程与造型　Ｍ　．　

（责任编辑：陈北宁）　

从图３、４中可以看出，加入ＩＣＴＣＬＡＳ分词前的索引　

以单字存放，加入ＩＣＴＣＬＡＳ分词后的索引按照词来　

存放。　

参考文献：　

［１］胡涛，路红英．基于Ｎｕｔｃｈ的搜索引擎的研究［Ｊ］．计算　

机时代，２００７（１）：５７．５９．　

［２］曹羽中，曹勇刚，金茂忠，等．支持智能中文分词的互联　

网搜索引擎的构建［Ｊ］．计算机工程设计，２００６，２７　

（２３）：４３９５４３９８．　

５结束语　

笔者通过分析基于Ｌｕｃｅｎｅ的开源搜索引擎　

Ｎｕｔｃｈ的分词器，实现了在Ｎｕｔｃｈ中添加基于多层隐　

［３］邱哲，符滔滔．开发自己的搜索引擎Ｌｕｃｅｎｅ　２．０＋Ｈｅｆｔ—　

ｔｒｉｘ［Ｍ］．北京：人民邮电出版社，２００７．　

马模型汉语词法分析系统ＩＣＴＣＬＡＳ，使Ｎｕｔｃｈ具有　

较好的中文处理能力，能切分出满足一定要求的词，　

基本满足用Ｎｕｔｃｈ一０．９建立小型搜索的需要。不　

过，ＩＣＴＣＬＡＳ分词还存在一些固有的缺陷，如它的分　

［４］潘亭沥．基于Ｌｕｃｅｎｅ的面向商业应用的搜索引擎研究　

与实现［Ｄ］．成都：电子科技大学，２００７．　

［５］苏晓珂．基于Ｎｕｔｃｈ的主题爬虫研究与实现［Ｄ］．昆明：　

昆明理工大学，２００７．　

词算法以及所用数据是不可分割的整体，可调整性　

较差。如果使用Ｎｕｔｃｈ一０．９实现更加完善的中文　

信息的搜索查询，对中文分词就有更高的要求，需要　

对ＩＣＴＣＬＡＳ分词的这些问题进一步深入研究后，再　

［６］屈培，葛秦．Ｎｕｔｃｈ一０．８．１中二分法中文分词的实现　

［Ｊ］．计算机时代，２００７（７）：９－１１．　

（责任编辑：韩红艳）　

提出可行的方案进行完善。