基于Nutch的物流信息平台网页资源定向采集系统

刘兴邦，等：基于Ｎｕｔｃｈ的物流信息平台网页资源定向采集系统　

ｄｏｉ：ｌ　Ｏ．３９６９４．ｉｓｓｎ．１　００５－１　５２Ｘ．２０１　２．０７．１　１　７　

网络与信息化　

基于Ｎｕｔｃｈ的物流信息平台网页资源定向采集系统　

刘兴邦，赵晓娇　

（北京交通大学经济管理学院，北京１０００４４）　

【摘要】针对物流信息平台中信息资源采集系统建设的不足，提出建立基于Ｎｕｔｃｈ的网页资源定向采集系统，并对中文分　

词、主题相关度分析、结果排序、正文解析等关键模块进行重点探讨。最后在一定条件下进行了实验，并分析了实验结果。　

【关键词】Ｎｕｔｃｈ；主题爬虫；正文抽取；定向采集；中文分词　

【中图分类号】Ｆ２５３．９；Ｇ２５０　【文献标识码】Ａ　【文章编号】１０ｏ５一ｌ５２ｘ（２Ｏ１２）０７—０３６７一Ｏ５　

Ｗｅｂ—ｐａｇｅ　Ｒｅｓｏｕｒｃｅｓ　Ｔａｒｇｅｔｅｄ　Ｈａｒｖｅｓｔｉｎｇ　Ｓｙｓｔｅｍ　ｏｆ　Ｌｏｇｉｓｔｉｃｓ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｌａｔｆｏｒｍ　Ｂａｓｅｄ　ｏｎ　Ｎｕｔｃｈ　

ＬＩＵ　Ｘｉｎｇ－ｂａｎｇ，ＺＨＡ０　Ｘｉａｏ－ｊｉａｏ　

ｆＳｃｈｏｏｌ　ｏｆ　Ｅｃｏｎｏｍｉｃｓ＆Ｍａｎａｇｅｍｅｎｔ，Ｂｅｉｊｉｎｇ　Ｊｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００４４，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｉｎ　ｖｉｅｗ　ｏｆ　ｔｈｅ　ｉｎａｄｅｑｕａｃｙ　ｏｆ　ｔｈｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｒｅｓｏｕｒｃｅｓ　ｈａｒｖｅｓｔｉｎｇ　ｓｙｓｔｅｍ　ｉｎ　ｌｏｇｉｓｔｉｃｓ　ｉｎｆｏｒｍａｔｉｏｎ　ｐｌａｔｆｏｒｍｓ，ｗｅ　

ｐｒｏｐｏｓｅｄ　ｔｏ　ｂｕｉｌｄ　ａ　ｗｅｂ—ｐａｇｅ　ｒｅｓｏｕｒｃｅｓ　ｔａｒｇｅｔｅｄ　ｈａｒｖｅｓｔｉｎｇ　ｓｙｓｔｅｍ　ｂａｓｅｄ　ｏｎ　Ｎｕｔｃｈ，ｄｉｓｃｕｓｓｅｄ　ｅｍｐｈａｔｉｃａｌｌｙ　ｔｈｅ　ｉｓｓｕｅｓ　ｏｆ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　

Ｃｈｉｎｅｓｅ　ｃｈａｒａｃｔｅｒｓ，ｔｏｐｉｃ　ｒｅｌｅｖａｎｃｅ　ａｎａｌｙｓｉｓ，ｑｕｅｒｙ　ｒｅｓｕｌｔ　ｒａｎｋｉｎｇ　ａｎｄ　ｔｅｘｔ　ｐａｒｓｉｎｇ，ｅｒｅ．，ａｎｄ　ｉｎａｆｌｌｙ　ｃａｒｒｉｅｄ　ｏｕｔ　ｔｈｅ　ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ｅｘｐｅｒｉｍｅｎｔ　

ｕｎｄｅｒ　ｃｅｒｔａｉｎ　ｃｏｎｄｉｔｉｏｎｓ　ｎｄ　ａａｎａｌｙｚｅｄ　ｔｈｅ　ｒｅｓｕｌｔ．　

Ｋｅｙｗｏｒｄｓ：Ｎｕｔｃｈ；ｔｏｐｉｃ　ｃｒａｗｌｅｒ；ｗｅｂ—ｐａｇｅ　ｅｘｔｒａｃｔｉｏｎ；ｔａｒｇｅｔｅｄ　ｈａｒｖｅｓｔｉｎｇ；ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　Ｃｈｉｎｅｓｅ　ｃｈａｒａｃｔｅｒｓ　

针对上述问题，本文提出建立基于Ｎｕｔｃｈ的物流信息平台　

１　研究背景　

随着信息化建设的推进，各地物流信息平台相继展开建　

设。但相当一部分单位和地区互联网信息应用水平较低，主要　

体现在以下几个方面：　

网页资源定向采集系统。　

２　Ｎｕｔｃｈ简介　

Ｎｕｔｃｈ是一个开源的、Ｊａｖａ实现的搜索引擎。它提供了运　

（１）不知道互联网　哪些信息或网站对自己有用；　

（２）知道了有用的网站信息源，但是又缺乏有效的获取这　

些信息的手段和软件；　

行自己的搜索引擎所需的全部工具。作为一个搜索引擎，其基　

本组成也同其他搜索引擎一样。包括爬虫，索引和搜索三部　

分。其工作流程如图１所示。　

原始ＵＰ，Ｌ￣　表　

Ｌ注入原始　

ｕ｛Ｌ　

（３）无法对从网　获墩的信息进行有效的管理，包括对信　

息的分类、存储和检索；　

（４）很多网站都存在内容少、更新慢等问题，一些物流科　

技、市场信息比较匮乏。　

通过分析认为产生这些问题的原因主要有以下两个方　

面：　

５．更新待爬　

取Ｕ甩　

索引库　

（Ｌｕｃｅｎｅ建立）　

—

—　

（１）大部分的单位计算机网络方面的人才相对比较匮乏，　

很多站点建立后对站点的技术维护存在着诸多问题；　

２生成要抓　

取的列表　

——　０嘲　

ｆ　查询服务器　

Ｊ

４

解析出的　　

出的　

　ｌ数据　

（２）数据资源的采集完全依赖于人工上传和修改，操作人　

员只能通过网页和数据资源库的搜索，将挑选出的信息资源　

通过逐步填写关键信息和上传全部资料内容的方式更新至后　

台数据库，这种人工上传方式低效费时。　

［　　ｉ

笙　，　

图１　Ｎｕｔｃｈ工作流程图　用户　

【收稿日１￣１１２０１２—０６—０６　

【基金项目】国家自然科学基金项日“基于云计算、物联网的物流系统资源优化调度方法研究”（Ｂ１２Ａ２０００５０）　

［作者简介］刘兴邦，男，四川宜宾人，北京交通大学经济管理学院学生；赵晓娇，女，浙江台州人，北京交通大学经济管理学院研究生，研究方　

向：企业信息化。　

３６７—　

网络与信息化　

其整个的工作流程可以分为如下几步：　

（１）建立初始ＵＲＬ集；　

（２）将ＵＲＬ集注入ｃｒａｗｌｄｂ数据库一ｉｎｊｅｃｔ；　

（３）根据ｃｒａｗｌｄｂ数据库创建抓取列表一ｇｅｎｅｒａｔｅ；　

物流技术２０１２年第３１卷第７期（总第２６２期）　

ｆ４）执行抓取，获取网页信息一Ｆｅｔｃｈ；　

（５）更新数据库，把获取到的页面信息存入数据库中　

一

臣困　

［亘圈匝巫圜臣互圈臣　圃匪夏圃　

ｕｐｄａｔｅｄｂ；　

（６）重复进行３～５的步骤，直到预先设定的抓取深度，这　

个循环过程被称为“产生／抓取／更新”循环；根据ｓｅｇｍｅｎｔｓ　

的内容更新ＬｉｎｋＤＢ数据库一ｉｎｖｅｒｔｌｉｎｋｓ；　

（７）建立索引，对每个Ｓｅｇｍｅｎｔ生成一个索引一ｉｎｄｅｘ；　

（８）从这些索引中删除冗余的网页和ＵＲＬ；　

（９）把所有这些小索引合并成一个大的索引，用来搜索；　

ｆ１０）用户通过用户接口进行查询操作；　

ｆ１１）将用户查询转化为Ｌｕｃｅｎｅ查询；　

ｆ１２）返回结果。　

其中：（１）～（６）属于爬虫部分，（７）～（９）属于索引部分，（１０）一　

（１２）属于查询部分。　

３系统总体设计　

３．１系统功能结构　

基于Ｎｕｔｃｈ的网页资源定向采集系统是物流信息平台后　

台管理系统的一个子系统。它作为本地信息资源的提供者与　

物流信息平台的信息发布系统交互，为其提供信息资源。　

该子系统主要实现如下功能：　

（１）以物流为主题的网页资源的监控和获取。管理员用户　

通过后台提交主题关键词和初始种子，由主题相关度分析模　

块和初始种子模块，根据主题关键字和种子网站将网络上的　

信息进行过滤，然后通过爬虫模块根据一定的搜索策略将信　

息采集下来存储到本地索引库。对于主题相关度的分析策略　

是重要的影响因素。　

ｆ２）以物流为主题的信息检索。管理员用户通过发送查询　

请求，信息检索模块调用中文分词模块对用户提交的关键词　

进行解析，封装成符合参数要求的检索式查询本地索引库，并　

将检索结果提交排序优化模块返回用户需要的网页记录集　

合。在为采集的网页建立索引存储的过程中以及用户发送检　

索请求时，都会自动调用中文分词模块，中文分词模块根据　

嵌入其中的词典进行分词和匹配，保证了返回结果的准确　

性。　

（３）作为信息资源的提供者实现对网页正文的正确提取与　

入库。管理员用户根据网页检索结果，选取有价值的网页资　

源，向正文抽取模块提出请求，由正文抽取模块完成对网页正　

文的抽取并向数据库提交作者、来源、正文等元数据信息，实　

现网页正文的自动抽取与入库。　

尽管Ｎｕｔｃｈ具有较丰富的功能和相对完备的结构体系，　

直接将其应用于网页资源定向采集系统是不适宜的。在Ｎｕｔｃｈ　

现有结构基础上，还需要针对特定任务需求进行修改和完善　

工作。经过改进和扩展后的功能框架如图２所示。　

３６８——　

ｒｌ苎堡墨——●－———．１　

．

１　

臣　圃臣亘圃［至圈［翌　匝匦回　

图２本系统功能框架图　

基于上述思想，本系统在ｎｕｔｃｈ基础上增加如下模块：主　

题确立模块、主题相关度分析模块、排序模块、中文分词模块、　

正文抽取模块。其中，主题确立模块是辅助模块，不参与数据　

流的处理，主题相关度分析模块、排序模块、中文分词模块、正　

文抽取模块为新增的重点模块。　

３．２系统体系结构　

该系统的体系结构如图３所示。它的功能流程如下：利用　

Ｎｕｔｃｈ的网络爬虫获取ｗｅｂ网页，并对其进行解析。每当获得　

一

定数量的网页后就对这些获取的网页文档进行主题相关性　

判断，如果该文档与主题相关，一方面反作用于网络爬虫，沿　

着该ＵＲＬ信息继续爬行；另一方面把那些与主题相关的网页　

调用Ｎｕｔｃｈ的索引器来建立索引，如果不相关则放弃当前的页　

面，但是把该页面中的ＵＲＬ放人ＵＲＬ候选队列中，用来爬取　

可能的主题页面。然后用户通过搜索器进行主题搜索，对于满　

意的搜索结果调用正文抽取模块进行抽取入库。　

网络　

初始ＵＲＬ列表　

爬行模块　

页面内容　中文分词模块　ｌ　１页面链接　

析模一主题词　

Ｎｕｔ　ｃｈ索引器　

髅募　羹卜　喝胃　

Ｎｕｔｃｈ索引数据库　

正文描取模块ｋ—＿］用户接口　

新闻正文数据库　

图３本系统体系结构图　

颜色较深的模块是本文对Ｎｕｔｃｈ重点改进的部分：　

（１）中文分词模块：中文分词模块在系统中与信息查询模　

块、信息索引模块密切相关，它决定了用户在检索时是否能够　

刘兴邦，等：基于Ｎｕｔｃｈ的物流信息平台网页资源定向采集系统　

得到正确的结果，在Ｎｕｔｃｈ基础上加入中文分词组件，以实　

现中文分词功能。　

网络与信息化　

ｒｅｔｕｒｎ　ａｎａｌｙｚｅｒ．ｔｏｋｅｎＳ￣ｅａｍ（ｉｆｅｌｄＮａｍｅ，ｒｅａｄｅｒ）；　

Ａｎａｌｙｚｅｒ　ａｎａｌｙｚｅｒ＝ｎｅｗ　ｏｒｇ．ｗｈｅａ．ａｎａｌｙｚｅｒ．１ｕｅｅｎｅ．ＩＫＡｎａ－　

（２）相关度分析模块：主题相关度分析模块是系统的核心　

模块之一，它决定页面的取舍，通过修改Ｎｕｔｃｈ代码加入主题　

相似度判别功能，以实现对网页主题进行相似度判定和过滤。　

ｌｙｚｅｒ０；　

ｒｅｔｕｒｎ　ａｎａｌｙｚｅｒ．ｔｏｋｅｎＳｔｒｅａｍ（ｆｉｅｌｄＮａｍｅ，ｒｅａｄｅｒ）；　

｝　

（３）优化排序模块：优化排序模块的作用是对网页的重要　

程度进行排序，把价值高的网页排到前面，以便它们更容易地　

被选择到。通过主题相关度的判定已经能够得到一个比较合　

理的排序，但是为了得到一个更加合理的排序，必须辅助考虑　

（４）修改Ｎｕｔｅｈ／ｂｕｉｌｄ．ｘｍｌ。在＜ｔａｒｇｅｔ　ｎａｍｅ＝“ｗａｒ”ｄｅｐｅｎｄｓ＝　

“ｊａｒ，ｃｏｍｐｉｌｅ，ｇｅｎｅｒａｔｅ—ｄｏｃｓ”＞＜／ｔａｒｇｅｔ＞的＜ｌｉｂ＞＜／ｌｉｂ＞之间＜ｉｎ—　

ｃｌｕｄｅ　ｎａｍｅ＝“ｌｏｇ４ｊ－＊．ｊａｒ”，＞下，加入下面的命令使的编译ｗａｒ　

文件的时候加入ｊｅ—ａｎａｌｙｓｉｓ的ｉａｒ文件：　

其他因素。　

ｆ４）正文抽取模块：正文抽取模块是系统的核心模块之一，　

它决定了网页资源提取的正确与否，通过修改Ｎｕｔｃｈ代码加　

入正文抽取功能，以实现对网页资源的正确提取与入库。　

４　系统核心问题分析　

４．１中文分词　

Ｎｕｔｃｈ平台默认对中文分词的支持是以字为单位的，而在　

汉语中作为能够独立活动的有意义的最小语言成分却是词，　

对单字索引舍造成检索结果中包含太多歧义搭配，并且造成　

搜索引擎存储了大量的冗余信息，因此有必要扩展Ｎｕｔｃｈ的　

功能使其支持以词为单位的中文分词。本文采用ＩＫＡｎａｌｙｚｅｒ　

２０１２实行分词，ＩＫＡｎａｌｙｚｅｒ是一个开源的，基于Ｊａｖａ语言开发　

的轻量级的中文分词工具包，在２０１２版本中，ＩＫ实现ｒ简　

单的分词歧义排除算法。　

具体实现步骤如下：　

（１）修改ＮｕｔｃｈＡｎａｌｙｓｉｓ．ＪＪ。ＮｕｔｃｈＡｎａｌｙｓｉｓ．ｊｊ在ｎｕｔｃｈ／ｓｒｃ／ｊａ—　

ｖａ／ｏｒｇ／印ａｃｈｅ／ｎｕｔｃｈ／ａｎａｌｙｓｉｓ目录，在该史件罩找到Ｐ＜ＳＩＧＲＡＭ：　

＜ｃＪＫ＞＞，这代表按字划分，修改为Ｉ＜ＳＩＧＲＡＭ：ｆ＜ｃＪＫ＞）＋＞，用　

ｊａｖａｃｅ工具生成ＮｕｔｃｈＡｎａｌｙｓｉｓ．ｊｊ的源代码，将生成的所有ｊａｖａ　

源代码（７个文件）全部覆盖到ｓｒｃ／ｊａｖａ／ｏｒｇ／ａｐａｃｈｅ／ｎｕｔｃｈ／ａｎａｌｙｓｉｓ　

包下。　

（２）修改ＮｕｔｃｈＡｎａｌｙｓｉＳ．ｉｌｆＶｆｌ。ＮｕｔｃｈＡｎａ１ｙｓｉｓ．ｉａｖａ在ｎｌｌｔｃｈ／　

ｓｒｃ／ｊａｖａ／ｏｒｇ／ａｐａｃｈｅ／ｎｕｔｃｈ／ａｎａｌｙｓｉｓ目录，首先在ｉｍｐｏｒｔ区域加入　

下面的代码：　

ｉｍｐｏ￣　ｏｒｇ．ｗｈｅａ．ａｎａｌｙｚｅｒ．１ｕｃｅｎｅ．１ＫＴｏｋｅｎｉｚｅｒ；　

然后在两个ＰａｒｓｅＱｕｅｒｙ位置加入ＰａｒｓｅＥｘｃｅｐｔｉｏｎ异常捕　

捉命令。　

（３）修改ＮｕｔｃｈＤ０ｃｕｍｅｎｔＡｎａｌｖｚｅｒ．ｊａｖａ。首先引入ｌＫ包：　

ｉｍｐｏｒｔ　ｏｒｇ．ｗｌｔｅａ．ａｎａｌｙｚｅｒ．１ｕｃｅｎｅ．ＩＫＡｎａｌｙｚｅｒ；　

ｉｍｐｏｒｔ　ｏｒｇ．ａｐａｃｈｅ．１ｕｃｅｎｅ．ａｎａｌｙｓｉｓ．ｔｏｋｅｎａｔｔｒｉｂｕｔｅｓ．　：　

然后修改ｐｕｂｌｉｃ　ＴｏｋｅｎＳｔｒｅａｍ　ｔｏｋｅｎＳｔｒｅａｍ　ｆＳｔｒｉｎｇ　ｆｉｅｈｔ—　

Ｎａｍｅ，Ｒｅａｄｅｒ　ｒｅａｄｅｒ）函数为：　

ｐｕｂｌｉｃ　ＴｏｋｅｎＳ￣ｅａｍ　ｔｏｋｅｎＳｔｒｅａｍ　ｆＳｔｒｉｎｇ　ｆｉｅｌｄＮａｍｅ，Ｒｅａｄｅｒ　

ｒｅａｄｅｒ）｛　

ｉｆ（“ａｎｃｈｏｒ”．ｅｑｕ　ａＩｓｍｅｌｄＮａｍｅ））　

ａｎａｌｙｚｅｒ＝ＡＮＣＨＯＲ

ＡＮＡＬＹＺＥＲ；　

ｅｌｓｅ　

ａｎａｌｙｚｅｒ＝ＣＯＮＴＥＮＴ　

ＡＮＡＬＹＺＥＲ　

：

＜ｉｎｃｌｕｄｅ　ｎａｍｅ＝“ＩＫＡｎａｌｙｚｅｒ３．２．８．ｊａｒ”，＞　

将＜ｔａｒｇｅ　ｔｎａｍｅ＝“ｊｎｈ”ｄｅｐｅｎｄｓ＝“ｃｏｍｐｉｌｅ”＞，修改为＜ｔａｒｇｅｔ　

ｎａｍｅ＝“ｊｏｂ’’ｄｅｐｅｎｄｓ＝“ｃｏｍｐｉｌｅ，ｗａｒ”＞。　

（５）Ａｎｔ。ｃｍｄ进入命令行，切换到Ｎｕｔｃｈ所在目录，执行　

ａｎｔ命令。完成后会在Ｎｕｔｃｈ目录下生成ｈｕｉｌｄ目录。　

（６）文件替换。将ｂｕｉｌｄ／ｎｕｔｃｈ一１．２．ｊｏｂ替换Ｎｕｔｃｈ目录下文　

件，将ｂｕｉｌｄ／ｎｕｔｃｈ一１．２．ｊａｒ替换Ｎｕｔｃｈ目录下文件，将ｂｕｉｌｄ／　

ｎｕｔｃｈ一１．２．ｗａｒ替换Ｎｕｔｃｈ目录下文件。　

目前，ＩＫ分词器自带的主词典拥有２７万左右的汉语单词　

量。同时ＩＫ分词器提供了对词典和用户白定义的停止词（过　

滤词）的扩展支持。主要提供基于ＡＰＩ和基于配置两种扩展方　

式。　

基于ＡＰＩ的词典扩充适用于将词典存储与数据库中的情　

况，ＡＰＩ如下：　

类ｏｒｇ．ｗｈｅａ．ａｎａｌｙｚｅｒ．ｄｉｃ．Ｄｉｃｔｉｏｎａｒｙ，它是ＩＫ分词器的词典　

对象。它负责中文词汇的加载，内存管理和匹配检索。　

基于配置的方法是通过配置ＩＫＡｎａｌｙｚｅｒ．ｃｆｇ．ｘｍｌ文件来扩　

充专有词典以及停止词典（过滤词典）。在配置文件中，用户可　

一

次配置多个词典文件。文件名使用“；”号分隔。　

４－２主题相关度分析　

为了保证爬行获取的网页能够尽量向丰题靠拢，必须对　

网页进行过滤，将主题相关度较低的网贞（小于设定的阈值）剔　

除。如果不进行过滤，根据设定的搜索深度，对所有链接进行　

处理，结果返嘲了大量无用的网页，而目．进一步增加了工作　

量。　

本文主题相关度的计算采用向量空间模型算法。通过构　

造主题用向量、页面主题用向量两个关键向量，利用其夹角的　

余弦表示页面的主题相关度。具体过程如下。　

把关键词的个数ｎ作为向量空间的维数，每个关键词的　

权值ｗ　作为每一维分量的大小，则主题用向量表示为：　

ｄ＝（ａＩ，ａ２，…，ａｎ），ｉ＝１，２，…，ｎ，ａ．＝ｗ，　

对于页面进行分析，统计关键词出现的频率，并求出频率　

之比，以出现频率最高的关键词作为基准，其频率用ｘ　＝１表　

示，通过频率比，求出其他关键词的频率Ｘ。，则该页面对应向量　

的每一维分量为Ｘ　，页面主题用向量表示为：　

卢＝ｒ　，　，，　２　。，…，　，　埘，　Ｊ，ｉ＝　，２，…，ｎ　

用两个向量夹角的余弦表示页面的主题相关度：　

一邶　

等　若　

指定一个阈值ｒ，当ｃｏｓ＜　，Ｂ＞≥ｒ时就可以认为该页面　

３６９—　

网络与信息化　

和主题是比较相关的，ｒ的取值需要根据经验和实际要求确　

定，ｒ较大，则获取的页面较少。　

４．３优化排序　

优化排序模块的作用是对网页的重要程度进行排序，把　

价值高的网页排到前面，以便它们更容易地被选择到。　

ＰａｇｅＲａｎｋ算法认为一个网页被多次引用，则它可能是很重要　

的；一个网页虽然没有被多次引用，但是被重要的网页引用，　

则它也可能是很重要的，这就是权威（Ａｕｔｈｏｒｉｔａｔｉｖｅ）网页，对每　

个网页计算它的权威值，就可以对网页进行排序，从而找到最　

重要的权威网页。　

在对网页进行排序时，可以综合考虑主题相关度和链接　

分析两个关键因素，链接分析主要模仿ＰａｇｅＲａｎｋ算法，因为　

Ｇｏｏｇｌｅ的成功实践证明ＰａｇｅＲａｎｋ算法的结果还是比较令人　

满意的。具体的算法实现中，应该对主题相关度和ＰａｇｅＲａｎｋ　

赋予不同的权重，则网页的重要程度值Ｐ可以表示为：　

Ｐ：Ｗｌ。ＣＯＳ＜０【，ｐ＞＋Ｗ２‘Ｒ（Ｕ）　

ｃｏｓ＜　，Ｂ＞是上述通过主题相关度模块计算出的主题相　

关度的大小；Ｒ（ｎ）＝ｄ∑　∞Ｒ（ｖ）／Ｎ（ｖ）＋（１－ｄ）是利用ＰａｇｅＲａｎｋ　

算法计算出的可用用于页面排序的网页ＰａｇｅＲａｎｋ值，其中ｕ　

是一个网页，Ｂ（ｕ）是指向Ｕ的网页集合，Ｎ（ｕ）是ｕ指向外的链接　

数，ｄ为考虑到实际的冲浪模型引入的衰变因子；　。为主题相　

关度的权重，Ｗ　为Ｒ　Ｊ的权重，二者的取值可以根据实验需求　

选定，必须保证Ｗ　＋　２＝Ｊ。　

４．４正文抽取　

Ｎｕｔｃｈ是基于ｌｕｃｅｎｅ的，虽然ｌｕｃｅｎｅ可以对简单的网页进　

行分析和索引，但网页千差万别，有的结构十分复杂，ｈｔｍｌ解　

析器需要处理的细节更多，有时还需要灵活地根据定制的模　

板提取内容。因此本文采用基于行块分布函数的网页正文抽　

取方法，此算法将网页正文抽取问题转化为求面的行块分布　

函数，并完全脱离ＨＴＭＬ标签，通过线性时间建立行块分布函　

数图，由此可以直接高效、准确的定位网页正文，同时采用统　

计与规则相结合的方法来解决系统通用性问题。其具体工作　

流程如下。　

此方法核心依据有两点：１．正文区的密度；２．行块的长度。　

依据１：一个网页的正文区域肯定是字信息分布最密集区　

域，但不尽然，比如评论信息较长或者网页正文短而又出现大　

篇紧密导航信息时。　

依据２：行块的长度信息可以有效解决上述问题。　

依据１和依据２相结合，就能很好的实现正文提取。将依　

据１和２融合在行块分布函数中，过程如下：　

首先将网页ＨＴＭＬ去净标签，只留所有正文，同时留下标　

签去除后的所有空白位置信息，留下的正文称为Ｃｔｅｘｔ。　

定义１：行块：　

以Ｃｔｅｘｔ中的行号为轴，取其周围Ｋ行（上下文均可，　

Ｋ＜５，这里取Ｋ＝３，方向向下，Ｋ称为行块厚度），合起来称为一　

个行块Ｃｂｌｏｃｋ，行块ｉ是以Ｃｔｅｘｔ中行号ｉ为轴的行块；　

定义２：行块长度：　

一

个Ｃｂｌｏｃｋ，去掉其中的所有空白符（　，＼ｒ，＼ｔ等）后的字　

符总数称为该行块的长度；　

３７０——　

物流技术２０１２年第３１卷第７期（总第２６２期）　

１ｌ　警　

网页ＨＴ皿源码　

ｆ————～　

　Ｉ

预处理：编码、脚本　寻找特征点，取得网　

、

特殊字符　页正文　

ｆ　

过滤后的Ｈ＇Ｉ￣Ｌ　

＼、　———～～　

求行块分布函数　

｝　▲　

ｆ　Ｊｃ　

去除格式标签　＿…一…　’…　

———

—　

—～　

图４基于行块分布函数的正文抽取流程图　

定义３：行块分布函数：　

以Ｃｔｅｘｔ每行为轴，共有ＬｉｎｅｓＮｕｍ（Ｃｔｅｘｔ）一Ｋ个Ｃｂｌｏｃｋ，做　

出以『１，ＬｉｎｅｓＮｕｍ（Ｃｔｅｘｔ）一Ｋｌ为横轴，以其各自的行块长度为　

纵轴的分布函数（ＬｉｎｅｓＮｕｍ（Ｃｔｅｘｔ）是指Ｃｔｅｘｔ总的行数）。　

求正文区域所在的起始行块号Ｘｓｔａｒｔ和终止行块号Ｘｅｎｄ　

（ｘ为行号，Ｙｆｘ）是以ｘ为轴的行块长度），需要满足以下四个　

条件：　

（１）Ｙ（Ｘｓｔａｒｔ）＞Ｙ（Ｘｔ）（Ｙ（ｘｔ）是第一个骤升点，骤升点必须超过　

某一阈值）；　

（２）Ｙ（）（ｎ）≠０（ｎ∈【ｓｔａｒｔ＋１，ｓｔａｒｔ＋ｋ］，Ｋ是行块厚度，紧随骤升　

点的行块长度不能为０，避免噪声）；　

（３）ｙ（ｘｍ）＝Ｏ（ｍ∈【ｅｎｄ，ｅｎｄ＋１］，骤降点及其尾随的行块长度　

为０，保证正文结束）；　

（４）　Ｘ，当取到ｍａｘ（Ｙ（ｘ））时，Ｘ∈［Ｘｓｔａｒｔ，Ｘｅｎｄ］（保证此区　

域是取到行块最大值的区域）。　

为保证存人数据库后，能够保持较为正确的分段，可以在　

去除格式标签前将特定的换行标签替换，例如：　

ｈｔｍｌ＝ｈｔｍ１．ｒｅｐｌａｃｅＡｌｌ（“＜ｂｒ＞”，“ｋｎ”１：　

ｈｔｍｌ＝ｈｔｍ１．ｒｅｐｌａｃｅＡｌｌ（“＜／Ｄ＞”，“、ｌ１”１：　

同时最后利用此标记在相应位置放置换行符，例如：　

ｔｍｐ．ａｐｐｅｎｄ　ｌｉｎｅｓ．ｇｅｔ（ｉｉ）＋“＜ｂｒ＞＜ｂｒ＞＆ｎｂｓｐ；＆ｎｂｓｐ；＆ｎｂｓｐ；　

＆ｎｂｓｐ；”）；　

另一方面，为保证获取正确的网页编码，需要加入网页编　

码获取的子模块。本文采用ｊｅｈａｒｄｅｔ获取网页编码，ｊｃｈａｒｄｅｔ是　

ｎｏｚｉｌｌａ自动字符集探测算法代码的　ａｖａ移植，协议为ＭＰＬ　

（Ｍｏｚｉｌｌａ　Ｐｕｂｌｉｃ　Ｌｉｃｅｎｓｅ），对商业友好。可以先对ｉｃｈａｒｄｅｔ的　

ＨｔｍｌＣｈａｒｓｅｔＤｅｔｅｃｔｏｒ封装以方便使用，例如：　

ＨｔｍｌＣｈａｒｓｅｔＤｅｔｅｃｔｏｒ　ＨＣＤ＝ｎｅｗ　ＨｔｍｌＣｈａｒｓｅｔＤｅｔｅｃｔｏｒ０；　

ＣｈＣｏｄｅ＝ＨＣＤ．ＧｅｔＵｒｌ（ｓｔｒＵＲＬ）；　

ｂｒ＝ｎｅｗ　ＢｕｆｆｅｒｅｄＲｅａｄｅｒ　ｆｎｅｗ　ＩｎｐｕｔＳｔｒｅａｍＲｅａｄｅｒ（ｕｒ１．ｏｐｅｎ—　

Ｓｔｒｅａｍ０，ＣｈＣｏｄｅ））。　

刘兴邦，等：基于Ｎｕｔｃｈ的物流信息平台网页资源定向采集系统　网络与信息化　

从上述测试结果可以看出，人工手动摘录在格式正确率　

５实验结果分析　

５．１爬行结果及分析　

搜索深度：４　ｆ设的较小，为了防止搜索规模过大），线程　

数＝２００　ｆ要求在网络环境较好的情况下），起始种子＝１０（都　

是经过人工选择的较好的种子），阈值ｒ＝０．１，本文所实现的系　

统在收集页面数达到１０　０００个时停止收集，从中随机选择　

１　０００个页面，这１　０００个页面中包含主题相关页面和主题无　

关页面，在系统评价的结果上进行人工评价，得出系统评价精　

度。　

以及内容正确率上仍占优势，尤其是在格式正确率上，但是自　

动解析上传在耗时上比人工手动摘录节约了大量的时间，可　

以看出如果在内容和格式正确率上继续研究将可以节约大量　

的人力。　

６结论　

本文研究了物流信息平台在信息资源采集中存在的问　

题，提出建立基于Ｎｕｔｃｈ的网页资源定向采集系统。实验证明，　

通过此系统，采集的网页资源在主题相关性上达到了较高的　

评价精度，同时利用自动解析方式使在保证较高内容正确率　

的前提下相对于人工手动摘录较大程度减少人工耗时，提高　

表１系统评价表　

系统评价结果　人＿『＿实际评价结果　主题评价精度　

了管理效率，基本达到预期目标。但目前本系统只实现了针对　

静态网页资源的定向采集，因此下一步的工作主要是实现对　

动态网页资源的定向采集。　

【参考文献］　

评价结果ｌ页商数　主题相关　主题无关　

主题相关ｌ　７３７　６Ｏ６　ｌ　３１　８２　２３％　

主题无关ｌ　２６３　６８　１９５　７４１４％　

［１］邵秀丽，刘彬，张涛．基于Ｎｕｔｃｈ的垂直搜索引擎的设计和实［Ｊｌ＿计算　

机Ｔ程与设计，２０１　１，３２（２）：５３９—５４２．　

［２ｉａ仕仲，ｒ宁龙兵．基于Ｎｕｔｃｈ的中文搜索引擎的研究与实现［Ｊｌ＿电脑开　

发与应用，２００９，（７）：７６—７９．　

从表中可以发现，系统在当前的阀值下，已经达到了一定　

的主题评价精度。如需提高评价精度可以通过提高阈值实现。　

５．２效率评价　

在效率评价部分主要选取了１００张网页进行正文上传，　

分别采取人工手动摘录和系统自动解析上传两种方式，结果　

如下：　

【３］余栋柱．用Ｎｕｔｃｈ构建垂直搜索引擎的方案ｃ　Ｊｌｌ工程技术，２００９，（１４）：　

１　ｌ８－１２０．　

表２人＿＿［摘录与系统自动解析方式比较　

方式　

网页总数　

［４］徐健，张智雄．用Ｎｕｔｃｈ基于Ｎｕｔｃｈ的Ｗｅｂ网站定向采集系统ｌ　Ｊ１．现　

代图书情报技术，２００９，ｆ４）：１—６．　

人Ｉ于动摘录　

１Ｏ０　

自动解析上传　

１００　

［５］张锦忻．基于Ｎｕｔｃｈ的中文搜索引擎的构建ｌ　Ｊ１．图书馆研究与工作，　

２００９．ｆ１）：５４—５７．　

格式正确率　９８％　８２％　

［６】于满泉，陈铁睿，许洪波．基于分块的网页信息解析器的研究与设计ｌＪＩ　．

计算机应用，２００５，２５（４），９７４—９７６．　

［７］ｃｘ—ｅｘｔｒａｃｔｏｒ［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｃｘ－ｅｘｔｒａｃｔｏｒ，（２０１２—０５一Ｏ１）．　

内容正确率　

耗时　

９９％　

６０分钟　

９３％　

２０分钟　

（上接第２９５页）在运用指标体系对企业竞争力进行评价时，　

最好选择更多物流行业研究专家、不同企业的中高层管理者　

与物流行业评估专家进行多轮匿名评价，以减少评价误差。　

企业可以根据本文提供的竞争力评价体系，围绕竞争力　

的二级与三级指标合理配置和安排各项资源，认真规划自己　

的发展版图，充分估计企业投资扩张带来的预期利润和增加　

的经营风险，注重向管理要效益，向质量要效益，避免盲目扩　

张带来的管理失控、企业倒闭与资金链断裂等风险。物流企业　

只有在良好的宏观市场环境下，采取“请进来、送出去”的发展　

战略，不断提高自身的运营水平，严格掌控企业盈利能力与偿　

债能力，才能促进企业长久稳健经营，增强企业抵御风险的能　

力，促进竞争力的提升。　

［参考文献】　

息，２００９，（１８）．　

［５］刘建威，姜晶，姜晓彤，肖婷．浅析物流企业核心竞争力『Ｊ１．财经界（学术　

版），２００９，ｆ６）．　

［６］李远远．物流企业核心竞争力分析与综合评价【Ｊ】ｌ价值工程，２００５，（９）．　

［７］娄峰，晋保平．我国商业银行核心竞争力评价指标体系构建及实证分　

析ｌ　Ｊ１．中国证券期货，．２０１１，（７）．　

［８］姜淑华，郭秀英，杜晓春．房地产企业核心竞争力评价指标体系研究啪．　

沿海企业与科技，２００５，（１Ｏ）．　

［９］李勇，丁１３佳，谭智俐．企业财务流程再造经济效益模型及其评价ＩＪＪ．　

商业研究，２００８，（１）．　

［１Ｏ】刘永强．银行业企业核心竞争力评价指标体系的建立及因子分析ｆＪ］．　

商业经济，２００９，（２１）．　

［１１］阮平南，杨丹．战略网络中企业信任度的模糊综合评价『Ｊ］．经济论　

坛，２００９，（１３）．　

［１］何平基，张晓晖，王春梅第三方物流企业核心竞争力评价模型ｌＪ１＿物　

流工程与管理，２０１０，（９）．　

［２］王玲玲，李晓萍．第三方物流企业核心竞争力评价研究ｌ　Ｊｌｌ交通科技　

与经济，２００９，（１）．　

［３］李春香．我国物流企业核心竞争力的制约冈素及策略ｌＪ１．求索，２００９，　

（１）．　

［１２］孙庆莉．某集团公司西部地区成品油一次配送优化系统应用研究［Ｄ］．　

天津：天津大学，２０１１．　

［１３］张志斐．南通烟草构建现代物流体系研究［Ｄ］．南京：南京理工大学，　

２０１１．　

【４］徐述．供应链管理模式下物流企业核心竞争力的模糊评价『Ｊ　Ｊｌ科技信　

［１４］徐林华．基于Ｆｌｅｘｓｉｍ的仓储物流系统仿真与优化研究［Ｄ］．青岛：山　

东科技大学，２０１１．　

［１５］邹挺．基于蚁群和人］二鱼群　昆合群智能算法在物流配送路径优化　

问题中的应用研究【Ｄ］．苏州：苏州大学，２０１１．　

３７１——