结构和内容联合提取的XML网页分类研究

２００９年５月　

天津大学学报（社会科学版）　第１１卷第３期　

Ｍａｖ　２００９　

ＪＯＵＲＮＡＬ　０Ｆ　ＴＩＡＮＪＩＮ　ＵＮＩＶＥＲＳＩＴＹ（ＳＯＣＩＡＬ　ＳＣＩＥＮＣＥＳ）　

Ｖｏ１．１１　Ｎｏ．３　

结构和内容联合提取的ＸＭＬ网页分类研究　

阎红灿　，李敏强　，任蕴丽　，阎少宏２　

（１．天津大学管理学院，天津３０００７２；２．河北理工大学理学院，唐山０６３００９；　

３．河北科技师范学院数理系，秦皇岛０６６００４）　

摘　要：针对ＸＭＬ网页特点，重点研究了ＸＭＬ文档结构和内容特征的提取方法，提出了一种基于频繁结构层次空　

间模型的联合特征提取策略，并给出了结构特征权重和关键词出现的位置及频度权重的计算公式，并根据计算结果提　

取ＸＭＬ网页特征矩阵，分别就结构、内容联合提取三种情况进行分类测试，通过ＲＯＳＳＥＴＡ系统，利用粗糙集优越的属　

性约简构造文本分类系统，实现ＸＭＬ文档分类。实验表明，该方法分类准确度较高，计算量较小。　

关键词：ＸＭＬ网页分类；频繁结构层次空间模型；联合特征提取；粗糙集；网页特征矩阵　

中图分类号：Ｆ２７０．７　文献标志码：Ａ　文章编号：１００８—４３３９（２００８）０３—０２７２－０５　

随着Ｗｅｂ网上数据传递的增多，ＨＴＭＬ存在的　方法要么仅研究文档的结构关系，没有考虑文本内　

缺点越来越明显，必须有一种方法能够把数据和显示　容，或者针对特定的挖掘技术，虽然想法新颖，可推广　

分离出来，于是出现了ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎ—　

性较差。　

ｇｕａｇｅ）。ＸＭＬ保留了很多ＳＧＭＬ标准的优点，更容　

本文结合ＸＲｕｌｅｓ（ｓｔｒｕｃｔｕｒａｌ　ｒｕｌｅ—ｂａｓｅｄ　ｃｌａｓｓｉｉｉｆｃａ—　

易操作，便于在ｗｗｗ环境下实现，特别自我描述方　

ｔｉｏｎ）规则、无序频繁子树挖掘算法　Ｊ和Ⅳ层向量空间　

式定义的数据结构，能够体现数据之间的关系，便于　

模型［５　Ｊ，提出了一种综合利用ＸＭＬ分层结构信息和　

应用程序操作，因而ＸＭＬ成为网上数据表示和交换　

关键词内容信息［７－８］进行文档分析的数据模型——频　

的主要格式，出现了大量丰富信息的ＸＭＬ页面。如　繁结构层次向量空间模型，通过构造决策表，利用粗　

何有效地存储、管理、利用这些数据，已成为Ｉｎｔｅｒｎｅｔ　糙集理论的属性约简达到特征值降维目的【９　，实现　

领域内亟待解决的问题，其中对文本进行自动分类处　了基于规则的分类方法。实验表明，此方法不仅具有　

理就是一个重要的组成部分。　

更高的准确性，而且计算代价更小。　

ＸＭＬ文档是文本内容信息与结构信息的综合　

体，ＸＭＬ文档分析区别于传统文本分析的关键在于　

一

、

ＸＭＬ文档模型及特征分析　

结构信息的获取与利用，一般文件的分类方法不但体　

现不出ＸＭＬ文件的优点，更可能使得分类效果相对　

ＸＭＬ文档是文本文件，均为Ｕｎｉｃｏｄｅ编码，基本　

于普通文本更差，因此有必要研究一种专门针对　

内容包括ＸＭＬ声明、注释、标记、元素、属性和内容　

ＸＭＬ文档的分类方法。　

这样几个部分，前两部分主要表明文件的版本信息和　

近年来，国内外研究者Ｘ，￣ＸＭＬ文档等半结构化　

用途等内容，数据部分体现在后四部分，是我们主要　

数据的分析处理给予了越来越多的关注，但文本挖掘　研究对象。一个有效的ＸＭＬ文档被视为一棵带标签　

方面的研究成果相对较少。Ｙｉ等人提出了一种用于半　的结点树，称为文档模型，图１所示为杂志和会议论　

结构化文档分类的扩展向量模型，采用嵌套定义的向　

文集中学术论文的ＸＭＬ文档结构模型（图中不分元　

量描述文档元素，通过概率统计方法进行分类Ｌｌ　Ｊ，　

素和属Ｉ性，均为标签名称）。一个ＸＭＬ文档对应一棵　

Ｄｅｎｏｙｅｒ等人提出了利用贝叶斯网络模型进行半结构　

有向树　＜　，　，其中　由文档中所有标签元素结　

化文档分类的方法ｌ２］，Ｆｌｅｓｃａ等人将结构信息看做时　

点或者标签的属性构成，集合　可定义为：若元素口　

序关系，通过时序分析计算文档结构相似性＿３】。这些　∈Ｖ，且元素的子元素或属性ｂ∈Ｖ，则（ａ，ｂ）∈Ｅ。　

收稿日期：　

２００８—０３．０４．　

基金项目：　

高等学校博士学科点专项科研基金资助项目（２００２００５６０４７）　

作者简介：　

阎红灿（１９６８一　），女，副教授　

通讯作者：　

李敏强，ｍｑｌｉ＠０ｕ　ｅｄｕ，ｅｌｌ　

２００９年５月　阎红灿等：结构和内容联合提取的ＸＭＬ网页分类研究　

图１杂志和会议论文集ＸＭＬ文档结构模型　

从图１可以看出，ＸＭＬ文档中元素和子元素构　

ｍｏｄｅ１）中的文本段，整个ＸＭＬ文档则被量化为一组　

成了文件的分层结构，位于不同层次的结点标记具有　

向量，以一个矩阵来表示，称为特征值矩阵，如表１所　

不同的重要性，据此分类时应有不同的权重分配，文　示，从而达到将半结构化文本的结构分析与文本内容　

档中的数据关键词信息基本出现在文档树中的叶结　

分析相结合的目的。　

点上，因此根据内容分类时可以只考虑叶结点。　

表１频繁结构层次向量空间模型的特征值矩阵　

二、ＸＭＬ文档结构与内容的联合相关度　

文本结构特征　文本内容特征（关键词）　

（频繁结构）　Ｋｅｙ１　Ｋｅｙ２　ｋｅｙ　

ｄｘ（１，１）　（ｋ（１，２）　（ｈ（１，ｍ）　

ＸＲｕｌｅｓ分类只考虑ＸＭＬ文档结构信息，通过挖　

ｄｒ（２，１）　ｄｘ（２，２）　（ｈ（２，　）　

●　

掘满足一定支持度的结构规则进行分类，适用于　

：　

ＸＭＬ结构信息利用，如生物信息学等领域。很显然，　

ｓｋ　ｄｘ（ｋ，１）　（　，２）　ｄｘ（ｋ，ｍ）　

除了结构影响ＸＭＬ的分类外，文档内容中的关键词　

２．结构和内容联合相关度计算　

对分类也起着重要的作用，如两篇文献资料按照学术　

ＸＭＬ文档频繁结构的挖掘采用ＴｒｅｅＭｉｎｅｒ＋算法，　

研究领域分类既要考虑其文档结构，同时更要处理其　结构单元中的结点记载了源文档中的层次属性，这与　

中描述的内容。　

文本内容的权重相关。图１中的频繁结构（假定　

１．频繁结构层次向量空间模型　

Ｍｉｎｓｕｐ＝５０％）中，结点集合｛Ｊｏｕｒｎａｌ，Ｎａｍｅ，Ｖｏｌ，　

作者在详细描述了频繁结构向量空间的构造方　

Ａｒｔｉｃｌｅｓ，Ｔｉｔｌｅ，Ａｕｔｈｏｒ，Ａｂｓｔｒａｃｔ，ＫｅｙＷｏｒｄ，ＦｕｌｌＴｅｘｔ，　

法的基础上提出了频繁结构层次向量空间模型。该　

Ｃｏｎｆｒｅｎｃｅ，Ｒｅｓｕｍｅ｝均为频繁结点，即为１一Ｓｕｂｔｒｅｅ，２．　

模型将一个文档从结构上划分为ＪＶ层，对频繁结构　

Ｓｕｂｔｒｅｅ共有１　８棵，图２所示为部分２－Ｓｕｂｔｒｅｅ。每个　

中基于每层的文本段内容（叶结点）建立相应的文本　

频繁结构的权重函数为　

特征向量及文本层次权值向量。这样将每个频繁结　

严　（Ｓ　）×Ｂ（Ｓｊ）Ｘ　ｌｏｇ（ＩＤＩ４ＤＦ（ｓ　）＋０．５）　（１）　

构看做是一个列向量，类似于Ⅳ层ＶＳＭ（ｖｅｃｔｏｒ　ｓｐａｃｅ　

詈譬蓦罟罟罢害　

对每个文档模型树的叶结点按先序编号，如图３　

所示的文档树，分别统计计算各个叶结点关键词的频　

ｅｒ（ｄ）：　

．

率ＴＦ＝ｔｆ（　。叶结点文本关键词在文档中的位置权　

／Ｚ（ｒｅＬ＇￣ｌｏｇ（Ｎ／ｎｆ））　

值Ｗ＝父结点层权值／兄弟节结点个数（根结点层数为　

式中：Ⅳ为所有文档的数目；，ｚ　为出现该关键词的文　

１，其中∑Ｗ：１）。如Ｎａｍｅ的位置权值为１／３，Ａｕｔｈｏｒ　

本数。　

的位置权值为１／９。ＸＭＬ文档ｄ中第ｋ关键词的频率　

ＸＭＬ文档被看成是由文档结构和若干关键词的　

表示为　

特征构成，每个文档被表示成一个　×ｍ的矩阵（表１　

ＴＦ＝∑（ｗ　ＴＦ）　（２）　

所示），其中　为文档集合中频繁结构的个数（按照支　

结合Ｓａｌｔｏｎ提出的普通本文和ＨＴＭＬ的权值计算　

持度降序排列），ｍ为文档集合中关键词的个数，矩阵　

方法ｌｌ引，修正各关键词相关度计算公式为　

元素　（ｆ，　）表示在文档ｄｏｃ　中关键ｉＮｋｅｙｊ在频繁结构　

天　津大　学　学　报（社会科学版）　２００９年５月　

岛中的权重。　

①　

图３　ＸＭＬ文档树的叶结点编号　

三、基于粗糙集的分类方法　

在进行特征权重计算和特征过滤后，得到训练集　

ＸＭＬ文档的结构和内容特征值矩阵，示意图如表２　

所示，其中－５Ｔ＝｛　ｌ，　…．，　｝为满足最小支持度的频繁　

结构集合，Ｄｓ表示每个频繁结构的权重，由式１得　

到。｛ｋｅｙ１，ｋｅｙ２……ｋｅｙ　｝为特征关键词，　（ｓｊ）表示　

关键词ｉ在结构ｓｊ，出现的频率，由式２得到。　

表２　ＸＭＬ文档的频繁结构层次向量空间特征值　

Ｄｓ　ｋｅｙｌ　ｋｅｙ２　ｋｅｙ　

Ｓ１　ｄＳｌ　ＴＦｌ（Ｓ，）　ＴＦ２（Ｓ】）　刀　（　１）　

ｄＳ２　７Ｆｌ（　）　（　）　刀　（　）　

●　●　

：　：　

最　ｄＳｋ　刀　（＆）　ｚ　（　）　丁　（　）　

罗塞塔是挪威科技大学计算机与信息科学学院　

开发的在粗糙集理论的框架中进行数据分析的一个　

全面的软件系统，拥有一套灵活和强大的算法，并把　

这些算法放在一个用户友好的设计环境下旨在支持　

所有基于可分辨建模理论的情形，能够很好地进行属　

性约简、规则抽取、分类和绩效评价。本文采用　

ＲＯＳＳＥＴＡ系统对测试数据集进行分类，图４为系统　

的详细处理流程。　

图４　ＲＯＳＳＥＴＡ系统机器学习结构　

被输入的决策系统　的内容为测试文档集合的特　

征值（见表２）。　第一次清除缺失值产生Ａ１，然后在分　

裂成两个不相交的子系统Ａ２和　３。Ａ２离散成一个两　

阶段程序，　用Ａ：计算产生的截集来进行离散。然　

后由　２计算出约简和规则，并把生成的规则进行分　

类。　

（１）基于结构的分类。不考虑文档内容，只保留表　

２中频繁结构的特征值权重Ｄｓ列，整个ＸＭＬ文档集　

合的频繁结构构成特征空间，生成矩阵　的内容。　

（２）基于内容的分类。不考虑文档结构，只保留　

表２中关键词的权重，整个ＸＭＬ文档集合的特征词　

构成特征空间，由式３生成矩阵　的内容。　

（３）基于结构和内容联合的分类。ＸＭＬ文档分　

类有时受结构影响程度较大，如从发表论文是杂志论　

文还是会议论文角度出发，图１中的文档２和图３中　

的文档属于一类，但有时从文章论述内容出发，关键　

词特征起重要作用，所以一个文档有时同属于多类。　

对结构和内容分别分配不同的权重可以联合提取其　

特征值，以达到不同分类目的。　

每个频繁结构中的关键词特征事件是独立事件，　

每个频繁结构与在这个结构中出现的关键词之间是　

先验事件，表２中文档的每个关键词　在整个文档　

的权重　Ｈ除了与其所在文档层次有关外，还与其所　

在频繁结构的权重有关，所以将其修订为公式４，即　

解释为文档ｄ中第ｉ个关键词的权重为此关键词在　

每个频繁结构的频次与频繁结构权重的乘积累加。　

（　＝￣ＴＦｋ（Ｓｋ）　ｄｓｋ　ｋ＝ｌ，２…．，／／／　（４）　

这样，每个文档的频繁结构层次向量空间由矩　

阵规划为一个向量，整个ＸＭＬ文档集合的结构和　

内容特征规划为ｍ个关键词的权重值矩阵，即为　

的内容。由此文档集合的特征值矩阵可以表示为表　

３所示。　

表３　ＸＭＬ文档集合的特征值矩阵　

权重　∑　Ｆ１　∑　∑　

（＆）＊ｄｓ　（＆）＊ｄｓ　（Ｓｋ）＊ｄｓ　

文档１（ｔ１）　ＷＩ１　Ｗ｜２　Ｗｉｅｒ　

文档２（ｔ２）　Ｗ２１　Ｗ２２　Ｗ２ｍ　

文档ｎ（ｔｎ）　Ｗｎｌ　２　Ⅵ　

四、实验结果及分析　

实验使用ＡＭＤ双核Ａｔｈｌｏｎ　４０００＋２．１０ＧＨｚ　

ＣＰＵ，１Ｇ内存的个人计算机，所用操作系统为　

Ｗｉｎｄｏｗｓ　２０００　Ｓｅｒｖｅｒ，所有算法均使用Ｊａｖａ语言实　

现，所用ＪＤＫ为Ｊａｖａ　２　Ｐｌａｔｆｏｒｍ　Ｓｔａｎｄａｒｄ　Ｅｄｉｔｉｏｎ　５．０　

标准版。　

１．数据集与实验设计　

实验数据分为两类：一类采用ＡＣＭＳＩＧＭＯＤ数　

据集中的Ｏｒｄｉｎａｒｙ　Ｉｓｓｕｅ　Ｐａｇｅ和Ｉｎｄｅｘ　Ｔｅｒｍｓ　Ｐａｇｅ　

２００９年５月　阎红灿等：结构和内容联合提取的ＸＭＬ网页分类研究　

ＸＭＬ文件，用于基于文档结构的分类测试。数据子　

（ｉａｍｇｅ，ｌｉｎｋ，ｃｏｐｙｒｉｇｈｔ，ｇｕｉｄ等），主要对其中ｉｔｅｍ项　

集使用情况见表４，文档总数中的第一个数字为训练　进行结构和内容的联合特征提取测试。为了简化实　

集，后一个数字为测试集。ＡＣＭＳＩＧＭＯＤ文档中带　验过程，内容特征的提取采用人工方法完成。　

有分类信息，每个文档通常属于多个分类，如果一个　

文档特征符合多个文档的分类规则，认为这个文档同　

属多类，实验中采用分类信息来替代人工标注。实验　

结果的准确率采用公式５进行评价。　

（分类正确的文档数）／（测试文档总数）　（５）　

ｆａ）每页新闻网主文档结构　（ｂ）每项新闻结构　

表４实验中使用的数据子集　

图５新闻网页的主要结构元素　

数据集　源数据　文档总数　

ＡＣＭＳＩＧＭ０Ｄ．１　ＯｒｄｉｎａｒｙＩｓｓｕｅＰａｇｅ（１　９９９）　４０＋２０　

共提取这样的ＸＭＬ网页２００篇，其中１５０篇作　

ＡＣＭＳＩＧＭＯＤ一２　ＯｒｄｉｎａｒｙｌｓｓｕｅＰａｇｅ（２００２）　２Ｏ＋１０　

为训练集，分别为财经、军事、汽车、科技、体育５类，　

ＡＣＭＳＩＧＭＯＤ一３　ＩｎｄｅｘＴｅｒｍｓＰａｇｅ（１　９９９）　４０＋２０　

通过两种情况进行实验比较：一是对于每个ＸＭＬ文　

另一类数据使用新浪网ＲＳＳ频道聚合（ｈｔｔｐ：　档，仅考虑关键词特征频度；二是对于每个ＸＭＬ文　

／／ｒｓｓ．ｓｉｎｓ．ｃｏｒｎ．ｃｎ）网站提供的基于ＸＭＬ格式的简易　

档关键词，考虑文档的频繁结构和关键词的位置权值　

ＲＳＳ新闻，每类新闻网页的主文档结构树如图５（ａ）　

和频度。获得特征值　后仍然使用ＲＯＳＳＥＴＡ系统　

所示，每项新闻结构如图５（ｂ）所示，为了说明结构和　

进行训练和测试，实验结果如表５所示，查准率采用　

内容对分类的影响，我们有意对部分ＸＭＬ网页文件　公式５评价，查全率采用公式６评价。　

做了一些结构修改，比如增删一些不太重要的元素　

：

（分类正确的文档数）／（该类应有的文档数）　（６）　

表５基于ＸＭＬ文档结构和关键词特征分类实验结果　

数据集　财经Ｎｅｗｓ　军事Ｎｅｗｓ　汽车Ｎｅｗｓ　科技Ｎｅｗｓ　体育Ｎｅｗｓ　

训练样本（１５０）　３Ｏ　３０　３０　３Ｏ　３０　

测试样本（５０）　１Ｏ　ｌ０　１０　ｌ０　１０　

频繁结构集合（４８）　１２　８　９　ｌｌ　８　

关键词集合（２３２）　６２　４４　２５　６５　３６　

查全率／％　只考虑关键词　７５．６　７６＿８　８５－２　７２．３　８５　

结构和内容联合　９１．５　９３．１　９５＿８　９２ｌ３　９６－２　

查准率／％　只考虑关键词　８３．２　８６．５　８７．４　８４．６　８７．６　

结构和内容联合Ｓｔｒｕｃｔｕｒｅ　’　９５．６　９７．２　９７．６　９６－３　９８　１　

２．实验结果分析　

第一组数据集主要针对ＸＭＬ文档结构分类。从　

实验结果（见图６）中可以看出，采取频繁结构向量空　

间模型作为ｘＭＬ文档结构分类有很高的准确率，而且　

频繁子树的最小支持度越低，频繁结构越多，计算精　

度越高，一般情况下，ｍｉｎｓｕｐ阈值为０．７即可达到要　

求，特别对文献类文档。结构分类准确率可以达到　

９８％。　

最小支持厦　

第二组数据主要针对文档内容和结构的特征联　

图６不同数据集上的相似度准确率　

合分类，从实验结果表４中可以看出，在ＸＭＬ文档　

从实验数据可以看出，在ＸＭＬ文档分类中，有　

分类中，只考虑文档内容，即关键词信息，查全率都在　些文档集合适合按结构分类，如文献类资料的出版形　

７０％一８５％之间，查准率在８５％左右，同时考虑文档　

式分类、网页结构分类等；有些文档集合必须同时考　

内容和结构，联合提取结构和关键词特征值，分类具　虑文档内容和结构，联合提取结构和关键词特征值，　

有更高的查全率和查准率，均在９０％以上，特别是体　

分类才具有更高的查全率和查准率，如Ｗｅｂ网页的　

育新闻类网页查准率可以达到９８％。　

检索。　．　

・２７６・　天津　大　学　学　报（社会科学版）　２００９年５月　

五、结语　

ｓｉｎ，２００２：１２４－１３１．　

［４］　马海兵，王兰成．高效挖掘无序频繁子树［Ｊ］．小型微　

ｘＭＬ网页分类是实现Ｗｅｂ信息分类检索的关键　

型计算机系统，２００６，２７（１　１）：２１０４—２１０８．　

［５］张冉，卡米力－毛依丁．基于ＸＭＬ和Ｎ层ＶＳＭ的　

ｗｅｂ信息检索［Ｊ］．计算机技术与发展，２００６，１６（５）：　

５６—５８．　

技术，传统的信息检索模型已经不适合这种半结构化　

数据的分析处理，近年研究者虽然提出了各种结构分　

类方法，但是没有考虑文本内容信息，况且以图和距　

离计算为核心，计算复杂，难以用于大文档集合的分　

类。本文提出的频繁结构向量空间模型联合考虑文　

［６］牛强，王志晓，陈岱，等．基于ＳＶＭ的中文网页分　

类方法的研究［Ｊ］．计算机工程与设计，２００７，２８（８）：　

档结构和内容，提高了分类准确率，同时采用　

ｌ８９３一ｌ８９５．　

ＴｒｅｅＭｉｎｅｒ　算法挖掘频繁子树，通过联合提取结构和　

［７］袁家政，须德，鲍泓，等．基于结构与文本关键词相　

内容特征，通过向量内积的形式计算文档相似度，减　

关度的ＸＭＬ网页分类研究［Ｊ］．计算机研究与发展，　

少了时间开销。　

２００６，４３（８）：１３６１．１３６７．　

［８］唐凯．基于内容和分层结构的ＸＭＬ文件自动分类　

参考文献：　

方法［Ｊ］．计算机工程与应用，２００７，４３（３）：１６８—１７２．　

Ｊ．Ｓｕｎｄａｒｃｓａｎ　Ｎ．Ａ　ｃｌａｓｓｉｉｆｅｒ　ｆｏｒ　ｓｅｍｉ—ｓｔｒｕｃｔｕｒｅｄ　

［９］韩景倜，卢致杰，覃正．基于ＸＭＬ的复杂信息系统　

ｄｏｃｕｍｅｎｔｓ［Ｃ］／／Ｒａｍａｋｒｉｓｈｎａｎ　Ｒ，Ｓｔｏｌｏｆ　Ｓ，Ｐｒｅｇｉｂｏｎ　Ｄ．　

自动分类方法［Ｊ］．系统１二程理论与应用，２００５，１４（６）：　

Ｐｒｏｃ　ｏ『ｔｈｅ　ｈ　ＡＣＭ　ＳＩＧＫＤＤ　Ｉｎｔ’ｌ　Ｃ０ｎｆ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　

４８８—４９２．　

Ｄｉｓｃｏｖｅｒｙ　ａｎｄ　Ｄａｔａ　Ｍｉｎｉｎｇ．Ｎｅｗ　Ｙｏｒｋ：ＡＣＭ　Ｐｒｅｓｓ，　

［１０］王效岳，白如江．基于变精度粗糙集模型的ｗｅｂ文档　

２０００：３４０—３４４．　

分类方法［Ｊ］．现代图书情报技术，２００５，１３１（１２）：５１．　

［２］　

Ｄｅｎｏｙｅｒ　Ｌ．Ｇａｌｌｉｎａｒｉ　Ｐ　Ｂａｙｅｓｉａｎ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｆｏｒ　

５４．　

ｓｅｍｉ．ｓｔｕｒｃｔｕｒｅｄ　ｄｏｃｕｍｅｎｔ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｊ］。Ｉｎｆｏｒｍａｔｉｏｎ　

［１１］李滔，王俊普，徐杨．一种基于粗糙集的网页分类　

Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄＭａｎｇｅｍｅｎｔ，２００４，４０（５）：８０７—８２７．　

方法［Ｊ］．小型微型计算机系统，２００３，２４（３）：５２１．５２４．　

［３］　

Ｆｌｅｓｃａ　Ｓ，Ｍａｎｃｏ　Ｇ，Ｍａｓｃｉａｒｉ　Ｅ，ｅｔ　ａ１．Ｄｅｔｅｃｔｉｎｇ　ｓｔｒｕｃｔｕｒａｌ　

［１２］Ｓａｌｔｏｎ　Ｇ．Ｉｎｔｒｏｄｕｃｔｉｏｎ　ｔｏ　Ｍｏｄｅｍ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅ—　

ｓｉｍｉｌａｒｉｔｉｅｓ　ｂｅｔｗｅｅｎ　ＸＭＬ　ｄｏｃｕｍｅｎｔｓ［Ｃ］／／Ｐｒｏｃ　５　Ｉｎｔ’　

ｔｒｉｅｖａｌ［Ｍ］　Ｎｅｗ　Ｙｏｒｋ：ＭｃＧｒａｗ　Ｈｉｌｌ　Ｂｏｏｋ　Ｃｏｍｐａｎｙ，　

Ｗｏｒｋｓｈｏｐ　ｏｎ　ｔｈｅ　Ｗｅｂ　ａｎｄ　Ｄａｔａｂａｓｅｓ．Ｍａｄｉｓｏｎ：Ｗｉｓｃｏｎ—　

１９８３：ｌ２４．１５６．　

Ｓｔｕｄｙ　ＸＭＬ　Ｐａｇｅｓ　Ｃｌａｓｓｉｉｆｃａｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｃｏｍｂｉｎｅｄ　Ｓｔｒｕｃｔｕｒｅ　ａｎｄ　

Ｃｏｎｔｅｎｔ　Ｅｘｔｒａｃｔｉｏｎ　

ＹＡＮ　Ｈｏｎｇ．ｃａｎ　＇　，ＬＩ　Ｍｉｎ—ｑｉａｎｇ　，ＲＥＮ　Ｙｕｎ—ｌｉ　，ＹＡＮ　Ｓｈａｏ—ｈｏｎｇ　

（１．Ｓｃｈｏｏｌ　ｏｆ　Ｍａｎａｇｅｍｅｎｔ，Ｔｉａｎｊｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ　３０００７２，Ｃｈｉｎａ；２．Ｃｏｌｌｅｇｅ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｈｅｂｅｉ　Ｐｏｌｙｔｅｃｈｎｉｃ　

Ｕｎｉｖｅｒｓｉｔｙ，Ｔａｎｇｓｈａｎ　０６３００９，Ｃｈｉｎａ；３．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ｐｈｙｓｉｃｓ，Ｈｅｂｅｉ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｃｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　

ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｑｉｎｈｕａｎｇｄａｏ　０６６００４，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｆｅａｔｕｒｅ　ｏｆ　ＸＭＬ　Ｗｅｂ　ｐａｇｅ，ｗｅ　ｒｅｓｅａｒｃｈｅｄ　ｔｈｅ　ｍｅｔｈｏｄ　ｔｏ　ｅｘｔｒａｃｔ　ｓｔｒｕｃｔｕｒｅ　ａｎｄ　ｃｏｎｔｅｎｔ　

ｆｅａｔｕｒｅｓ　ｆｒｏｍ　ＸＭＬ　ｄｏｃｕｍｅｎｔｓ，ｐｒｏｐａｓｅｄ　ａｎ　ｅｆｉｆｃｉｅｎｔ　ｓｔｒａｔｅｇｙ　ｏｆ　ｅｘｔｒａｃｔｉｎｇ　ｃｏｍｂｉｎｅｄ　ｆｅａｔｕｒｅｓ　ｂａｓｅｄ　ｏｎ　ｆｒｅｑｕｅｎｃｙ　

ｓｔｒｕｃｔｕｒｅ　ｈｉｅｒａｒｃｈｙ　ｓｐａｃｅ　ｍｏｄｅｌ，ｐｒｏｖｉｄｅｄ　ｔｈｅ　ｃａｌｃｕｌａｔｉｎｇ　ｍｅｔｈｏｄ　ｏｆ　ｔｈｅ　ｆｅａｔｕｒｅ　ｗｅｉｇｈｔ　ｏｆ　ｓｔｒｕｃｔｕｒｅ，ｔｈｅ　ｐｏｓｉｔｉｏｎ　ｗｅｉｇｈｔ　

ａｎｄ　ｔｈｅ　ｆｒｅｑｕｅｎｃｙ　ｏｆ　ｋｅｙｗｏｒｄｓ，ａｎｄ　ｔｈｅｎ　ｏｂｔａｉｎｅｄ　ｔｈｅ　Ｗｅｂ　ｐａｇｅ　ｆｅａｔｕｒｅ　ｍａｔｒｉｘ．Ｔｈｒｅｅ　ｉｎｓｔａｎｃｅｓ　ｏｆ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｂａｓｅｄ　

ｏｎ　ｓｔｒｕｃｔｕｒｅ，ｃｏｎｔｅｎｔ，ａｎｄ　ｃｏｍｂｉｎｅｄ　ｓｔｒｕｃｔｕｒｅ　ａｎｄ　ｃｏｎｔｅｎｔ　ｗｅｒｅ　ｅｘｐｅｒｉｍｅｎｔｅｄ　ｏｎ　ｓｅｐａｒａｔｅｌｙ　ｂｙ　ＲＯＳＳＥＡＴＡ　ｓｙｓｔｅｍ，　

ｕｓｉｎｇ　ｔｈｅ　ｓｕｐｅｒｉｏｒ　ｒｅｄｕｃｔｉｏｎ　ｏｆ　ｔｈｅ　ｒｏｕｇｈ　ｓｅｔｓ　ｔｏ　ｃｏｎｓｔｒｕｃｔ　ａ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｓｙｓｔｅｍ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　

ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｈａｓ　ｈｉｇｈ　ａｃｃｕｒａｃｙ，ｂｕｔ　ｃｏｓｔｓ　ｌｅｓｓ　ｔｉｍｅ．　

Ｋｅｙｗｏｒｄｓ：ＸＭＬ　ｐａｇｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｆｒｅｑｕｅｎｔ　ｓｔｒｕｃｔｕｒｅ　ｈｉｅｒａｒｃｈｙ　ｓｐａｃｅ　ｍｏｄｅｌ；ｃｏｍｂｉｎｅｄ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ；ｒｏｕｇｈ　

ｓｅｔ；Ｗｅｂｐａｇｅｆｅａｔｕｒｅｍａｔｒｉｘ