XML与全文检索在CMS数据归档中的应用

ＸＭＬ与全文检索在ＣＭＳ数据归档中的应用　

文章编号：１００３－５８５０（２０１２）０１—００７０—０３　

ＸＭＬ与全文检索在ＣＭＳ数据归档中的应用　

王军，张兴忠　

（太原理工大学计算机科学与技术学院，太原０３００２４）　

摘要：目前ＣＭＳ（内容管理系统）大量应用于电子商务和企业信息化建设中。将ＸＭＬ与基于ｌｕｃｅｎｅ的全文检索技术应用于　

ＣＭＳ数据归档过程中，实现了各种结构化、非结构化及半结构化数据的存储、检索和利用，从而解决现有ＣＭＳ系统存在的内容繁　

杂、管理效率低下等问题。　

关键词：ＸＭＬ，全文检索，ｌｕｃｅｎｅ，ＣＭＳ，数据归档　

中圈分类号：ＴＰ３１１　文献标识码：Ａ　

Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ＸＭＬ　ａｎｄ　Ｆｕｌｌ－ｔｅｘｔ　Ｓｅａｒｃｈ　ｔｏ　ｔｈｅ　ＣＭＳ　Ｄａｔａ　Ａｒｃｈｉｖｉｎｇ　

ＷＡＮＧ　Ｊｕｎ，ＺＨＡＮＧ　Ｘｉｎｇ－ｚｈｏｎｇ　

（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｏｇｙ，Ｔａｂ，ｕａｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ　０３００２４，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｃｕｒｒｅｎｔｌｙ，Ｔｈｅ　ＣＭＳ（Ｃｏｎｔｅｎｔ　Ｍａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍ）ｉｓ　ｗｉｄｅｌｙ　ｕｓｅｄ　ｉｎ　ｔｈｅ　ｄｏｍａｉｎ　ｏｆ　ｅ－ｃｏｍｍｅｒｃｅ　

ａｎｄ　ｅｎｔｅｒｐｒｉｓｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｃｏｎｓｔｒｕｃｔｉｏｎ．Ｔｈｉｓ　ｐａｐｅｒ　ａｐｐｌｉｅｄ　ＸＭＬ　ａｎｄ　ｆｕｌｌ　ｔｅｘｔ　ｓｅａｒｃｈ　ｔｅｃｈｎｏｌｏｇｙ　ｂａｓｅｄ　ｏｎ　

ｌｕｃｅｎｅ　ｉｎ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｄａｔａ　ａｒｃｈｉｖｉｎｇ．Ｉｔ　ｒｅａｌｉｚｅｄ　ｔｈｅ　ｓｔｏｒａｇｅ，ｒｅｔｒｉｅｖａｌ　ａｎｄ　ｕｓｅ　ｏｆ　ｓｔｒｕｃｔｕｒｅｄ　ｏｒ　ｓｅｍｉ－　

ｓｔｒｕｃｔｕｒｅｄ　ｄａｔａ，ａｎｄ　ｔｈｅｎ　ｓｏｌｖｅｄ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｏｆ　ｃｏｎｔｅｎｔ　ｍｕｌｔｉｆａｒｉｏｕｓ，ｌｏｗ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｍａｎａｇｅｍｅｎｔ　ｏｆ　ｔｈｅ　

ｅｘｉｓｔｉｎｇ　ｓｙｓｔｅｍ　ｏｆ　ＣＭＳ．　

Ｋｅｙ　ｗｏｒｄｓ．ＸＭＬ，ｆｕｌｌ—ｔｅｘｔ　ｓｅａｒｃｈ，ｌｕｃｅｎｅ，ＣＭＳ，ｄａｔａ　ａｒｃｈｉｖｉｎｇ　

内容管理系统（ＣＭＳ）是一种位于ＷＥＢ前端和后　

端办公系统或流程之间的软件系统，侧重于企业内部　

１　ＸＭＬ与Ｌｕｃｅｎｅ文本检索技术　

和外部非结构化资源的战略价值提取。如何使用户可　

１．１　ＸＭＬ技术　

以方便地检索、使用、分析和共享企业信息显得尤为重　

ＸＭＬ是信息的高层封装与运输标准，解决了信　

要。基于以上因素，必须制定出一套合理有效的存储方　

息表示与关联的统一问题。具有以下特点：　

式和检索策略来完成整个过程。　

①良好的可扩展性：ＸＭＬ允许使用者根据实际　

ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）称之为可扩　

需要创建和使用自己的标记。　

展性语言，具有标准性、开放性、灵活性、易读性，和平　

②开发的标准：它既与平台无关，又与技术提供厂　

台无关性及结构化的数据存储格式等特点，使其成为　

商无关。它解决了电子数据交换（Ｅｌｅｃｔｒｏｎｉｃ　Ｄａｔａ　

ＣＭＳ结构化存储的良好解决方案。　

Ｉｎｔｅｒｃｈａｎｇｅ，ＥＤＩ）的缺点。　

Ｌｕｃｅｎｅ是一个全文检索引擎的架构，提供了完整　

③结构化的数据存储格式。ＸＭＩ　提供了一种结　

的查询引擎和索引引擎。独立于平台之外索引文件格　构化的数据表示方式，它不仅可以对数据进行结构化，　

式、分块索引机制的引入以及独立于语言和文件格式　

而且可以指定元素间的联系，能够建立复杂关系的数　

的文本分析接口，使其能很好地支持数据归档检索模　

据模型。　

块的实现。　

④易于数据共享。ＸＭＬ在描述数据时，仅采用纯　

＊　收稿日期：２０１１—０９—２ｆｉ，修回日期：２０１１一ＩＩ一２６　

＊＊　王军，男，１９８７年生，在读硕士，研究方向：Ｗｅｂ信息检索。　

第２５卷第１期　电脑开发与应用　

文本的形式来描述数据本身，而与数据的表现形式无　

关，所以适合在不同的应用程序之间交换数据，实现数　

据共享。　

表２　ＸＭＬ文档与非结构化数据的映射　

ＸＭＬ文件　

文本节点的祖父节点　

非结构化数据　

文件目录　

文件　

⑤ＸＭＬ访问层次性。针对ＸＭＬ文档元素可属性　

设置访问级别，可以对不同的用户展现不同的视图，用　

文本节点的父节点　

文本节点　

文件内容　

户只能看到被授权的那部分内容。　

１．２　Ｌｕｃｅｎｅ文本检索技术　

２．２映射方法的限制规则及ＸＭＬ数据导出　

Ｌｕｃｅｎｅ文本检索技术是一种全文检索技术，该检　

该映射模式是针对ＣＭＳ（内容管理系统）中固定　

的表结构与文件存储方式所设计的一种映射模式。该　

模式要求：ＸＭＬ文件的层次必须小于等于３层。即　

ＸＭＬ数据源只是从单一的数据库表，标准形式如下：　

＜ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒ＞＜ｒｅｃｏｒｄＯｒＦｉｌｅ　ｉｄ＝”１２３４”＞　

索过程总体分两个过程，索引创建（Ｉｎｄｅｘｉｎｇ）和搜索　

索引（Ｓｅａｒｃｈ）。　

①索引创建：将现实世界中所有的结构化和非结　

构化数据提取信息，创建索引的过程。索引创建的过程　

主要如下：源文档一分词组件进行分词一语言处理组　

件进行自然语言处理一对生成的词条利用索引组件生　

成索引。　

＜ｆｉｅｌｄｌＯｒＦｉｌｅｌ＞ｖａｌｕｅｌ＜／ｆｉｅｌｄｌＯｒＦｉｌｅｌ＞　

＜ｆｉｅｌｄ２０ｒＦｉｌｅ２＞ｖａｌｕｅ１＜／ｆｉｅｌｄ２０ｒＦｉｌｅ２＞　

＜／ｒｅｃｏｒｄＯｒＦｉｌｅ＞＜／ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒ＞　

②搜索索引：就是得到用户的查询请求，搜索创建　

的索引，然后返回结果的过程。搜索索引的过程主要如　

一

该映射模式同时存在以下限制条件：　

①属性节点只在第２层元素节点上存在，并且唯　

指定对应的Ｉｄ属性（如上面的ｒｅｃｏｒｄ元素节点所　

②文本节点父辈层节点名称不能一样（对应于数　

据库中个表格里不允许有两个重名字段），比如＜　

ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒｌ＞＜ｒｅｃｏｒｄＯｒＦｉｌｅｌ　ｉｄ＝”１２３４”＞　

下：用户输入查询语句一对查询语句进行词法分析、语　

法分析，及语言处理一搜索索引，得到符合语法树的文　

档一根据得到的文档和查询语句的相关性，对结果进　

行排序。　

示）。　

２　ＣＭＳ数据归档　

２．１　ＸＭＬ文档与结构化、非结构化数据的模式映射　

方法　

＜ｆｉｅｌｄｌＯｒＦｉｌｅｌ＞ｖａｌｕｅ１＜／ｆｉｅｌｄｌＯｒＦｉｌｅｌ＞　

＜／ｒｅｃｏｒｄＯｒＦｉｌｅｌ＞＜／ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒｌ＞　

＜ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒ２＞＜ｒｅｃｏｒｄＯｒＦｉｌｅ２　ｉｄ＝”４５６６　＞　

＜ｆｉｅｌｄｌＯｒＦｉｌｅ２＞ｖａｌｕｅ２＜｜ｆｉｅｌｄｌＯｒＦｉｌｅ２＞　

＜／ｒｅｃｏｒｄＯｒＦｉｌｅ２＞＜／ＴａｂｌｅＮａｍｅＯｒＦｉｌｅＤｉｒ２＞　

２．１．１　ＸＭＬ文档与关系数据库的映射［１］　

通常关系型数据库由４部分组成，它们是库、表、　

记录、字段。本文主要定义一个从关系型数据的表级结　

构上转化成多个ＸＭＬ文件的策略：即每张数据库表　

对应多个ＸＭＬ文件。可以把ＸＭＬ文档的所有节点提　

是不允许的，即一次转化只能操作一张表或者是一个　

文件目录下的文件。　

本文采用ｄｏｍ４ｊ生成ＸＭＬ文件，先生成一个　

Ｄｏｃｕｍｅｎｔ对象，再创建元素节点，然后按照映射关系　

表填充对应元素节点的值、属性等。核心代码如下：　

Ｄｏｃｕｍｅｎｔ　ｄｏｃｕｍｅｎｔ｝／／创建一个ｄｏｃｕｍｅｎｔ对象　

Ｌｉｓｔ　ｌｉｓｔ＝ｎｅｗ　ＡｒｒａｙＬｉｓｔ（）；／／创建一个ｌｉｓｔ存放所有的　

元素节点、文本节点等。　

取出来并放在一个良好的数据结构中，从而可以实现　

ＸＭＬ文档与关系数据库的任意映射。本文实现的映　

射只处理元素节点和文本节点。其映射关系如表１所　

示。　

表１　ＸＭＬ文档与关系数据库的映射　

ＸＭＬ文件　

文本节点的祖父节点　

文本节点的父节点　

ｄｏｃｕｍｅｎｔ＝ＤｏｃｕｍｅｎｔＨｅｌｐｅｒ．ｐａｒｓｅＴｅｘｔ（ｘｍｌＳｔｒ）ｌ　

Ｅｌｅｍｅｎｔ　ｒｏｏｔＥｌｅｍｅｎｔ＝ｄｏｃｕｍｅｎｔ．ｇｅｔＲｏｏｔＥｌｅｍｅｎｔ（）Ｉ　

Ｌｉｓｔ＜Ｅｌｅｍｅｎｔ＞ｅｌｅｍｅｎｔＬｉｓｔ＝ｒｏｏｔＥｌｅｍｅｎｔ．ｅｌｅｍｅｎｔｓ（　

关系数据库　

表格　

字段　

ｂｏｏｋ”）ｌ　

ｆｏｒ（Ｅｌｅｍｅｎｔ　ｅｌｅｍｅｎｔ｛ｅｌｅｍｅｎｔＬｉｓｔ）｛　

ｌｉｓｔ．ａｄｄ（ｅｌｅｍｅｎｔ．ｅｌｅｍｅｎｔＴｅｘｔ（”ｔｉｔｌｅ”））１　

文本节点　值　

２．１．２　ＸＭＬ文档与非结构化数据的映射　

）／／将节点循环加入ｌｉｓｔ中　

非结构化数据一般都以文件的形式存储在文件系　

统中。可以将其简化成文件目录、文件、文件内容三层结　

构。从而建立对应的映射关系。其映射关系如表２所示。　

２．３　Ｌｕｅｎｃｅ索引的创建与使用Ｅ　］　

在ｌｕｃｅｎｅ中，索引（ｉｎｄｅｘ）由段（ｓｅｇｍｅｎｔ）组成，段　

（ｓｅｇｍｅｎｔ）由记录（ｄｏｃｕｍｅｎｔ）组成，记录（ｄｏｃｕｍｅｎｔ）　

ＸＭＬ与全文检索在ＣＭＳ数据归档中的应用　

由域（ｆｉｅｌｄ）组成，域（ｆｉｅｌｄ）由字符串（ｔｅｒｍ）组成。例　

象即可。简化的关键代码如下：　

ｐｒｉｖａｔｅ　Ｓｔｒｉｎｇ　ｉｎｄｅｘＮａｍｅ＝＂Ｅ，＼ｋｉｎｄｅｘ”，／／索引路径　

ＩｎｄｅｘＳｅａｒｃｈｅｒ　ｓｅａｒｃｈｅｒ　ｎｕｌｌ　ｌ　

如，一个ｄｏｃｕｍｅｎｔ可以与一个物理文件对应，将其中　

文件名、文件内容、文件创建时间等信息提取为数据源　

放人ｄｏｃｕｍｅｎｔ中，也可将多个物理文件的数据源同　

Ｓｔｒｉｎｇ　ｑｕｅｒｙＳｔｒｉｎｇ＝“Ｓｕｃｃｅｓｓ”，／／索引关键字　

Ｈｉｔｓ　ｈｉｔｓ＝ｎｕｌｌｌ　

时放入一个ｄｏｃｕｍｅｎｔ。数据源是由一个被称为ｆｉｅｌｄ　

的类表示。这个ｆｉｅｌｄ类主要用来标识当前数据源各种　

属性。　

Ａｎａｌｙｚｅｒ　ａｎａｌｙｚｅｒ＝ｎｅｗ　ＳｔａｎｄａｒｄＡｎａｌｙｚｅｒ　Ｏ　ｌ　

ＱｕｅｒｙＰａｒｓｅｒ　ｑｂ　

Ｑｕｅｒｙ　ｑ　

ｎｅｗ　ＱｕｅｒｙＰａｒｓｅｒ（ｆｉｅｌｄｓ，ａｎａｌｙｚｅｒ）Ｉ　

ｑｂ．ｐａｒｓｅ（ｑｕｅｒｙＳｔｒｉｎｇ），　

本文描述的数据来源由两部分组成，一份是关系　

数据库中的数据，另一份是ＣＭＳ运行过程中产生的　

非结构化数据，通过上述的模式映射方法，将ＸＭＬ文　

ｈｉｔｓ＝ｓｅａｒｃｈｅｒ．ｓｅａｒｃｈ（ｑｕｅｒｙ），／／命中结果集　

３　结　论　

将ＸＭＬ与Ｌｕｅｅｎｅ全文检索技术应用于ＣＭＳ数　

件类节点一一映射到索引的ｆｉｅｌｄ域。然后依次调用分　

词组件、语言处理组件、索引组件生成索引。生成索引　

的关键代码如下：　

ＩｎｄｅｘＷｒｉｔｅｒ　ｗｒｉｔｅｒ＝ｎｕｌｌ，／／新建一个ＩｎｄｅｘＷｒｉｔｅｒ　

ｗｒｉｔｅｒ　＝　ｎｅｗ　ＩｎｄｅｘＷｒｉｔｅｒ　（ｉｎｄｅｘＤｉｒ，　ｎｅｗ　

据归档过程中，充分发挥ＸＭＬ技术自身的特点结合　

Ｌｕｅｅｎｅ带来的开源、优异的索引结构、良好的系统架　

构等优点，改善了目前由于内容管理系统长时间运行，　

企业内部和外部结构化与非结构化数据资源的大量增　

加所导致内容繁杂、管理效率低下等问题，提高归档数　

］

ＳｔａｎｄａｒｄＡｎａｌｙｚｅｒ（），ｉｆｅｍｐｔｙ）；　

／／为ｄｏｃｕｍｅｎｔ添加ｆｉｅｌｄ域的内容　

ｄｏｃ．ａｄｄ（ｎｅｗＦｉｅｌｄ（”ｉｄ”，　＋ｆｂ．ｇｅｔｌｄ（），　

据的可用性和有效性，同时充分保证存储空间的利用　

率。　

Ｆｉｅｌｄ．Ｓｔｏｒｅ．ＹＥＳ，Ｆｉｅｌｄ．Ｉｎｄｅｘ．ＴＯＫＥＮＩＺＥＩ￣１））；　

ｄｏｅ．ａｄｄ（ｎｅｗｄｏｃ．ａｄｄ（ｎｅｗＦｉｅｌｄ（　ＳａｖｅＰａｔｈ　，　＋　

参考文献：　

［１］　杨甲森，王浩．用于数据交换的ＸＭＬ文档和关系数　

ｆｂ．ｇｅｔＳａｖｅＰａｔｈ（），Ｆｉｅｌｄ．Ｓｔｏｒｅ．ＹＥＳ，Ｆｉｅｌｄ．Ｉｎｄｅｘ．ＮＯ））；　

ｄｏｅ．ａｄｄ（ｎｅｗＦｉｅｌｄ（”ＭｏｄｉＴｉｍｅ　，””＋ｆｂ．ｇｅｔＭｏｄｉＴｉｍｅ（），　

Ｆｉｅｌｄ．Ｓｔｏｒｅ．ＹＥＳ，Ｆｉｅｌｄ．Ｉｎｄｅｘ．ＡＮＡＬＹＺＥＤ））；　

据库转换口］．计算机工程与设计，２００６，２７（５）：８５７—　

８５９．　

／／添加ｄｏｃｕｍｅｎｔ　

ｗｒｉｔｅｒ．ａｄｄＤｏｃｕｍｅｎｔ（ｄｏｅ）；　

［２］　李永春，丁华福．Ｌｕｃｅｎｅ的全文检索的研究与应用　

ｗｒｉｔｅｒ．ｏｐｔｉｍｉｚｅ（）｝／／对索弓Ｉ进行优化。　

［Ｊ］．计算机技术与发展，２０１０，２０（２）；１１－１５．　

［３］　邱哲，符滔滔．开发自己的搜索引擎［Ｍ］．北京：人民　

邮电出版社，２０１０；１２８—１５０．　

索引的使用也比较简单，首先给出索引路径，然后　

再提供要搜索的ｆｉｅｌｄ和关键字，最后生成一个查询对　

（上接第１８页）　

Ｓｔｅｒｅｏ　ｂｙ　Ｕｓｉｎｇ　Ｄｙｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ［Ｃ］／／Ｐｒｏｃ．ｏｆ　

ＩＥＥＥ　Ｉｎｔ’ｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　

６　结束语　

提出一种基于双向互匹配的视差图算法。算法结　

Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２００４．　

鞠　芹．基于多目立体匹配的深度获取方法［Ｊ］．计算　

机工程，２０１０（３６）：１７４—１７６．　

合图像的视差场和梯度场，采用Ｗｉｎｎｅｒ—Ｔａｋｅ—Ａｌｌ策　

略，有效地解决图像中由于遮挡因素带来的误匹配问　

曾志宏．融合深度信息的视觉注意计算模型［Ｊ］．计算　

机工程，２０１０（３６）：２００—２０２．　

题，提高匹配精度，最终获得稠密的视差图。本算法在　

匹配精准度和像素误匹配方面还有待提高。　

参考文献：　

［１］　Ｋｌａｕｓ　Ａ．Ｓｅｇｍｅｎｔ—ｂａｓｅｄ　Ｓｔｅｒｅｏ　Ｍａｔｃｈｉｎｇ　Ｕｓｉｎｇ　

Ｂｅｌｉｅｆ　Ｐｒｏｐａｇａｔｉｏｎ　ａｎｄ　ａ　Ｓｅｌｆ－ａｄａｐｔｉｎｇ　Ｄｉｓｓｉｍｉｌａｒｉｔｙ　

郁理．基于分级置信度传播的立体匹配新方法［Ｊ］．　

中国图象图形学报，２０１１（１６）：１０３－１０９．　

罗三定．基于区域增长的自适应窗口立体匹配算法　

［Ｊ］．中南大学学报（自然科学版），２００５（３６）：１０４２—　

１０４７．　

倪炜基．基于色彩分割和自适应窗口的快速立体匹配　

Ｍｅａｓｕｒｅ￣Ｃ－］／／Ｐｒｏｃ．ｏｆ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　

Ｐａｔｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ，２００６．　

［Ｊ］．仪器仪表学报，２０１１（３２）：１９４－１９９．　

李平生．基于梯度特征与彩色特征相融合的ｍｅａｎ　

ｓｈｉｆｔ跟踪方法口］．微型机与应用，２０１１（３Ｏ）：３５－３８．　

［２］　Ｏｒｓｔｍａｎｎ　Ｓ，Ｋａｎｏｕ　Ｙ，Ｏｈｙａ　Ｊ，ｅｔ　ａ１．Ｒｅａｌ—ｔｉｍｅ