一种解析大体积XML文件的方法及应用

维普资讯

第２６卷第１期　

、ｂ１．２６　Ｎｏ．１　

辽宁工程技术大学学报　

Ｊｏｕｒｎａｌ　ｏｆ　Ｌｉａｏｎｉｎｇ　Ｔｅｃｈｎｉｃａｌ　Ｕｎｉｖｅｒｓｉｔｙ　

２００７牟２月　

Ｆｅｂ．　２００７　

文章编号：１００８－０５６２（２００７）０１－０１０７．０３　

一

种解析大体积ＸＭＬ文件的方法及应用　

扈庆ｌ，方向０　

（１．吉林大学电子科学与工程学院，长春１３００２６；２．国家标准物质研究中心，北京１０００１３）　

摘　要：针对ＸＭＬ解析器在解析大体积ＸＭＬ文件时速度慢的缺点，提出了一种加快其解析速度的新方法，该方法通过对ＸＭＬ文　

件中关键元素的存储地址编索引的方式实现了对所要解析内容的直接读取：同时给出了该方法的应用实例，并与别的解析方法进行了　

比较，结果表明该方法能显著提高解析速度。　

关键词：ＸＭＬ：解析器：直接读取　

中图分类号：ＴＰ３９３　文献标识码：Ａ　’　

Ｍｅｔｈｏｄ　ｏｆ　ｐａｒｓｉｎｇ　ｂｉｇ　ｖｏｌｕｍｅ　ＸＭＬ　ｉｆｌｅ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ　

ＨＵ　Ｑｉｎｇ　，ＦＡＮＧ　Ｘｉａｎｇ　

（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ　ａｎｄ　ＥｎｇｉｎｅｅｒｉｎｇＪｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ　１３００２６，Ｃｈｉｎａ；２．Ｎａｔｉｏｎａｌ　

Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ　ｆｏｒ　ＣＲＭ’Ｓ　Ｂｅｉｊｉｎｇ　１０００１３，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｎａｉｓｓａｎｃｅ　ｏｆ　ＸＭＬ　ｂｒｉｎｇｓ　ａ　ｒｅｖｏｌｕｔｉｏｎ　ｏｆ　ｄａｔａ　ｅｘｃｈａｎｇｅ　ｉｎ　Ｉｎｔｅｒｎｅｔ．Ｂｕｔ　ｔｈｅ　ｓｐｅｅｄ　ｏｆ　ｐａｒｓｉｎｇ　ＸＭＬ　

ｉｓ　ａｎ　ｉｍｐｏｒｔｎａｔ　ｆａｃｔｏｒ　ｔｏ　ｉｎｆｌｕｅｎｃｅ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ＸＭＬ．Ｔｈｉｓ　ｐａｐｅｒ　ｂｄｎｇｓ　ｆｏｒｗａｒｄ　ａ　ｍｅｈｈｏｄ　ｏｆ　ｐａｒｓｉｎｇ　ｂｉｇ　

ｖｏｌｕｍｅ　ＸＭＬ　ｆｉｌｅ　ｗｈｉｃｈ　ｉｍｐｒｏｖｅｓ　ｉｔｓ　ｓｐｅｅｄ．Ｔｈｅ　ｐａｒｓｉｎｇ　ｃｏｎｔｅｎｔ　Ｃａｎ　ｂｅ　ｄｉｒｅｃｔｌｙ　ｒｅａｄ　ａｎｄ　ｔｈｅ　ｐａｒｓｉｎｇ　ｓｐｅｅｄ　ｉｓ　

ｉｍｐｒｏｖｅｄ　ｂｙ　ｉｎｄｅｘｉｎｇ　ｔｈｅ　ｓｔｏｒｉｎｇ　ａｄｄｒｅｓｓｅｓ　ｏｆ　ｋｅｙ　ｅｌｅｍｅｎｔｓ．Ａｎ　ａｐｐｌｉｅｄ　ｅｘａｍｐｌｅ　ｏｆ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｉｓ　ｇｉｖｅｎ．Ｔｈｅ　

ｒｅｓｕｌｔ　ｏｆ　ｃｏｍｐａｒｉｓｏｎ　ｗｉｈｔ　ｏｔｈｅｒ　ｋｉｎｄｓ　ｏｆ　ｐａｒｓｉｎｇ　ｍｅｔｈｏｄｓ　ｓｈｏｗｓ　ｔｈａｔ　ｈｔｅ　ｐａｒｓｉｎｇ　ｓｐｅｅｄ　Ｃａｎ　ｂｅ　ｉｍｐｒｏｖｅｄ　ｎｏｔａｂｌｙ　

ｂｙｔｈｉｓｍｅｔｈｏｄ．　

Ｋｅｙ　ｗｏｒｄｓ：ＸＭＬ：ｐａｒｓｅｒ：ｄｉｒｅｃｔｌｙ　ｒｅａｄｉｎｇ　

分信息以后，就终止对文档的解析，当想要提取文　

弓ｌ　言　

档中一小部分内容的时候（对许多基于ＸＭＬ的应用　

来说，实际上没有必要读完整个ＸＭＬ文档，只是　

ＸＭＬ文档的解析模式有２种：事件驱动模式和　

提取文档的一部分数据），不需要把不必要的数据放　

文档对象模式（ＤＯＭ）。事件驱动模式就是解析器　

到内存里面，这样不仅节省了系统资源，也节省了　

在读取ＸＭＬ文档时将发生的事件通知应用程序，　

处理时间　】。　

触发一系列的事件，当发现给定的ｔａｇ时激活一个　

由于基于事件驱动模式是顺序解析，它的解析　

回调方法来处理这个事件，处理完这一事件后解析　

时间受所解析内容在整个ＸＭＬ文档中所处位置的　

器就移动到文档的下一段进行解析。ＤＯＭ是与平　

影响，如果所解析内容在整个ＸＭＬ文档中的位置　

台和语言无关的解析方式，是ＸＭＬ文档的官方　

比较靠后，那么其解析速度也比较慢。为此，本文　

Ｗ３Ｃ标准，当用ＤＯＭ来解析一个ＸＭＬ文档时，　

提出了在生成ＸＭＬ文档时对ＸＭＬ文档中关键元　

首先是读取整个文档，把它分割成单个的对象（比　

素的存储地址编索引，在解析ＸＭＬ文档时则通过　

如元素，属性和注释等等），然后在内存中创建一　

这些地址索引直接访问所要解析的内容。　

个关于该文档的树结构，最后再对内存中的文档树　

进行解析处理Ｌ１　Ｊ。　

１　方法的提出　

ＤＯＭ的优点是编程容易，开发人员只要调用建　

树的指令，然后再调用ＡＰＩ访问所需的节点就能完　

如果能在ＸＭＬ文档中对要解析的内容进行直　

成解析任务。当需要处理大文件的时候，事件驱动　

接访问，这将极大的提高ＸＭＬ文档的解析速度。　

模式是较好的选择。事件驱动模式允许你在任何时　

受这种思想的启发，提出了一种解析大体积ＸＭＬ　

候终止解析，这样的一个好处是如果你只需要对文　

文档的方法：在生成ＸＭＬ文档时，首先对ＸＭＬ　

档的一部分信息进行处理的时候，可以在得到该部　

文档中关键元素的存储地址编索引，然后再把这些　

索引存储在ＸＭＬ文档的末尾；在访问ＸＭＬ文档　

收稿日期：２００６—０５—２０　

基金项目：“十五”国家科技攻关重大项目（２００４ＢＡ２１０Ａ０４）　

作者简介：扈庆（１９７６．），男，重庆江津人，博士研究生，高级程序员，主要从事分析仪器数据处理等方面的研究。本文编校：杨瑞华　

维普资讯

１０８　辽宁工程技术大学学报　

＜，Ｙｄａｔａ＞　

第２６卷　

时，以二进制文件流的方式打开ＸＭＬ文档，读取　

索引信息，找到所要查找元素的存储位置，然后根　

据存储位置读取该元素的内容，最后把读取的内容　

当成一个完整的ＸＭＬ文档进行解析。其生成和解　

析大体积ＸＭＬ文档的主要步骤如下：　

（１）生成ＸＭＬ文档，记录ＸＭＬ文档中关键　

元素的存储地址。　

（２）在ＸＭＬ文档后扩展ｉｎｄｅｘ和ｉｎｄｅｘＯｆｆｓｅｔ　

＜／Ｘｄａｔａ＞　

＜／Ｔｒａｃｅ＞　

＜Ｔｒａｃｅ　ｔｅｃｈｎｉｑｕｅ＝”ＭＳ”＞　

＜Ｃｏｏｒｄｉｎａｔｅｓ　ｌｉｎｋｅｄ＝’’ＭＳＴＩＭＥ’’＞　

＜Ｘｄａｔａ　ｕｎｉｔｓ＝＂ＭＡＳＳＺ”ｌａｅｌｂ＝”质荷比”＞　

，／第１幅质谱图　

＜Ｖａｌｕｅｓ　ｆｏｒｍａｔ＝”ＦＬＯＡＴ３２”ｂｙｔｅＯｒｄｅｒ＝”　

元素。　

（３）在ｉｎｄｅｘ元素的ｏｆｆｓｅｔ子元素中保存关键　

元素的存储地址，在ｉｎｄｅｘＯｆｆｓｅｔ元素中保存ｉｎｄｅｘ　

元素的存储地址。　

（４）以二进制方式打开ＸＭＬ文档，在ｉｎｄｅｘ　

和ｉｎｄｅｘＯｆｆｓｅｔ元素中查找所要解析内容存储地址。　

（５）根据地址信息直接读取所要解析的内容，　

再对读取的内容进行解析。　

２方法的应用　

ＧＡＭＬ（ＧｅｎｅｒａｌｉｚｅｄＡｎａｌｙｔｉｃａｌＭａｒｋＬａｎｇｕａｇｅ）ｔｑ　

是美国Ｔｈｅｒｍｏ　ＬａｂＳｙｓｔｅｍｓ公司于２００１年３月提出　

的一种用于交换各种分析仪器数据的文件格式，关　

于ＧＡＭＬ更详细的信息见文献【７】。在应用中发现，　

当ＧＡＭＬ文档的体积比较大时，打开的速度非常　

慢，而通常的分析数据文件如质谱、核磁等的数据　

量都非常大，这极大的限制了ＧＡＭＬ的应用。为　

了提高它的解析速度，本文扩展了用于保存地址信　

息的ｉｎｄｅｘ和ｉｎｄｅｘＯｆｆｓｅｔ元素；下面是用扩展后的　

ＧＡＭＬ来描述的某测试样品的质谱数据文件，此文　

件共包括１幅色谱图和３２３４幅质谱图。　

＜？ｘｍｌ　ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ＩＳＯ・８８５９－１”？…＞　

＜Ｇａｍｌ＞　

＜ｉｎｔｅｇｒｉｔｙ…＞　

＜ｐａｒａｍｅｔｅｒ…＞　

＜Ｅｘｐｅｒｉｍｅｎｔ＞　

＜Ｃｏｌｌｅｃｔｄａｔａ＞１０／ｌ２，２００３＜／Ｃｏｌｌｅｃｔｄａｔａ＞　

＜Ｐａｒａｍｅｔｅｒ…＞…＜／Ｐａｒａｍｅｔｅｒ＞　

＜Ｔｒａｃｅ　ｔｅｃｈｎｉｑｕｅ＝”ＣＨＲＯＭ”＞　

＜Ｘｄａｔａ　ｕｎｉｔｓ＝”ＭＩＮＩＴＥＳ”ｌａｂｅｌ＝”时间”　

ｖａｌｕｅｏｒｄｅｒ＝”ＯＲＤＥＲＥＤ”＞／／色谱图　

＜Ｌｉｎｋ　ｌｉｎｋｒｅｆ＝’’ＭＳＴＩＭＥ’’／Ｌｉｎｋ＞　

＜Ｖａｌｕｅｓ　ｆｏｒｍａｔ＝”ＦＬＯＡＴ３２”　ｂｙｔｅＯｒｄｅｒ＝－＇’　

ＩＮＴＥＬ”ｎｕｍｂｅｒｖａｌｕｅｓ＝”３２３４”＞　

Ｐ４ＷｎＱｏＶＴ…＜／Ｖａｌｕｅｓ＞　

／／Ｂａｓｅ６４编码的色谱数据　

＜Ｙｄａｔａ　ｕｎｉｔｓ＝”ＭＩＬＬＩＶ０Ｉ　Ｓ”ｌａｂｅｌ＝”ｍＶ”＞　

＜Ｖａｌｕｅｓ　ｏｆｒｍａｔ＝’’ＦＬＯＡＴ３２’’ｂｙｔｅＯｒｄｅｒ＝－’’ＩＮＴＥＬ’’＞　

Ｓｖ０Ｉ　３２Ａａ．．．＜／Ｖａｌｕｅｓ＞　

Ｄｎ　ＥＬ”ｎｕｍｂｅｒｖａｌｕｅｓ＝”１６”＞　

ＸＳｖａ３ＳＤＦ，……＜／Ｖａｌｕｅｓ＞ｌ／Ｂａｓｅ６４编码的质谱数据　

＜Ｙｄａｔａ　ｕｎｉｔｓ＝”Ａｂｕｎａｎｃｅ”ｌａｂｅｌ＝”丰度”＞　

＜Ｖａｌｕｅｓ　ｆｏｒｍａｔ＝’’ＦＬ０　３２”　

ｂｙｔｅＯｒｄｅｒ＝’’ＩＮＴＥＬ’’＞　

ＳＧｖａ３４ｄｓａ．．，＜／Ｖａｌｕｅｓ＞　

＜／Ｙｄａｔａ＞　

＜／Ｘｄａｔａ＞　

＜Ｘｄａｔａ　ｕｎｉｔｓ＝”ＭＡＳＳＺ”ｌａｂｅｌ＝”质量数”＞　

，／第２幅质谱图　

＜Ｘｄａｔａ　ｕｎｉｔｓ＝”ＭＡＳＳＺ”ｌａｂｅｌ＝”质量数”＞　

，／第３２３４幅质谱图　

＜／Ｔｒａｃｅ＞　

＜／Ｅｘｐｅｒｉｍｅｎｔ＞　

＜／Ｇａｍｌ＞　

＜ｉｎｄｅｘ＞　

＜ｏｆｆｓｅｔ　ｉｄ＝”ＣＨＲＯＭ”　ｓｔａｒｔ＝”３０１”ｌｅｎｇｔｈ＝’＇４５６’　

，／色谱图的存储位置　

＜ｏｆｆｓｅｔ　ｉｄ＝”　１　”　ｓｔａｒｔ＝”７５７”ｌｅｎｇｔｈ＝”６８２’＇，＞　

，／第１幅质谱图的存储位置　

＜ｏｆｆｓｅｔ　ｉｄ＝”３２３４”　ｓｔａｒｔ＝”２６５６６５２１”ｌｅｎｇｔｈ　

＝”７２６’，，＞　／／第３２３４幅质谱图的存储位置　

＜／ｉｎｄｅｘ＞　

＜ｉｎｄｅｘＯｍ；ｅｔ　ｉｄ－－”ｉｎｄｅｘ”　ｓｔａｒｔ＝”２６５６７２４７”　

ｌｅｎｇｔｈ＝”１３０５４３”＞　／／ｉｎｄｅｘ元素的存储位置　

由于在ＧＡＭＬ文件中，通常的数据处理都是　

对谱图进行处理，而谱图的属性及数据信息都存储　

在Ｘｄａｔａ元素中，因此，本文以Ｘｄａｔａ为关键元素，　

把所有Ｘｄａｔａ元素的储地址都保存在ｉｎｄｅｘ元素的　

ｏｆｆｓｅｔ子元素中，把ｉｎｄｅｘ元素的存储位置保存在　

ｉｎｄｅｘＯｆｆｓｅｔ元素中。在解析此文档时，首先以二进　

制的方式打开并读取ｉｎｄｅｘＯｆｆｓｅｔ元素，根据　

ｉｎｄｅｘＯｆｆｓｅｔ元素存储的地址信息读取ｉｎｄｅｘ元素，　

再在ｉｎｄｅｘ元素中查找满足要求的ｏｆｆｓｅｔ子元素，　

然后根据ｏｆｆｓｅｔ子元素保存的地址信息读取所要查　

找的Ｘｄａｔａ元素，最后把读取的Ｘｄａｔａ元素作为一　

个ＸＭＬ文件来解析，图１是应用此方法解析第Ｎ　

幅质谱图的解析流程。　

维普资讯

第ｌ期　扈庆等：一种解析大体积ＸＭＬ文件的方法及应用　

以二进制流的方式打开　

ＡＭＬ又仟Ｔ　

．　

ｌ０９　

Ｉｎｄｅｘ地址错误　

、Ｌ　

Ｊ　ｌ　

读取文件尾　００字节到ＢＵＦ　Ｊ　

文件指针定位到ｓｔａｒｔ处　

］　ＢＵＦ中查找＜ｉｎｄｅ　ｏｍ　

读戳ｉｎｄｅｘＵｆｔｓｅｔ阴ｓｔａｒｔ　

属１唪信到ｓｔａｒｔ蛮鼍　

读取一行数据到ＢＵＦ　

Ｊ，

ｕＦ中杏　

／—＼　

．／／　

无　

一　

＼电ｎｄｅｘ／　

＼

读取一行数据到ＢＵＦ　

．

≤　

读取长度为Ｌｅｎｇｔｈ　

的数据到ＢＵＦ中　

、

有》　Ｇ第Ａ有ＭＬＮ文个件质谱中没图　

文件指针定位到ｓｔａｒｔ处　

一　季器　

Ｌ　

．提取谱图数据，并对以ＢＡＳＥ６４　

编码的数据进行ＢＡＳＥ６４解码　

ｌ把ＢＵＦ中的内容作为完捌　

Ｊｊ　勺ＸＭＬ文档进行解析　

、　

图１　ＸＭＬ文件解析流程图　

Ｆｉｇ　１．ｗｏｒｋｆｌｏｗ　ｃｈａｒｔｏｆｐａｒｓｉｎｇＸＭＬｆｉｌｅ　

从图ｌ可以看出，本方法在读取Ｘｄａｔａ元素之　

前的所有操作都是以二进制流的形式来完成的，最　

后再把Ｘｄａｔａ元素作为完整的ＸＭＬ文档来进行解　

析，而此时ＸＭＬ解析器要解析的内容与整个ＸＭＬ　

引的方式实现了对所要解析内容的直接访问，提高　

了解析速度；该方法比较适用于解析大体积ＸＭＬ　

文档，并且一次只提取部分数据的情况。　

参考文献：　

【１】怀石工作室．ＸＭＬ完全手册【Ｍ】．北京：中国电力出版社，２０００．　

文件比起来要小的多，因此，解析速度也比解析整　

个ＸＭＬ文件要快。本文做了一个实验，在ＶＣ６．０　

下用ＭＳＸＭＬ３．０　ＤＯＭ（文档对象模式）解析器解析　

此文档的第ｌ　５００幅谱图所用时间为ｌ　４２１　ｍｓ，用　

ＭＳＸＭＬ３．０　ＳＡＸ（事件驱动模式）解析器所用的时间　

为２５６　ｍｓ，而在同样的条件下用本文所提出的方法　

解析此文档所用的时间只要１６　ｍｓ。通过比较可以　

看出，这种解析方法大大的提高了ＸＭＬ解析器解　

析大体积ＸＭＬ文档的解析速度。　

【２】（美）马丁（Ｍａｒｔｉｎ．Ｄ．）．ＸＭＬ高级编程［ＭＩ．李吉，译．北京：北京工业出　

版社．２００１．　

【３】吴恒山，熊波．可扩展标记语言ＸＭＬ的产生与应用技术【Ｊ】．计算　

机工程与应用，２００１，３７（１４）：６５．６７．　

【４】李勇军，冀汶莉，马光思．用ｄｏｍ解析ｘｍｌ文档【Ｊ】．计算机应　

用２００１．２１（８）：１０３—１０５．　

【５】王芳，李正凡．用ＳＡＸ解析ｘｒｒｄ文档的实现方法【Ｊ】．华东交通大　

学学报，２００４，２１（１）：８４—８６．　

【６】王冲，Ｊ２ＭＥ开发平台上ｘｍｌ解析器的选择【Ｊ】．计算机工程与应　

２结论　

用，２００３（３１）：１３３．１３５，　

【７】李昕，李丽萍，常革新，基于ＸＭＬ的文档的动态产生【Ｊ】１辽宁工程技　

术大学学报【Ｊ】．２００５，２５（１）：１０４．１０６，　

通过对ＸＭＬ文档中关键元素的存储地址编索