解析大数据量XML文件的实现

＜　≮　曼Ｙｌ墨　ｃ！　里　缠塞　

解析大数据量ＸＭＬ文件的实现　

◆张二松缪红萍宋梦馨　

摘要：信息系统在解析大数据量的ｘＭＬ文件时，容易发生内存溢　

出问题。本文详细介绍了如何通过ＳＡＸ方式解析大数据量的ＸＭＬ文件。　

ＳＡＸ是一种消耗内存较小的解析方式。它能有效解决由于大量消耗内存　

而导致的内存溢出问题。　

关键词：ＳＡＸ；ｄｏｍ４ｊ；大数据量；内存溢出　

＜？ｘｍｌ　ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ｇｂ２３　１２”？＞　

一

、

引言　

＜ｒｏｏｔ＞　

ＸＭＬ文件被广泛应用于信息系统之间传递数据。　

＜ａｐｐｌｉｃａｔｉｏｎ　ｎａｍｅ＝”ｓａｌｅ”＞　

信息系统接收到ｘＭＬ文件，在进行解析后才能加载数　

＜ｓｅｌｌｅｒ　ｎａｍｅ＝”ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ’’＞　

据。当ＸＭＬ文件中的数据量较小时，多种解析方式都　

＜ｐｒｏｄｕｃｔ　ｎａｍｅ＝＂ｃｏｆｆｅｅ”＞　

能够完成解析ＸＭＬ文件。然而，随着ＸＭＬ文件中的数　

＜ａｔｔｒｉｂｕｔｅ＞ｐｒｉｃｅ＜／ａｔｔｒｉｂｕｔｅ＞　

据量的不断增大，有些解析方式消耗的内存也越来越　

＜ａｔｔｒｉｂｕｔｅ＞ｂｒａｎｄ＜／ａｔｔｒｉｂｕｔｅ＞　

大，由于超出了内存的处理能力，最终会出现内存溢出　

＜ａｔｔｒｉｂｕｔｅ＞ｗｅｉｇｈｔ＜／ａｔｔｒｉｂｕｔｅ＞　

问题。在解析ＸＭＬ文件的各种方式中，ＳＡＸ方式在解　

＜／ｐｒｏｄｕｃｔ＞　

析大数据量的ＸＭＬ文件上具有优势。它不需要将整个　

＜ｐｒｏｄｕｃｔ　ｎａｍｅ＝”ｍｉｌｋ”ｓａｖｅａｓｎａｍｅ＝”ｆｒｅｓｈｍｉｌｋ”＞　

ＸＭＬ文件加载到内存里面，占用的内存比较少，因此　

＜ａｔｔｒｉｂｕｔｅ＞ｐｒｉｃｅ＜／ａｔｔｒｉｂｕｔｅ＞　

它适合解析大数据量的ＸＭＬ文件。　

＜ａｔｔｒｉｂｕｔｅ＞ｂｒａｎｄ＜／ａｔｔｒｉｂｕｔｅ＞　

本文以解析包含了大量商品信息的ＸＭＬ文件（包括　

＜ａｔｔｒｉｂｕｔｅ＞ｓｐｅｃｉｆｉｃａｔｉｏｎｓ＜／ａｔｔｒｉｂｕｔｅ＞　

ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ、ＳｕｐｅｒＭａｒｋｅｔＢ．ｘｍｌ、ＳｕｐｅｒＭａｒｋｅｔＣ．　

＜／ｐｒｏｄｕｃｔ＞　

ｘｍ１）为例，首先建立这＆￣ＸＭＬ文件的配置文件（ｃｏｎｆｉｇ．　

ｘｍ１），然后使用ＳＡＸ方式解析这些ＸＭＬ文件。　

＜／ｓｅｌｌｅｒ＞　

＜ｓｅｌｌｅｒ　ｎａｍｅ＝”ＳｕｐｅｒＭａｒｋｅｔＢ．ｘｍｌ”＞　

二、创建ＸＭＬ配置文件　

在实际应用中，ＸＭＬ文件里面的标记信息，有时　

＜／ｓｅｌｌｅｒ＞　

会因业务需要而做调整。当这些ＸＭＬ文件中的标记变　

＜ｓｅｌｌｅｒ／ｌａｍｅ＝”ＳｕｐｅｒＭａｒｋｅｔＣ．ｘｍｌ’’＞　

更时，解析ＸＭＬ文件的程序源文件也需要做相应的修　

改，因此，程序源文件需要重新编译才能使用。为了　

＜／ｓｅｌｌｅｒ＞　

防止修改程序源文件，建立一个配置文件，也就是把　

＜／ａｐｐｌｉｃａｔｉｏｎ＞　

ＸＭＬ文件中的所有标记全部存储到一个ＸＭＬｉ￣置文　

＜／ｒｏｏｔ＞　

件中。在程序源文件中，不再写入ＸＭＬ文件的标记信　

息，而是当需要标记信息时直接从配置文件中获取。这　

ｃｏｎｆｉｇ．ｘｍｌ配置文件的数据量只有几十ｋ大小，可　

样，当标记变更时，只需要在配置文件中进行修改，而　

以不用考虑内存消耗问题。本文使用ｄｏｍ４ｊ方式解析　

不用修改程序源文件。　

ｃｏｎｆｉｇ．ｘｍｌ文件，它具有简单易用、访问灵活等特点。　

ＸＭＬ配置文件除了可以进行灵活的扩展变化，还　首先创建类文件Ｄｏｍ４ｊＰａｒｓｅ．ｊａｖａ，然后在类　

可以反映清晰的层级嵌套关系。下面的ＸＭＬ配置文件　

中建立两个方法：ｇｅｔＡｔｔｒｉｂｕｔｅ０和ｇｅｔＥｌｅｍｅｎｔ（）。其　

（ｃｏｎｆｉｇ．ｘｍ１）反映了四个层级关系：销售、销售公司、产　中，ｇｅｔＡｔｔｒｉｂｕｔｅ０方法用于获取元素的ｎａｍｅ属性值　

品、产品的属性。ｃｏｎｆｉｇ．ｘｍｌｌｆ？，置文件如下：　（如：ａｐｐｌｉｃａｔｉｏｎ元素的ｎａｍｅ属性值是“ｓａｌｅ”），　

３６　信息系统工程ｆ　２０１２．９．２０　

ｇｅｔＥｌｅｍｅｎｔ（）方法用于获取元素内容（如：第一个　

ａｔｔｉｒｂｕｔｅ元素的内容是“ｐｒｉｃｅ”）。　

实￣ｇｅｔＡｔｔｒｉｂｕｔｅ０方法的程序思路如下：　

／／￣ｓ］建ＳＡＸＲｅａｄｅｒ￣析器实例　

ＳＡＸＲｅａｄｅｒ　ｒｅａｄｅｒ：ｎｅｗ　ＳＡＸＲｅａｄｅｒ（）；　

／／读取ＸＭＬ文件　

Ｄｏｃｕｍｅｎｔ　ｄｏｃ＝ｒｅａｄｅｒ．ｒｅａｄ（ｎｅｗ　Ｆｉｌｅ（”ｃｏｎｆｉｇ．　

ｘｍｌ”））；　

／／获取文档的根节点　

Ｎｏｄｅ　ｒｏｏｔ＝ｄｏｃ．ｓｅｌｅｃｔＳｉｎｇｌｅＮｏｄｅ（”／ｒｏｏｔ”）；　

／／获取所有的ｓｅｌｌｅｒ：￣素　

Ｌｉｓｔ　ｌｉｓｔ＝ｒｏｏｔ．ｓｅｌｅｃｔＮｏｄｅｓ（”／ｒｏｏｔ／ａｐｐｌｉｃａｔｉｏｎ［＠　

ｎａｍｅ＝’ｓａｌｅ’］／ｓｅｌｌｅｒ”）；　

∥获取ｓｅｌｌｅｒ￣素的ｎａｍｅ属性值　

ｆｏｒ（０ｂｊｅｃｔｏｂｊｅｃｔ：ｌｉｓｔ）｛　

Ｅｌｅｍｅｎｔ　ｅｌｅｍｅｎｔ＝（Ｅｌｅｍｅｎｔ）ｏｂｊｅｃｔ；　

ｅｌｅｍｅｎｔ．ａｔｔｒｉｂｕｔｅＶａｌｕｅ（”ｎａｍｅ”）；　

｝　

实现ｇｅｔＥｌｅｍｅｎｔ０方法的程序和实现ｇｅｔＡｔｔｒｉｂｕｔｅ０方　

法的程序类似。使用方法ｇｅｔＴｅｘｔ０替换上面程序代码中　

的方法ａｔｔｒｉｂｕｔｅＶａｌｕｅ０，就能实现ｇｅｔＥｌｅｍｅｎｔ０方法。　

三、解析大数据量ＸＭＬ文件　

下面是存储了大量商品信息的ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍ１。　

＜？ｘｍｌ　ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ｇｂ２３　１　２”？＞　

＜ＳｕｐｅｒＭａｒｋｅｔＡ＞　

＜ｃｏｆｆｅｅ＞　

＜ｐｒｉｃｅ＞６９元＜／ｐｒｉｃｅ＞　

＜ｂｒａｎｄ＞雀巢９６＋４杯咖啡促销装＜／ｂｒａｎｄ＞　

＜ｗｅｉｇｈｔ＞１　３００ｇ＜／ｗｅｉｇｈｔ＞　

＜／ｃｏｆｆｅｅ＞　

＜ｃｏｆｆｅｅ＞　

＜ｐｒｉｃｅ＞３６．９兀＜／ｐｒｉｃｅ＞　

＜ｂｒａｎｄ＞麦斯威尔条装咖啡特浓＜／ｂｒａｎｄ＞　

＜ｗｅｉｇｈｔ＞４９４ｇ＜／ｗｅｉｇｈｔ＞　

＜／ｃｏｆｆｅｅ＞　

＜ｍｉｌｋ＞　

＜ｐｒｉｃｅ＞２９．９元＜／ｐｒｉｃｅ＞　

＜ｂｒｎａｄ＞蒙牛纯牛奶（整箱）＜／ｂｒｎａｄ＞　

＜ｓｐｅｃｉｉｆｃａｔｉｏｎｓ＞４８５ｍｌ　８袋＜／ｓｐｅｃｉｉｆｃａｔｉｏｎｓ＞　

ｓＹｓ　　．！　旦　塞壁　＞　

＜／ｍｉｌｋ＞　

＜ｍｉｌｋ＞　

＜ｐｒｉｃｅ＞３３元＜／ｐｒｉｃｅ＞　

＜ｂｒａｎｄ＞光明利乐枕优＋纯牛奶＜／ｂｒａｎｄ＞　

＜ｓｐｅｃｉｉｆｃａｔｉｏｎｓ＞２３　１ｍｌ　１２袋＜／ｓｐｅｃｉｉｆｃａｔｉｏｎｓ＞　

＜／ｍｉｌｋ＞　

＜ＳｕｐｅｒＭａｒｋｅｔＡ＞　

以解析ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ文件为例，信息系统在解　

析ＸＭＬ文件时，需要按照商品类别，把不同的商品信　

息分别存储到不同的文件里面。也就是，当第一次解　

析到商品标记（如：＜ｃｏｆｆｅｅ＞、＜ｍｉｌｋ＞等）时，创建以　

商品标记为名称的文本文件（如：ｃｏｆｆｅｅ．ｔｘｔ、ｍｉｌｋ．ｔｘｔ　

等），然后把解析出来的商品信息（如：　“６９元”、　

“雀巢９６＋４杯咖啡促销装”、“１３００ｇ”等）存储到相　

应的文本文件中。　

本文采用ＳＡＸ方式解析大数据量的ＸＭＬ文件。　

ＳＡＸ方式的工作原理是：解析器顺序扫描ＸＭＬ文件，　

当扫描到一个标记时，就会产生一个事件，由事件处理　

器调用相应的方法进行处理，然后解析器继续进行同样　

的扫描，直￣ＩＪＸＭＬ文件结束。因此，ＳＡＸ方式不会占　

用大量内存，不会造成内存溢出问题。　

ＳＡＸ方式解析ＸＭＬ文件的过程，通常需要经过　

５个步骤：ｓｔａｒｔＤｏｃｕｍｅｎｔ，ｓｔａｒｔＥｌｅｍｅｎｔ，ｃｈａｒａｃｔｅｒｓ，　

ｅｎｄＥｌｅｍｅｎｔ，ｅｎｄＤｏｃｕｍｅｎｔ。在各个步骤中，可以进行　

逻辑判断、获取元素内容、处理元素内容、存储元素内　

容、输出元素内容等操作。以下是在ＳＡＸ解析类中使用　

到的５个方法，它们分别对应着这５个步骤。　

（１）ｓｔａｒｔＤｏｃｕｍｅｎｔ（）方法：开始处理文档。　

（２）ｓｔａｒｔＥｌｅｍｅｎｔ（Ｓｔｒｉｎｇ　ｕｒｉ，Ｓｔｒｉｎｇ　ｌｏｃａｌＮａｍｅ，　

Ｓｔｒｉｎｇ　ｑＮａｍｅ，Ａｔｔｒｉｂｕｔｅｓ　ａｔｔｓ）方法：开始处理元素。需　

要判断参数ｑＮａｍｅ是哪个层级的开始标记（是＜ｃｏｆｆｅｅ＞　

层级的标记？还是＜ｐｒｉｃｅ＞层级的标记？），以确定什　

么时候开始获取元素内容。另外，需要创建输出文件　

（如：ｃｏｆｆｅｅ．ｔｘｔ、ｍｉｌｋ．ｔｘｔ等）。　

（３）ｃｈａｒａｃｔｅｒｓ（ｃｈａｒ［１　ｃｈ，ｉｎｔ　ｓｔａｒｔ，ｉｎｔ　ｌｅｎｇｔｈ）方　

法：获取元素内容。如果ｑＮａｍｅ是＜ｐｒｉｃｅ＞层级的开始标　

记，就获取元素的内容（如：“６９元”等）。　

（４）ｅｎｄＥｌｅｍｅｎｔ（Ｓｔｒｉｎｇ　ｕｒｉ，Ｓｔｒｉｎｇ　ｌｏｃａｌＮａｍｅ，　

Ｓｔｒｉｎｇ　ｑＮａｍｅ）方法：结束处理元素。需要对获取到的　

元素内容进行处理（如：过滤某些内容等），并进行临　

时存储，最后将它们输出到对应的文件中（如：ｃｏｆｆｅｅ．　

ｔｘｔ、ｍｉｌｋ．ｔｘｔ等）。这样，内存中存储的元素内容，就　

信息系统工程｝２０１２．９．２０　３７　

＜　ＳＹＳ　ＰＲＡＣＴＩＣＥ　系统实践　

会不断地输出到存储设备的文件中，因此不会造成内存　

溢出问题。　

｛　

ｐｕｂｌｉｃ　ｓｔａｔｉｃ　ｖｏｉｄ　ｍａｉｎ（Ｓｔｒｉｎｇ［］ａｒｇｓ）ｔｈｒｏｗｓ　Ｅｘｃｅｐｔｉｏｎ　

（５）ｅｎｄＤｏｃｕｍｅｎｔ０方法：结束处理文档。需要进　

行一些必要的处理（如：关闭流等）。　

ＳＡＸ：￣式解析大数据量ＸＭＬ文件的程序思路如下：　

／／通过继承ＤｅｆａｕｌｔＨａｎｄｌｅｒ￣来继承ＳＡＸ事件处理方　

１）通过ａ曙ｓ参数，传递需要解析的Ⅺ血文件的路径。　

２）通过Ｄｏｍ４ｊＰａｒｓｅ．ｊａｖａ解析配置文件ｃｏｎｆｉｇ．ｘｍｌ，　

获得需要解析的ＸＭＬ文件名（如：ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ、　

ＳｕｐｅｒＭａｒｋｅｔＢ．ｘｍｌ等）。　

３）使用ＳＡＸ方式逐一解析ＸＭＬ文件（以解析　

法。　

ｐｕｂｌｉｃ　ｃｌａｓｓ　ＳＡＸＰａｒｓｅ　ｅｘｔｅｎｄｓ　ＤｅｆａｕｌｔＨａｎｄｌｅｒ｛　

，／开始解析ＸＭＬ文档。　

ｐｕｂｌｉｃ　ｖｏｉｄ　ｓｔａｒｔＤｏｃｕｍｅｎｔ（）ｔｈｒｏｗｓ　ＳＡＸＥｘｃｅｐｔｉｏｎ｛｝　

／／开始解析元素。　

ｐｕｂｌｉｃ　ｖｏｉｄ　ｓｔａｒｔＥｌｅｍｅｎｔ（Ｓｔｒｉｎｇ　ｕｒｉ，Ｓｔｒｉｎｇ　

ｌｏｃａｌＮａｍｅ，Ｓｔｒｉｎｇ　ｑＮａｍｅ，Ａｔｔｒｉｂｕｔｅｓ　ａｔｔｓ）ｔｈｒｏｗｓ　

ＳＡＸＥｘｃｅｐｔｉｏｎ｛　

１）判断ｑＮａｍｅ是否为＜ｃｏｆｆｅｅ＞￣级的开始标记。　

如果是，则进一步判断＜ｃｏｆｆｅｅ＞是否是第一次出现。如　

果是，则创建ｃｏｆｆｅｅ．ｔｘｔ输出文件。　

２）￣ｌＪ断ｑＮａｍｅ是否为＜ｐｒｉｃｅ＞层级的开始标记。　

如果是，则进入ｃｈａｒａｃｔｅｒｓ方法。　

｝　

／／获取元素内容。　

ｐｕｂｌｉｃ　ｖｏｉｄ　ｃｈａｒａｃｔｅｒｓ（ｃｈａｒ［】ｃｈ，ｉｎｔ　ｓｔａｒｔ，ｉｎｔ　ｌｅｎｇｔｈ）　

｛　

１）￣ｌＪ断当前是否在解析＜ｐｒｉｃｅ＞层级的标记。如　

果是，则获取元素的内容。　

｝　

／／元素解析完毕。　

ｐｕｂｌｉｃ　ｖｏｉｄ　ｅｎｄＥｌｅｍｅｎｔ（Ｓｔｒｉｎｇ　ｕｒｉ，Ｓｔｒｉｎｇ　

ｌｏｃａｌＮａｍｅ，Ｓｔｒｉｎｇ　ｑＮａｍｅ）ｔｈｒｏｗｓ　ＳＡＸＥｘｃｅｐｔｉｏｎ｛　

１）］ｌＪ断ｑＮａｍｅ是否为＜ｐｒｉｃｅ＞层级的结束标记。　

如果是，则对元素内容进行某些处理（如：过滤空格、　

字符转换等），然后临时存储元素内容。　

２）判断ｑＮａｍｅ是否为＜ｃｏｆｆｅｅ＞层级的结束标记。　

如果是，则将临时存储的所有元素内容输出到相应的　

文件中（如果是＜／ｃｏｆｆｅｅ＞，则输出￣ｌＪｃｏｆｆｅｅ．ｔｘｔ。如果是＜／　

ｍｉｌｋ＞，则输出到ｍｉｌｋ，ｔｘｔ）。　

）　

／／文档解析完毕。　

ｐｕｂｌｉｃ　ｖｏｉｄ　ｅｎｄＤｏｃｕｍｅｎｔ（）ｔｈｒｏｗｓ　ＳＡＸＥｘｃｅｐｔｉｏｎ｛　

１１关闭流。　

｝　

／／主函数，执行ＳＡＸＰａｒｓｅ解析程序的人口。　

３８　信息系统工程ｌ　２０１２．９．２０　

ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ为例）。　

／／创建ＳＡＸ解析器工厂实例。　

ＳＡＸＰａｒｓｅｒＦａｃｔｏｒｙ　ｓｐｆ＝ＳＡＸＰａｒｓｅｒＦａｃｔｏｒｙ．　

ｎｅｗｌｎｓｔａｎｃｅ０；　

／／使用ＳＡＸ解析器工厂创建解析器实例。　

ＳＡＸＰａｒｓｅｒ　ｓｐ＝ｓｐｆ．ｎｅｗＳＡＸＰａｒｓｅｒ（）；　

／／ｐａｒａｍｌ：输出文件的路径。　

／／ｐａｒａｍ２：ｃｏｎｆｉｇ．ｘｍｌ＠的所有＜ｐｒｏｄｕｃｔ＞的ｎａｍｅ属　

性值和对应的＜ａｔｔｒｉｂｕｔｅ＞内容。　

ＳＡＸＰａｒｓｅ　ｈａｎｄｌｅｒ＝ｎｅｗ　ＳＡＸＰａｒｓｅ（ｐａｒａｍ　ｌ，　

ｐａｒａｍ２）；　

／／使用ＳＡＸＰａｒｓｅｒ￣析器解析ＸＭＬ文件。　

ｓｐ．ｐａｒｓｅ（ｎｅｗ　Ｆｉｌｅ（”ＳｕｐｅｒＭａｒｋｅｔＡ．ｘｍｌ”），ｈａｎｄｌｅｒ）；　

）　

｝　

上面的ＳＡＸ解析程序将ＸＭＬ文件的解析结果存储　

到了文本文件中。如果对解析结果有不同的需求，那么　

可以在ＳＡＸ解析程序上进行相应的调整。　

四、结束语　

本文通过创建ＳＡＸ解析程序，实现了解析大数据量　

的ＸＭＬ文件，最终解决了内存溢出问题。此外，本文　

还引入了配置文件，当ＸＭＬ文件中的标记有变更时，　

只需要更改配置文件中的标记，不会影响到ＳＡＸ解析程　

序源文件。　髑　

参考文献　

［１】张太彪，曾文华，陈志伟．大型ＸＭＬ文档解析技术的应用与研究　

［７】．厦门大学学报：自然科学版，２００９，５，４８（３）：３３８－３４１．　

【２】张迪，朱敏，张凌立．基于ｓＡｘ的ｘＭＬ解析与应用Ⅱ】．计算机与数　

字工程，２００８，２２５（７）：１０３—１０６．　

［３１．－￣炎．基ｆｆ－ＳＡＸ￣ＸＭＬ解析异常处理方法Ⅲ．陕西科技大学学　

报，２００９，１０，２７（５）：１０６—１０９．　

［４］刘雨潇．基于ＳＡＸ的ＸＭＬ数据解析技术分析研究卟现代电子　

技术，２０１０，３２３（１２）：５５—５６，６５．　

（作者单位：张二松。中国石油勘探开发研究院西　

北分院；缪红萍、宋梦馨。中国石油勘探开发研究院　

计算机应用技术研究所）