stax 和jaxb 關(guān)系

介紹

上周末，我開始考慮如何以一種資源友好的方式處理大量XML數(shù)據(jù)。我要解決的主要問題是如何以塊的形式處理大型XML文件，同時(shí)提供上游/下游系統(tǒng)，需要處理一些數(shù)據(jù)。

當(dāng)然，我已經(jīng)使用JAXB技術(shù)已有幾年了。 使用JAXB的主要優(yōu)點(diǎn)是可以加快產(chǎn)品上市時(shí)間； 如果擁有XML模式，則可以使用工具自動(dòng)自動(dòng)生成相應(yīng)的Java域模型類（Eclipse Indigo，各種工具中的Maven jaxb插件，ant任務(wù)，僅舉幾例）。 然后，JAXB API提供一個(gè)Marshaller和Unmarshaller來編寫/讀取XML數(shù)據(jù)，從而映射Java域模型。

當(dāng)JAXB的思想作為我的問題解決方案，我suddendlly意識(shí)到，JAXB保存在內(nèi)存中的XML架構(gòu)的整體客觀 ，所以一個(gè)顯而易見的問題是：“如何將我們的基礎(chǔ)設(shè)施應(yīng)對(duì)大型XML文件（例如，在我的情況與一些元素> 100,000）是否要使用JAXB？”。 我可以簡(jiǎn)單地生成一個(gè)大的XML文件，然后為其創(chuàng)建一個(gè)客戶端，并了解有關(guān)內(nèi)存消耗的信息。

眾所周知，在Java中主要有兩種處理XML數(shù)據(jù)的方法：DOM和SAX。 使用DOM，XML文檔以樹的形式表示在內(nèi)存中。 如果需要對(duì)樹節(jié)點(diǎn)進(jìn)行櫻桃式訪問或需要編寫簡(jiǎn)短的XML文檔，則DOM很有用。 另一方面，是一種事件驅(qū)動(dòng)技術(shù)SAX，該技術(shù)當(dāng)時(shí)將整個(gè)文檔解析為一個(gè)XML元素，并且對(duì)于每個(gè)XML重要事件，將回調(diào)“推”到Java客戶端，然后該Java客戶端處理它們（例如START_DOCUMENT，START_ELEMENT，END_ELEMENT等）。 由于SAX不會(huì)將整個(gè)文檔帶入內(nèi)存，而是將類似游標(biāo)的方法應(yīng)用于XML處理，因此它不會(huì)消耗大量?jī)?nèi)存。 SAX的缺點(diǎn)是它處理整個(gè)文檔的開始到結(jié)束； 這可能不一定是大型XML文檔所需要的。 例如，在我的場(chǎng)景中，我希望能夠傳遞給下游系統(tǒng)XML元素（但可用），但同時(shí)也許我只想一次傳遞100個(gè)元素，實(shí)現(xiàn)某種分頁解。 從內(nèi)存消耗的角度來看，DOM似乎過于苛刻，而SAX似乎可以滿足我的需求。

我記得曾經(jīng)讀過一些有關(guān)STax的知識(shí)，它是一種Java技術(shù)，在RAM友好的同時(shí)提供了拉XML元素 （而不是推送XML元素，例如SAX）的能力。 然后，我研究了該技術(shù)，并決定STax可能是我想要的折衷方案。 但是我想保留JAXB提供的簡(jiǎn)單編程模型，所以我確實(shí)需要將兩者結(jié)合起來。 在調(diào)查STax時(shí)，我遇到了Woodstox。 這個(gè)開源項(xiàng)目有望成為一個(gè)比許多其他工具更快的XML解析器，因此我決定也將其包含在我的基準(zhǔn)測(cè)試中。 現(xiàn)在，我具有創(chuàng)建基準(zhǔn)的所有元素，以便在處理大型XML文檔時(shí)為我提供內(nèi)存消耗和處理速度指標(biāo)。

基準(zhǔn)計(jì)劃

為了創(chuàng)建基準(zhǔn)，我需要執(zhí)行以下操作：

• 創(chuàng)建一個(gè)定義我的域模型的XML模式。 這將是JAXB創(chuàng)建Java域模型的輸入
• 創(chuàng)建代表該模型的三個(gè)大型XML文件，分別具有10,000 / 100,000 / 1,000,000元素
• 有一個(gè)純JAXB客戶端，它將完全在內(nèi)存中解組大型XML文件
• 有一個(gè)STax / JAXB客戶端，它將SAX技術(shù)的低內(nèi)存消耗與JAXB提供的簡(jiǎn)便編程模型結(jié)合在一起
• 擁有一個(gè)具有與STax / JAXB客戶端相同特征的Woodstox / JAXB客戶端（簡(jiǎn)而言之，我只是想更改基礎(chǔ)解析器，看看是否可以獲得任何性能提升）
• 記錄內(nèi)存消耗和處理速度（例如，每個(gè)解決方案以多快的速度使XML塊作為JAXB域模型類在內(nèi)存中可用）
• 因?yàn)槲覀冎?#xff0c;一張圖片可以說一千個(gè)單詞，所以可以圖形方式顯示結(jié)果。

域模型XML模式

<?xml version="1.0" encoding="UTF-8"?> <schema xmlns="http://www.w3.org/2001/XMLSchema" targetNamespace="http://uk.co.jemos.integration.xml/large-file" xmlns:tns="http://uk.co.jemos.integration.xml/large-file" elementFormDefault="qualified"><complexType name="PersonType"><sequence><element name="firstName" type="string"></element><element name="lastName" type="string"></element><element name="address1" type="string"></element><element name="address2" type="string"></element><element name="postCode" type="string"></element><element name="city" type="string"></element><element name="country" type="string"></element></sequence><attribute name="active" type="boolean" use="required" /></complexType><complexType name="PersonsType"><sequence><element name="person" type="tns:PersonType" maxOccurs="unbounded" minOccurs="1"></element></sequence></complexType><element name="persons" type="tns:PersonsType"></element> </schema>

我決定建立一個(gè)相對(duì)簡(jiǎn)單的域模型，用XML元素代表人物及其姓名和地址。 我還想記錄一個(gè)人是否活躍。

使用JAXB創(chuàng)建Java模型

我是Maven的粉絲，并將其用作構(gòu)建系統(tǒng)的默認(rèn)工具。 這是我為此小基準(zhǔn)定義的POM：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>uk.co.jemos.tests.xml</groupId><artifactId>large-xml-parser</artifactId><version>1.0.0-SNAPSHOT</version><packaging>jar</packaging><name>large-xml-parser</name><url>http://www.jemos.co.uk</url><properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding></properties><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.6</source><target>1.6</target></configuration></plugin><plugin><groupId>org.jvnet.jaxb2.maven2</groupId><artifactId>maven-jaxb2-plugin</artifactId><version>0.7.5</version><executions><execution><goals><goal>generate</goal></goals></execution></executions><configuration><schemaDirectory>${basedir}/src/main/resources</schemaDirectory><includeSchemas><includeSchema>**/*.xsd</includeSchema></includeSchemas><extension>true</extension><args><arg>-enableIntrospection</arg><arg>-XtoString</arg><arg>-Xequals</arg><arg>-XhashCode</arg></args><removeOldOutput>true</removeOldOutput><verbose>true</verbose><plugins><plugin><groupId>org.jvnet.jaxb2_commons</groupId><artifactId>jaxb2-basics</artifactId><version>0.6.1</version></plugin></plugins></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><version>2.3.1</version><configuration><archive><manifest><addClasspath>true</addClasspath><mainClass>uk.co.jemos.tests.xml.XmlPullBenchmarker</mainClass></manifest></archive></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><version>2.2</version><configuration><outputDirectory>${project.build.directory}/site/downloads</outputDirectory><descriptors><descriptor>src/main/assembly/project.xml</descriptor><descriptor>src/main/assembly/bin.xml</descriptor></descriptors></configuration></plugin></plugins></build><dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.5</version><scope>test</scope></dependency><dependency><groupId>uk.co.jemos.podam</groupId><artifactId>podam</artifactId><version>2.3.11.RELEASE</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.0.1</version></dependency><!-- XML binding stuff --><dependency><groupId>com.sun.xml.bind</groupId><artifactId>jaxb-impl</artifactId><version>2.1.3</version></dependency><dependency><groupId>org.jvnet.jaxb2_commons</groupId><artifactId>jaxb2-basics-runtime</artifactId><version>0.6.0</version></dependency><dependency><groupId>org.codehaus.woodstox</groupId><artifactId>stax2-api</artifactId><version>3.0.3</version></dependency></dependencies> </project>

關(guān)于此pom.xml的幾點(diǎn)注意事項(xiàng)。

• 我使用Java 6，因?yàn)閺陌姹?開始，Java包含了JAXB，DOM，SAX和STax的所有XML庫。
• 為了從XSD架構(gòu)自動(dòng)生成域模型類，我使用了出色的maven-jaxb2-plugin，該插件除其他外還允許獲得具有toString，equals和hashcode支持的POJO。

我還聲明了jar插件，以為基準(zhǔn)創(chuàng)建可執(zhí)行的jar，并聲明程序集插件以分發(fā)基準(zhǔn)的可執(zhí)行版本。 基準(zhǔn)測(cè)試的代碼附于此后，因此，如果您要自己構(gòu)建并運(yùn)行它，只需解壓縮項(xiàng)目文件，打開命令行并運(yùn)行：

$ mvn全新安裝程序：

此命令會(huì)將* -bin。*文件放入目標(biāo)/站點(diǎn)/下載文件夾中。 解壓縮您的首選項(xiàng)之一并運(yùn)行基準(zhǔn)測(cè)試（-Dcreate.xml = true將生成XML文件。如果已經(jīng)擁有這些文件（例如，第一次運(yùn)行之后），則不要傳遞它：

$ java -jar -Dcreate.xml = true large-xml-parser-1.0.0-SNAPSHOT.jar

創(chuàng)建測(cè)試數(shù)據(jù)

為了創(chuàng)建測(cè)試數(shù)據(jù)，我使用了PODAM （一種Java工具，用數(shù)據(jù)自動(dòng)填充POJO和JavaBean）。 代碼很簡(jiǎn)單：

JAXBContext context = JAXBContext.newInstance("xml.integration.jemos.co.uk.large_file");Marshaller marshaller = context.createMarshaller();marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, Boolean.TRUE);marshaller.setProperty(Marshaller.JAXB_ENCODING, "UTF-8");PersonsType personsType = new ObjectFactory().createPersonsType();List<PersonType> persons = personsType.getPerson();PodamFactory factory = new PodamFactoryImpl();for (int i = 0; i < nbrElements; i++) {persons.add(factory.manufacturePojo(PersonType.class));}JAXBElement<PersonsType> toWrite = new ObjectFactory().createPersons(personsType);File file = new File(fileName);BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(file), 4096);try {marshaller.marshal(toWrite, bos);bos.flush();} finally {IOUtils.closeQuietly(bos);}

XmlPullBenchmarker在?/ xml-benchmark下生成三個(gè)大??型XML文件：

• large-person-10000.xml（大約3M）
• large-person-100000.xml（大約30M）
• large-person-1000000.xml（大約300M）

每個(gè)文件如下所示：

<?xml version="1.0" encoding="UTF-8" standalone="yes"?> <persons xmlns="http://uk.co.jemos.integration.xml/large-file"><person active="false"><firstName>Ult6yn0D7L</firstName><lastName>U8DJoUTlK2</lastName><address1>DxwlpOw6X3</address1><address2>O4GGvxIMo7</address2><postCode>Io7Kuz0xmz</postCode><city>lMIY1uqKXs</city><country>ZhTukbtwti</country></person><person active="false"><firstName>gBc7KeX9Tn</firstName><lastName>kxmWNLPREp</lastName><address1>9BIBS1m5GR</address1><address2>hmtqpXjcpW</address2><postCode>bHpF1rRldM</postCode><city>YDJJillYrw</city><country>xgsTDJcfjc</country></person>[..etc] </persons>

每個(gè)文件包含10,000 / 100,000 / 1,000,000 <person>元素。

運(yùn)行環(huán)境

我在三種不同的環(huán)境下嘗試了基準(zhǔn)測(cè)試程序：

• Ubuntu 10，64位作為 Windows 7 Ultimate上的虛擬機(jī)運(yùn)行 ，具有CPU i5、750 @ 2.67GHz和2.66GHz，8GB RAM，其中4GB專用于VM。 JVM：1.6.0_25，熱點(diǎn)
• Windows 7 Ultimate ，用于托管上述VM，因此具有相同的處理器。 JVM，1.6.0_24，熱點(diǎn)
• Ubuntu 10、32 位 ，3GB RAM，雙核。 JVM，1.6.0_24，OpenJDK

XML解組

為了解組代碼，我使用了三種不同的策略：

• 純JAXB
• STAX + JAXB
• 伍德斯托克斯+ JAXB

純JAXB解組

我過去使用JAXB解組大型XML文件的代碼如下：

private void readLargeFileWithJaxb(File file, int nbrRecords) throws Exception {JAXBContext ucontext = JAXBContext.newInstance("xml.integration.jemos.co.uk.large_file");Unmarshaller unmarshaller = ucontext.createUnmarshaller();BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));long start = System.currentTimeMillis();long memstart = Runtime.getRuntime().freeMemory();long memend = 0L;try {JAXBElement<PersonsType> root = (JAXBElement<PersonsType>) unmarshaller.unmarshal(bis);root.getValue().getPerson().size();memend = Runtime.getRuntime().freeMemory();long end = System.currentTimeMillis();LOG.info("JAXB (" + nbrRecords + "): - Total Memory used: " + (memstart - memend));LOG.info("JAXB (" + nbrRecords + "): Time taken in ms: " + (end - start));} finally {IOUtils.closeQuietly(bis);} }

該代碼使用單線解組每個(gè)XML文件：

JAXBElement<PersonsType> root = (JAXBElement<PersonsType>) unmarshaller.unmarshal(bis);

我還訪問了基礎(chǔ)PersonType集合的大小以“接觸”內(nèi)存數(shù)據(jù)。 順便說一句，調(diào)試該應(yīng)用程序顯示，在這行代碼之后，內(nèi)存中確實(shí)確實(shí)有所有10,000個(gè)元素可用。

JAXB + STax

使用STax，我只需要使用XMLStreamReader，遍歷所有<person>元素，然后依次將每個(gè)元素傳遞給JAXB，以將其解組為PersonType域模型對(duì)象。 代碼如下：

// set up a StAX reader XMLInputFactory xmlif = XMLInputFactory.newInstance(); XMLStreamReader xmlr = xmlif.createXMLStreamReader(new FileReader(file)); JAXBContext ucontext = JAXBContext.newInstance(PersonType.class); Unmarshaller unmarshaller = ucontext.createUnmarshaller(); long start = System.currentTimeMillis(); long memstart = Runtime.getRuntime().freeMemory(); long memend = 0L;try {xmlr.nextTag();xmlr.require(XMLStreamConstants.START_ELEMENT, null, "persons");xmlr.nextTag();while (xmlr.getEventType() == XMLStreamConstants.START_ELEMENT) {JAXBElement<PersonType> pt = unmarshaller.unmarshal(xmlr,PersonType.class);if (xmlr.getEventType() == XMLStreamConstants.CHARACTERS) {xmlr.next();}}memend = Runtime.getRuntime().freeMemory();long end = System.currentTimeMillis();LOG.info("STax - (" + nbrRecords + "): - Total memory used: " + (memstart - memend));LOG.info("STax - (" + nbrRecords + "): Time taken in ms: " + (end - start));} finally {xmlr.close();} }

請(qǐng)注意，這次創(chuàng)建上下文時(shí)，我必須指定它用于PersonType對(duì)象，并且在調(diào)用JAXB解組時(shí)，我還必須傳遞所需的返回類類型，并帶有：

JAXBElement<PersonType> pt = unmarshaller.unmarshal(xmlr, PersonType.class);

請(qǐng)注意，我對(duì)對(duì)象不做任何事情，只是創(chuàng)建它，以通過不引入任何不必要的步驟來使基準(zhǔn)保持真實(shí)和可能。

JAXB + Woodstox

對(duì)于Woodstox，此方法與用于STax的方法非常相似。 實(shí)際上，Woodstox提供了與STax2兼容的API，所以我要做的就是提供正確的工廠，然后……砰！ 我讓伍德斯托克斯在掩護(hù)下工作。

private void readLargeXmlWithFasterStax(File file, int nbrRecords)throws FactoryConfigurationError, XMLStreamException,FileNotFoundException, JAXBException {// set up a Woodstox readerXMLInputFactory xmlif = XMLInputFactory2.newInstance();XMLStreamReader xmlr = xmlif.createXMLStreamReader(new FileReader(file));JAXBContext ucontext = JAXBContext.newInstance(PersonType.class);Unmarshaller unmarshaller = ucontext.createUnmarshaller();long start = System.currentTimeMillis();long memstart = Runtime.getRuntime().freeMemory();long memend = 0L;try {xmlr.nextTag();xmlr.require(XMLStreamConstants.START_ELEMENT, null, "persons");xmlr.nextTag();while (xmlr.getEventType() == XMLStreamConstants.START_ELEMENT) {JAXBElement<PersonType> pt = unmarshaller.unmarshal(xmlr,PersonType.class);if (xmlr.getEventType() == XMLStreamConstants.CHARACTERS) {xmlr.next();}}memend = Runtime.getRuntime().freeMemory();long end = System.currentTimeMillis();LOG.info("Woodstox - (" + nbrRecords + "): Total memory used: " + (memstart - memend));LOG.info("Woodstox - (" + nbrRecords + "): Time taken in ms: " + (end - start));} finally {xmlr.close();} }

請(qǐng)注意以下行：

XMLInputFactory xmlif = XMLInputFactory2.newInstance();

我在哪里傳遞STax2 XMLInputFactory。 這使用Woodstox實(shí)現(xiàn)。

主循環(huán)

一旦文件就位（通過傳遞-Dcreate.xml = true獲得此文件），主程序?qū)?zhí)行以下操作：

System.gc(); System.gc();for (int i = 0; i < 10; i++) {main.readLargeFileWithJaxb(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-10000.xml"), 10000);main.readLargeFileWithJaxb(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-100000.xml"), 100000);main.readLargeFileWithJaxb(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-1000000.xml"), 1000000);main.readLargeXmlWithStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-10000.xml"), 10000);main.readLargeXmlWithStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-100000.xml"), 100000);main.readLargeXmlWithStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-1000000.xml"), 1000000);main.readLargeXmlWithFasterStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-10000.xml"), 10000);main.readLargeXmlWithFasterStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-100000.xml"), 100000);main.readLargeXmlWithFasterStax(new File(OUTPUT_FOLDER + File.separatorChar + "large-person-1000000.xml"), 1000000); }

它邀請(qǐng)GC運(yùn)行，盡管我們知道這是由GC線程決定的。 然后，它將每個(gè)策略執(zhí)行10次，以標(biāo)準(zhǔn)化 RAM和CPU消耗。 然后，通過十次運(yùn)行的平均值來收集最終數(shù)據(jù)。

內(nèi)存消耗的基準(zhǔn)測(cè)試結(jié)果

下面是一些圖表，這些圖表顯示了在解組10,000 / 100,000 / 1,000,000文件時(shí)不同運(yùn)行環(huán)境下的內(nèi)存消耗。

您可能會(huì)注意到，與STax相關(guān)的策略的內(nèi)存消耗通常顯示為負(fù)值。 這意味著在解組所有元素之后比在解組循環(huán)開始時(shí)有更多的空閑內(nèi)存。 反過來，這表明GC使用STax運(yùn)行的次數(shù)比使用JAXB運(yùn)行的次數(shù)多得多。 如果有人考慮，這是合乎邏輯的。 由于使用STax時(shí)，我們不會(huì)將所有對(duì)象都保留在內(nèi)存中，因此有更多對(duì)象可用于垃圾回收。 在這種特殊情況下，我認(rèn)為在while循環(huán)中創(chuàng)建的PersonType對(duì)象符合GC的條件，并進(jìn)入年輕一代區(qū)域，然后由GC對(duì)其進(jìn)行回收。 但是，這應(yīng)該對(duì)性能產(chǎn)生最小的影響，因?yàn)槲覀冎缽哪贻p一代空間中聲明對(duì)象非常有效。

10,000個(gè)XML元素的摘要

100,000個(gè)XML元素的摘要

1,000,000個(gè)XML元素的摘要

處理速度的基準(zhǔn)結(jié)果

10,000個(gè)元素的結(jié)果

100,000個(gè)元素的結(jié)果

1,000,000個(gè)元素的結(jié)果

結(jié)論

在所有三種不同環(huán)境下的結(jié)果，盡管有所不同，但都告訴我們相同的故事：

• 如果您正在尋找性能（例如XML解組速度），請(qǐng)選擇JAXB
• 如果您正在尋找內(nèi)存不足的使用（并準(zhǔn)備犧牲一些性能速度），請(qǐng)使用STax。

我個(gè)人的看法是，我不會(huì)選擇Woodstox，但是我會(huì)選擇JAXB（如果我需要處理能力并且能夠負(fù)擔(dān)得起RAM）或STax（如果我不需要最高速度并且基礎(chǔ)設(shè)施資源不足） ）。 這些技術(shù)都是Java標(biāo)準(zhǔn)，并且是從Java 6開始的JDK的一部分。

資源基準(zhǔn)測(cè)試器源代碼

• 郵編版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-project
• tar.gz版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-project.tar
• tar.bz2版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-project.tar

標(biāo)桿可執(zhí)行文件：

• 郵編版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-bin
• tar.gz版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-bin.tar
• tar.bz2版本： 下載Large-xml-parser-1.0.0-SNAPSHOT-bin.tar

數(shù)據(jù)文件：

• Ubuntu 64位VM運(yùn)行環(huán)境： 下載Stax-vs-jaxb-ubuntu-64-vm
• Ubuntu 32位運(yùn)行環(huán)境： 下載Stax-vs-jaxb-ubuntu-32位
• Windows 7 Ultimate運(yùn)行環(huán)境： 下載Stax-vs-jaxb-windows7

參考： Java中的XML編組基準(zhǔn)： Marco Tedone博客博客中的JCG合作伙伴 Marco Tedone的JAXB vs STax vs Woodstox 。

翻譯自: https://www.javacodegeeks.com/2012/05/xml-unmarshalling-benchmark-jaxb-vs.html

stax 和jaxb 關(guān)系

總結(jié)

以上是生活随笔為你收集整理的stax 和jaxb 关系_XML解组基准：JAXB，STAx，Woodstox的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。