EvaHan2023

中國古代典籍是中國傳統文化的重要組成部分，在古籍研究領域，古籍的翻譯起著非常重要的作用。古漢語在語法、句法、詞匯等方面與現代漢語有很大的差異，提高古漢語到現代漢語的機器翻譯性能可以更好地推動古籍研究的發展。同時，提高古漢語到英語的機器翻譯技術也可以推動中國傳統文化在世界范圍內的推廣。

EvaHan是專注于古漢語信息處理的系列國際評測，2022年在法國馬賽，與古拉丁語自動分析評測EvaLatin一起，舉辦了第一屆古漢語分詞與詞性標注評測EvaHan2022，有十多支隊伍參賽，并刷新了業界的最好成績。為了推動古籍處理技術的進步，2023年在中國澳門舉辦第二屆EvaHan評測。

EvaHan 2023是第二屆古漢語信息處理國際評測，今年任務是古漢語的機器翻譯，包含兩個子任務：

• 古漢語翻譯為現代漢語

• 古漢語翻譯為英語

EvaHan 2023將于2023年9月4日在中國澳門特區召開。作為古文翻譯研討會ALT2023（http://www.ancientnlp.com/alt2023/）的子任務，在國際機器翻譯頂會MT-SUMMIT2023(https://mtsummit2023.scimeeting.cn/en/web/index/)上召開。

ALT2023還將同期舉行第一屆楔形文字機器翻譯評測，將蘇美爾語和古漢語兩種古老的語言自動翻譯為今天的語言，是一個重要的進步。

• 比賽將設置一二三等獎，將給獲獎隊頒發證書和獎金。獎金贊助商正在洽談。
  

Important Dates

• Registration for the shared task: 15 Feb, 2023 ~ 25 March, 2023

• Training data release: April 1, 2023

• Test data release: June 1, 2023

• Data submission : June 7, 2023

• Tech report submission: June 15, 2023

• Notification of acceptance: June 25, 2023

• C

  amera Ready submission: 10 July 2023

EvaHan 2023

參賽手冊

數據說明

數據來源于中國的二十四史、先秦典籍和《資治通鑒》，由國家社會科學基金重大項目“中國古代典籍跨語言知識庫構建及應用研究”(項目編號:21&ZD331)課題組精加工完成。

語料庫中的中國古代經典文本既具有歷時性，語料內容的時間跨為數千年，又具有多樣性，即涵蓋了中國傳統的四類規范文本：經(儒家經典)，史(歷史著作)，子(屬于儒家以外的思想流派的哲學著作，但也包括農業、醫學、數學、天文學、占卜、藝術評論和其他雜文)和集(文學作品集)。

1.數據格式

發布的數據沒有對任何長度的句子(包括空句子)進行標記化。所有數據都是Unicode (UTF-8)格式。平行語料庫數據格式的示例如圖1所示。

以古白平行語料為例，左側為古漢語文本，右側為以句子為單位對應的現代漢語文本（繁體）。對于古代漢英平行文本，采用相同的格式。

2.訓練數據

訓練數據的來源是中國二十四史古代漢語到現代漢語的平行語料庫、先秦典籍古代漢語到英語的平行語料庫和《資治通鑒》。訓練數據的基本概況如表1所示。

總的來說，本次測評所采用的古代漢語文本跨語言平行語料具有規模大、歷時性強、平衡性強的特點。

3.測試數據

測試數據將以txt格式提供，內容為古代漢語的句子。

翻譯任務

評測分為開放模式和封閉模式。

• 在封閉模式中，只能使用指定的數據資源，現代漢語模型采用Chinese-RoBERTa-wwm-ext[3]，古代漢語模型采用Siku-RoBERTa[1]，英語模型采用RoBERTa[4]，參賽者需要做的就是改進模型或算法，提升機器翻譯的性能。

• 在開放模式中，參賽隊可以使用任意的數據資源，但是需要在技術報告中予以說明。
  

您可以同時參加多個賽道和模式。每一個參賽團隊提交的結果要應該包含翻譯系統的簡要介紹（基本信息，例如使用的模型、技術、方法等），同時，參賽團隊需要提交一份技術報告，對模型的改進以及使用的方法進行詳細的介紹。

盡管本次測評的主要目標是評選出性能最為優越的機器翻譯系統，我們也鼓勵一些富有創造性的項目參賽，即便該項目的性能并不是最優的。您也可以通過本次測評進一步完善、提升您的系統。

評測內容

1.測評指標

我們將分別評估參與者提供的古英機器翻譯模型和古白機器翻譯模型的性能。本次測評采用的評測指標為BLEU[5]、ChrF[6]和COMET-QE[7-9]。

參賽隊伍在參賽之初只能獲取到訓練數據，之后我們將發布包含古漢語文本的測試數據。測評結束后，還將發布與測試數據中古漢語對應的現代漢語和英語數據。

表2給出了評分指標的輸出樣例，測評過程中，將根據參賽隊伍的翻譯結果和相應的參考翻譯自動計算測評分數。?

2.封閉模式與開放模式

每個參賽隊伍都可以同時參加兩個賽道：封閉模式與開放模式。在封閉模式下，參賽隊伍只能使用我們提供的訓練數據和規定的預訓練模型，如表3所示。

在開放模式中，參賽隊伍使用的資源（例如：模型、數據）將不受限制。可以使用帶有標注的外部數據以及一些其他輔助技術，例如漢字拼音、知識圖譜、詞嵌入等。請注意，參賽團隊必須在最終報告中聲明他們在參賽過程中使用的所有資源。

3.測評的Baseline

我們將評估谷歌翻譯在測試數據上的翻譯結果，作為Baseline。

參賽方式

1.注冊

如果您有意向參加，請填寫電子版參賽申請表：https://forms.office.com/Pages/ResponsePage.aspxid=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAMAAExHmLlUMURNSUNHQTQ5SUhQMzFIR05GSEo2QUFONi4u&lang=en

您也可以在EvaHan2023官方GitHub網站查找，填寫時，請確保您的信息正確且您的電子郵箱可以正常使用。收到您的注冊信息后，我們會將訓練數據發送到您的電子郵箱，請注意查收。

2.咨詢

如果您對本次測評有任何疑問，請隨時發送電子郵件到我們的官方郵箱：evahan2023@gmail.com。

如果您長時間沒有收到回復，請檢查您的郵件是否發送成功。

比賽要求

1.提交結果的格式

在您的參賽團隊完成了翻譯任務后，請務必按照以下說明提交翻譯結果：

●文件命名：

請使用以下文件名格式命名翻譯結果：

任務ID_隊伍名稱_結果ID_模式.tsv

例如：testa_unicatt_1_closed.tsv為一支名為unicatt的隊伍在封閉模型下使用testa.txt文本（古白翻譯）的第一次翻譯結果。

testb_unicatt_2_open.tsv 為一支名為unicatt的隊伍在開放模型下使用testb.txt文本（古英翻譯）的第二次翻譯結果。

●提交格式:

輸出文件內容應該按照如下格式使用制表符分隔：

其中:

<id>為原始古漢語文本數據的ID。

<source>為古漢語文本。

<translation>是您的機器翻譯結果，您可以同時提交兩份翻譯結果，也可以只提交一份。

提交樣例如下：

2.提交方式：

在提交之前，請通過我們之后提供的測評腳本進行初步測試，之后，您可以將本次得分與BLEU、ChrF和COMET-QE一起使用。

請將您的結果發送到我們的官方郵箱：evahan2023@gmail.com，主題為“EvaHan Submission：taskID-teamName”，其中“taskID”為testa或testb。

請注意，每個參賽團隊的每個翻譯任務最多只能提交兩次，請勿重復提交。

3.撰寫技術報告

技術報告內容部分（參考文獻除外）不應超過4頁，格式要求參見MT Summit 2023樣式指南（PDF、LaTeX、MS Word版本和Overleaf版）。由于技術報告要進行盲審，請勿在技術報告中包含作者姓名和機構，并避免過于明顯的自我引用。

請于會議截至提交日期前，將技術報告提交至以下網站：https://softconf.com/mtsummit2023/research

組織方

EvaHan 2023是由南京師范大學、南京農業大學信息管理學院、南京理工大學經濟管理學院的計算語言學和數字人文研究團隊共同組織。

附錄：古籍翻譯在線資源

??古代漢語預訓練模型?SikuRoBERTa: https://huggingface.co/SIKU-BERT/sikuroberta; https://github.com/hsc748NLP/SikuBERT-for-digital-humanities-and-classical-Chinese-information-processing

??現代漢語預訓練模型?RoBERTa: https://huggingface.co/hfl/chinese-roberta-wwm-ext; https://github.com/ymcui/Chinese-BERT-wwm

??英語預訓練模型?RoBERTa: https://huggingface.co/roberta-large; https://github.com/facebookresearch/fairseq/tree/main/examples/roberta

??多語言預訓練模型?RoBERTa: https://huggingface.co/xlm-roberta-large; https://github.com/facebookresearch/fairseq/tree/main/examples/xlmr

??古代漢語預訓練模型?GPT-2: https://huggingface.co/uer/gpt2-chinese-ancient; https://github.com/Morizeyao/GPT2-Chinese

??古代漢語預訓練模型?SikuGPT: https://huggingface.co/JeffreyLau/SikuGPT2; https://github.com/SIKU-BERT/sikuGPT

??古代漢語預訓練模型GuwenBERT: https://huggingface.co/ethanyt/guwenbert-base; https://github.com/Ethan-yt/guwenbert

??古代漢語句法語料庫: http://kanji.zinbun.kyoto-u.ac.jp/~yasuoka/kyodokenkyu/2019-03-08/?

??古代漢語自動斷句: https://seg.shenshen.wiki/; https://wyd.kvlab.org?

??古代漢語標注語料庫: http://lingcorpus.iis.sinica.edu.tw/ancient/?

??在線漢語語料庫檢索系統: http://dh.ersjk.com/?

??古代漢語語料庫: https://github.com/garychowcmu/daizhigev20

參考文獻

[1] Wang, D., Liu, C, Zhu, Z, et al. 2022. Construction and Application of Pre-trained Models of Siku Quanshu in Orientation to Digital Humanities. Library Tribune, 42(6), 31-43. (In Chinese)

[2] Li, B., Yuan, Y., Lu, J., Feng, M., Xu, C., Qu, W., & Wang, D. (2022). The First International Ancient Chinese Word Segmentation and POS Tagging Bakeoff: Overview of the EvaHan 2022 Evaluation Campaign. In?Proceedings of the Second Workshop on Language Technologies for Historical and Ancient Languages?(pp. 135-140).

[3] Cui, Y., Che, W., Liu, T., et al. Revisiting pre-trained models for Chinese natural language processing[J]. arXiv preprint arXiv:2004.13922, 2020.

[4] Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., ... & Stoyanov, V. (2019). Roberta: A robustly optimized bert pretraining approach.?arXiv preprint arXiv:1907.11692.

[5]?Papineni, K., Roukos, S., Ward, T., & Zhu, W. J. (2002). Bleu: a method for automatic evaluation of machine translation. In?Proceedings of the 40th annual meeting of the Association for Computational Linguistics?(pp. 311-318), Philadelphia,?Pennsylvania, USA: Association for Computational?Linguistics.

[6] Popovi?, M. (2015). chrF: character n-gram F-score for automatic MT evaluation. In?Proceedings of the tenth workshop on statistical machine translation?(pp. 392-395), Lisbon, Portugal: Association for?Computational Linguistics.

[7] Rei, R., Stewart, C., Farinha A. C., & Lavie, A. (2020). COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)?(pp.2685-2702), Online: Association for Computational Linguistics.

[8] Rei, R., Farinha, A. C., Zerva, C., van Stigt, D., Stewart, C., Ramos, P., ... & Lavie, A. (2021). Are references really needed? unbabel-IST 2021 submission for the metrics shared task. In?Proceedings of the Sixth Conference on Machine Translation?(pp. 1030-1040), Online: Association for Computational Linguistics.

[9] Kocmi, T., Bawden, R., Bojar, O.,et al.?(2022). Findings of the 2022 conference on machine translation (WMT22). In?Proceedings of the Seventh Conference on Machine Translation (WMT)?(pp. 1-45), Abu Dhabi, United Arab Emirates: Association for Computational Linguistics.

---

進NLP群—>加入NLP交流群

總結

以上是生活随笔為你收集整理的参赛邀请 | 第二届古汉语自动分析国际评测EvaHan（古汉语机器翻译）开始报名...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。