Benchmark和Baseline的含義與區別

原文地址：https://www.zhihu.com/question/28823373

Benchmark和baseline都有性能比較的意思。
先看看字典定義。

benchmark：N-COUNT A benchmark is something whose quality or quantity is known and which can therefore be used as a standard with which other things can be compared.

通俗的講，一個算法之所以被稱為benchmark，是因為它的性能已經被廣泛研究，人們對它性能的表現形式、測量方法都非常熟悉，因此可以作為標準方法來衡量其他方法的好壞。
這里需要區別state-of-the-art（SOTA），能夠稱為SOTA的算法表明其性能在當前屬于最佳性能。如果一個新算法以SOTA作為benchmark，這當然是最好的了，但如果比不過SOTA，能比benchmark要好，且方法有一定創新，也是可以發表的。

baseline：N-COUNT A baseline is a value or starting point on a scale with which other values can be compared.

通俗的講，一個算法被稱為baseline，基本上表示比這個算法性能還差的基本上不能接受的，除非方法上有革命性的創新點，而且還有巨大的改進空間和超越benchmark的潛力，只是因為是發展初期而性能有限。所以baseline有一個自帶的含義就是“性能起點”。這里還需要指出其另一個應用語境，就是在算法優化過程中，一般version1.0是作為baseline的，即這是你的算法能達到的一個基本性能，在算法繼續優化和調參數的過程中，你的目標是比這個性能更好，因此需要在這個base line的基礎上往上跳。

簡而言之，
benchmark一般是和同行中比較牛的算法比較，比牛算法還好，那你可以考慮發好一點的會議/期刊；
baseline一般是自己算法優化和調參過程中自己和自己比較，目標是越來越好，當性能超過benchmark時，可以發表了，當性能甚至超過SOTA時，恭喜你，考慮投頂會頂刊啦。

總結

以上是生活随笔為你收集整理的Benchmark和Baseline的含义与区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。