關注 AI 發展的朋友應該會有個感覺:看了這麼多的 benchmark,我還是有點不相信排行最高的就會最棒,甚至不免開始質疑對方的測試方式。
OCF 進行了為期九週的 AI 模型評測,和兩位實習夥伴一起,只專注於針對正體中文、粵文 的 OCR 與文件解析的 benchmark,不是只跑分數而已,是把
prompt、推論參數、後處理與評分器都要列入評估和調整;如果這些條件沒有被控制、記錄與公開,分數之間就未必具有可比較性。
全報告現已公開,文字報告、GitHub 皆有,包含了測試方法、原則與流程完整記錄、分析,歡迎注重細節、富有好奇心與追根究底的精神的你一起來看看、參與 DEBUG!
|