Evaluating Arabic Large Language Models: A Survey of Benchmarks, Methods, and Gaps

文章主要内容与创新点总结

一、主要内容

该研究是首篇针对阿拉伯语大型语言模型（Arabic LLM）评估基准的系统性综述，通过分析40余个基准数据集，构建了涵盖四大类别的基准分类体系，全面梳理了阿拉伯语LLM评估的现状、方法与不足。

1. 核心背景与挑战

• 阿拉伯语使用人口近5亿，但其LLM发展面临数据稀缺、语言多样性（现代标准阿拉伯语+20余种方言）、文化敏感性强、评估体系碎片化等独特挑战。
• 现有阿拉伯语LLM分为三类：原生模型（如Jais）、多语言模型（如ChatGPT）、适配模型（如Falcon-Arabic），但缺乏对其评估基准的全面梳理。

2. 基准分类体系

研究提出四分类 taxonomy：

• 知识类（Knowledge）：评估通用知识、STEM能力及法律、医学、诗歌等特定领域知识，代表基准包括ArabicMMLU、AraSTEM、ArabLegalEval等。
• 自然语言处理任务类（NLP Tasks）：涵盖单任务与多任务评估，从早期的ARCD（阅读理解）发展到LAraBench（33项任务）、BALSAM（78项任务）等综合基准。
• 文化与方言类（Culture and Dialects）：聚焦阿拉伯文化理解与方言适配，代表基准有Jawaher（谚语数据集）、PALM（22个阿拉伯国家文化内容）、AraDiC