2024年3月，德国莱布尼兹科学技术信息中心（TIB Leibniz Information Centre for Science and Technology）揭晓了其发起的大模型主题标引共享任务（LLMs4Subjects shared task）评估结果。在贾君枝教授和夏天副教授的共同指导下，由博士生（杨鑫、武文静、胡润东）和本科生（修悦恒、李锦渔、高桐）组成的队伍（RUC Team）在该共享任务中斩获佳绩。该任务分为核心主题标引与全部主题标引，并通过机器学习指标定量评估和专家抽样定性评估确定方案效果。团队所提方法的核心主题标引定量评估排名第一，所有主题标引评估及定性评估排名第三。

图1 官方评估结果

（SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog）

SemEval是由计算语言学协会（ACL）主办的国际语义评测研讨会（19th Workshop on Semantic Evaluation），从1998年开始举办，通过设置一系列的评测任务，推动自然语言处理和数据挖掘领域研究的发展。SemEval 2025共包含语义关系、大型语言模型能力、事实核查与知识验证、知识表示与推理四个主要选题，共计10个任务。

团队成员通过多种实验对比，最终选取语义嵌入方案，通过创建索引与语义计算，从训练集中检索与待标引文献语义最为相关的文献进行综合排序输出，针对所有主题词的平均标引效果好，且展现出较好的整体性能。语义嵌入是一种符合人类直觉与习惯的处理方式，具有与人工主题标引相似的“学习”处理过程，这也为人们在面对不同任务时，如何合理选择恰当方案提供了更多的思考与启发。