sumeval快速上手教程3分钟从安装到出分只需3行代码算出ROUGE/BLEU得分【免费下载链接】sumevalWell tested Multi-language evaluation framework for text summarization.项目地址: https://gitcode.com/gh_mirrors/su/sumevalsumeval 是一个纯 Python 编写、经过充分测试的多语言文本摘要评估框架3 行代码即可算出 ROUGE-1/2/L/BE 与 BLEU 得分还内置命令行工具无需写代码一键出分。本教程带你 3 分钟完成从安装到第一次出分的全过程。为什么选择 sumeval 做文本摘要评估做摘要模型、翻译、机器生成文本时总需要一个客观指标来衡量生成的摘要和参考摘要到底有多像。sumeval 正好解决这件事核心卖点✅分数可信ROUGE 分数与原版 Perl 脚本ROUGE-1.5.5.pl对齐测试过BLEU 由 SacréBLEU 计算与 WMT 官方脚本 mteval-v13a.pl 结果一致多语言支持内置英文、中文、日文其他语言可通过语言类轻松扩展纯 Python 实现pip一条命令装好无 C 扩展烦恼安装 sumeval1 条 pip 命令搞定确保 Python 版本为 3.6 及以上然后执行pip install sumeval安装完成后会自动注册sumeval命令命令行入口定义在sumeval/cli/sum_eval.py。核心依赖plac和sacrebleu会一并装好基础功能零配置可用。3 行代码算出 ROUGE 得分创建一段 Python 脚本完整示例见仓库根目录的demo.pyfrom sumeval.metrics.rouge import RougeCalculator rouge RougeCalculator(stopwordsTrue, langen) score rouge.rouge_1(I went to Mars., I went to Mars.)RougeCalculator提供 4 种计算方式按需调用方法含义适用场景rouge_n(n1/2)ROUGE-N 词重叠最常用的快速指标rouge_lROUGE-L 最长公共子序列衡量语序一致性rouge_beROUGE-BE 依存句法更贴近语义需额外依赖其中stopwordsTrue表示过滤停用词lang指定语言en/zh/ja。3 行代码算出 BLEU 得分BLEU 适合翻译、摘要等与参考文本对比的场景from sumeval.metrics.bleu import BLEUCalculator bleu BLEUCalculator() score bleu.bleu(I am waiting on the beach, He is walking on the beach)评估日文时只需把参数改成BLEUCalculator(langja)。实现代码位于sumeval/metrics/bleu.py。不写代码出分sumeval 命令行工具只想快速验证一两句话直接敲命令r-nlb表示一次算出 ROUGE-N、L、BEsumeval r-nlb Im living New York its my home town so awesome My home town is awesome输出为标准 JSON包含参数回显、逐条scores和平均averages本例 ROUGE-1 ≈ 0.75、ROUGE-2 ≈ 0.67。常用技巧第一个参数是生成的摘要后面 1~N 个参数是参考摘要加-f可改为从文件逐行读取摘要文件 若干参考文件适合批量评估-la指定语言-in保留停用词-st开启词干化完整参数用sumeval -h查看中文 / 日文评估依赖速查表 不同语言使用各自的切词工具按需安装即可场景额外依赖英文 ROUGE / BLEU无开箱即用英文 ROUGE-BEspaCy中文langzhjiebaROUGE-BE 需再加pyhanlp日文langjajanome或MeCabROUGE-BE 需再加GiNZA各语言的停用词、词干表等静态数据都放在sumeval/metrics/lang/data/目录下如zh/stop_words.txt切词逻辑统一由sumeval/metrics/lang/中的语言类管理。分数准不准看测试就知道sumeval 自带完整的测试用例tests/目录用两套独立实现交叉验证ROUGE 分数对比原版 Perl 脚本 pythonrougeBLEU 对比 SacréBLEU。测试数据如 tests/data/ROUGE-test.json 均附期望值改动实现后可随时回归这对做科研评估的读者来说是一个重要保障。快速参考常用文件路径路径说明sumeval/metrics/rouge.pyROUGE 计算器核心实现sumeval/metrics/bleu.pyBLEU 计算器核心实现sumeval/metrics/lang/英/中/日切词与语言处理sumeval/cli/sum_eval.py命令行入口demo.py可直接运行的完整示例requirements-test.txt运行测试所需依赖装好、跑通、出分——现在就可以把 sumeval 接进你的摘要评估流程了 【免费下载链接】sumevalWell tested Multi-language evaluation framework for text summarization.项目地址: https://gitcode.com/gh_mirrors/su/sumeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考