WER计算出错

[buaa-zyy3515]

你的wer计算方式在遇到部分数据时会报错（gigaspeech、people speech数据集里面出现），例如：
pred = "um um"
ref = "mm mm"
output = compute_wer([ref], [pred], language="en")
print(output)

File "/xxx/UltraEval-Audio/audio_evals/lib/wer.py", line 58, in compute_wer
return distance / ref_length
ZeroDivisionError: division by zero

[UltraEval]

这个是因为wer计算前会做一些文本预处理，数据集里的部分参考答案被预处理完后为空了。这个预处理命令是需要的，当前市面上的wer预处理基本都是来自whisper仓库的，本评测框架也不例外。只是其他计算都是输入都是整个数据集的prediction， refernce所以不会触发这个报错，本评测框架为了分析badcase多计算了"单条wer"所以部分数据会报这个错误（整体的wer也会算），只要数据集的fail rate <1%, 基本不会有什么问题。本评测框架ASR可以复现市面上大多数的音频模型。

[buaa-zyy3515]

还有一个问题，对日文计算wer的结果好像有问题，fleurs-ja_jp数据集测试示例：
{"type": "eval", "id": 0, "data": {"pred": "わずか2週間でアメリカ軍と自由フランス軍は南フランスを解放しドイツに向かっていました", "ref": "わずか2週間でアメリカ軍と自由フランス軍は南フランスを解放し ドイツに向かっていました", "wer%": 100.0}}
{"type": "eval", "id": 1, "data": {"pred": "税金の高い国を訪れる旅行者は特に酒類やタバコなどの商品でかなりの金額を節約できることがあります", "ref": "税金の高い国を訪れる旅行者は 特に酒類やたばこなどの商品でかなりの金額を節約できることがあります", "wer%": 100.0}}
{"type": "eval", "id": 2, "data": {"pred": "通常ここではいつも観光客や業者たちが発する音が聞こえてきます音と光が織りなす物語はまるで絵本のようです", "ref": "通常 ここではいつも観光客や業者たちが発する音が聞こえてきます 音と光が織りなす物語はまるで絵本のようです", "wer%": 100.0}}

[UltraEval]

确实没支持过日语的ASR,今后视需求可能会支持一下。

你可以修改audio_evals/lib/wer.py里compute_wer，当language==jp时做一个日语分词并用空格分开即可

[buaa-zyy3515]

改成这样结果基本是正确的
if language in ["zh", "yue", "jp", "kr"]:
ref_items = [x for x in "".join(ref_items)]
pred_items = [x for x in "".join(pred_items)]

[buaa-zyy3515]

新问题：对日文计算bleu时，registry里日文代码lang="jp"，但代码里（包括evaluator和agg）判断日文代码都是ja