MODEL / 02 · HANDWRITTEN TEXT RECOGNITION

面向混合手写体的
TrOCR 微调模型

将预训练视觉编码器与文本解码器适配到历史植物标本标签,处理草写、褪色以及西里尔文与拉丁文混排等实际转录场景。

01 / CURRENT MODEL

当前模型的识别表现

15.55%
开发测试集 CER训练评测 · 256 行
16.57%
最终测试集 CERfinal-test · 253 行
02 / BEFORE & AFTER / 微调后模型

微调前后:语言与文本领域的适配

字符错误率 CER · 越低越好早期同轮评测
微调前
116.25%
微调后模型
17.35%
062.5125%

字符错误率 CER =(替换 + 删除 + 插入)/ 参考字符数,出现大量插入时可超过 100%。

03 / RECOGNITION EXAMPLES

把指标放回实际文本行

文字识别输入的实际文本行

人工参考转写

当前模型 · TrOCR

04 / MODEL & TRAINING

从图像特征到文字序列

文本行图像手写 / 打印 / 混合文本
→
视觉编码器Transformer Encoder
→
文本解码器Autoregressive Decoder
→
字符序列Unicode text

适配历史标本标签

以人工转写的文本行为训练单位,学习西里尔文与拉丁文在实际标本签上的字形及组合。

微调训练

使用学习率 2×10⁻⁵、余弦调度、亮度与对比度等增强,并依据验证表现提前停止。

接入转录流程

接收裁取后的单行图像,输出可供人工核对与后续结构化处理的文字候选。

训练文本行
1,836
验证文本行
261
有效 batch
32
05 / RESOURCES

开放信息

模型与微调后参数文件将随论文发布公开