이 벤치마크는 여백 주석과 필기체가 포함된 희귀 아랍어 필사본 및 초기 인쇄본을 활용해 OCR·시각언어모델(VLM)의 문자 인식 성능을 평가하는 데이터셋입니다. 학습용 코퍼스와 별도로 마련된 홀드아웃 평가셋, 전문가가 검증한 정답 텍스트, 모델별 오류 분석 자료를 제공합니다. 이를 통해 모델의 인식 결과를 정답과 비교하여 정확도와 오류 유형을 확인할 수 있습니다.
활용 사례
- 복잡한 아랍어 필기체·여백 주석 OCR·VLM 성능 평가: 기존 모델에서 96%에 달하는 단어 인식 불일치가 보고된 아랍어 문서를 대상으로, 모델의 인식 결과를 전문가 검증 정답과 비교하여 문자·단어 인식 성능을 평가할 수 있습니다.
- OCR·VLM 모델별 인식 오류 비교: 제공되는 모델별 오류 분석 자료를 활용하여 서로 다른 OCR·VLM 모델의 문자 인식 오류를 비교하고, 필기체와 여백 주석을 인식할 때 나타나는 모델별 취약점을 파악할 수 있습니다.