20세기 초 페르시아어 나스탈리크 석판 인쇄본을 활용해 OCR 및 시각언어모델(VLM)의 문자 인식 성능을 평가하는 벤치마크입니다. 학습용 데이터와 별도로 구성된 홀드아웃 평가셋, 전문가가 검증한 정답 텍스트, 모델별 오류 분석 자료를 제공합니다. 이를 통해 모델이 문서를 읽어 생성한 결과를 정답과 비교하고, 인식 정확도와 오류 유형을 확인할 수 있습니다.
복잡한 나스탈리크체 OCR·VLM 성능 평가: 기존 모델에서 76%에 달하는 단어 인식 불일치가 보고된 복잡한 페르시아어 서체를 대상으로, 모델의 인식 결과를 전문가 검증 정답과 비교하여 문자·단어 인식 성능을 평가할 수 있습니다.
OCR·VLM 모델별 인식 오류 비교: 제공되는 모델별 오류 분석 자료를 활용하여 서로 다른 OCR·VLM 모델이 어떤 문자나 단어를 잘못 인식하는지 비교하고, 각 모델의 취약점을 파악할 수 있습니다.