Pre-training DataMultimodal

파슈토어 인쇄 도서 라이선스 코퍼스

Type
Text-in-ImageDocument Dataset
Domain
Humanities and Social
Language
Pashto

Overview

이 데이터셋은 출판사 및 저자의 정식 라이선스를 확보한 파슈토어 인쇄 도서를 디지털화한 자료입니다. 희귀 석판 인쇄본을 포함하며, 원본 페이지 스캔본과 OCR 추출 텍스트, 원어민이 교차 검증한 텍스트로 구성되어 있습니다.

활용 사례

  • 파슈토어 언어 모델 사전학습: 인쇄 도서에서 추출하고 검증한 파슈토어 텍스트를 파슈토어 언어 모델의 사전학습 데이터로 활용할 수 있습니다.
  • 파슈토어 텍스트 코퍼스 구축: OCR 추출 텍스트와 원어민 검증 텍스트를 활용하여 파슈토어 문헌을 디지털 텍스트로 정리하고, 언어 분석 및 자연어 처리에 필요한 텍스트 코퍼스를 구축할 수 있습니다.
플리토 큐레이션 데이터 플리토 큐레이션 데이터