Pre-training DataText

한국어 LLM 학습을 위한 출판 도서 다중 분야 코퍼스

Type
Document Dataset
Domain
Humanities and SocialBio, Environment and EnergyManagement, Economic and FinanceScience and Engineering
Language
Korean

Overview

이 한국어 텍스트 코퍼스는 전문 출판된 도서를 기반으로 구축되었으며, 학습용으로 정제되었고 인문학, 사회과학, 자연과학, 실용 분야를 다룹니다.

활용 분야

  • 한국어 사전학습: 편집 과정을 거친 도서 텍스트는 크롤링된 한국어 텍스트에서는 보기 드문 일관된 맞춤법, 문장부호, 문단 구조를 제공합니다.
  • 학습 데이터 구성의 도메인 균형 조정: 네 가지 분야를 모두 다루고 있어, 크롤링으로 우연히 수집된 분포를 그대로 따르는 대신 한국어 사전학습 코퍼스를 분야별로 의도에 맞게 가중치를 조정할 수 있습니다.
  • 장문 맥락 및 문서 단위 학습: 도서 분량의 텍스트가 충분히 긴 문단을 제공해, 한국어 장문 맥락 이해와 문서 단위 요약을 학습하고 평가하는 데 활용할 수 있습니다.
플리토 큐레이션 데이터 플리토 큐레이션 데이터