단일 자유 서술 대신, 고정된 5단계 추론 스캐폴드를 거쳐 모든 문제를 풀어내는 병렬 다국어 추론 데이터셋입니다. 각 레코드는 목표를 재진술하고, 해결 계획을 제시하며, 근거로 삼을 전제와 변수를 정의한 뒤, 정확히 5개의 번호가 매겨진 추론 단계를 전개하고, 통합된 최종 답변으로 마무리합니다. 동일한 문제를 8개 언어로 제공하며 5개 단계가 모두 정렬되어 있어, 모델의 추론을 최종 답변만이 아니라 언어 경계를 넘어 단계별로 비교할 수 있습니다.
질문은 실제 사용자 프롬프트의 어투로 작성되었습니다. 사회·경제 영역에서는 대화체의 개방형 질문으로, 수학·공학 영역에서는 정밀하게 명세된 형태로 구성되어, 실제 배포된 모델이 받게 되는 유형의 입력으로 추론 능력을 학습시킬 수 있습니다.
단계가 라벨링된 구조화 추론 트레이스를 활용한 추론 특화 LLM 지도 미세조정(SFT)
프로세스 리워드 모델링 및 단계 단위 추론 검증
동일 문제에 대한 추론 일관성의 교차 언어 평가
장문 다단계 추론의 소형 모델 증류(distillation)
| Stage | Content |
|---|---|
question | Given yz − ln(z) = x + y, where z is a function of x and y, find ∂z/∂x. |
task | Express ∂z/∂x explicitly under the differentiability condition. |
approach | Differentiate both sides with respect to x, applying the chain rule to z. |
initial_analysis | y is independent, so it is constant under ∂/∂x; the chain rule introduces ∂z/∂x. |
step_by_step | Five numbered steps: differentiate each side → factor (y − 1/z)·∂z/∂x = 1 → solve → verify. |
output | ∂z/∂x = z / (yz − 1) |
문제는 사회·문화, 경제, 수학, 과학, 공학 도메인별로 작성되며, 도메인 네임스페이스가 적용된 sid를 부여해 하나의 문제를 모든 언어 버전에 걸쳐 추적할 수 있도록 합니다. 질문은 사용자가 실제로 묻는 방식의 어투로 작성하여, 시험 문제식 표현에 한정하지 않고 대화체이거나 조건이 충분히 명시되지 않은 프롬프트도 데이터셋에 포함합니다.
이후 각 문제를 8개 대상 언어로 현지화합니다. 현지화는 질문뿐 아니라 6개 필드 전체를 대상으로 하므로, 계획·전제·모든 추론 단계가 언어 간 병렬로 존재합니다. 표기법, 변수명, LaTeX 수식은 변경 없이 그대로 유지되어 수학적 내용은 모든 언어에서 동일하며, 주변 서술문은 원어민이 읽기에 자연스럽게 작성됩니다.
추론은 고정된 5단계 스캐폴드, 즉 목표 재진술 → 계획 제시 → 전제 확정 → 번호가 매겨진 5개 단계 전개 → 답변 통합의 형태로 작성됩니다. 각 단계에는 고유한 역할이 정의되어 있습니다. 계획에는 결과가 포함될 수 없고, 전제에는 결론이 등장할 수 없으며, 마지막 답변에는 단계에 없던 사실이 추가될 수 없습니다.
검수자는 네 가지 축으로 각 레코드를 점검합니다. 첫째, 단계 역할의 무결성으로, 각 필드가 인접 단계를 반복하지 않고 고유한 역할을 수행하는지 확인합니다. 둘째, 5단계 불변 조건으로, 개수를 맞추기 위해 늘리거나 압축한 것이 아니라 추론이 실질적인 5개 단계로 나뉘는지 확인합니다. 셋째, 로케일 간 동등성으로, 8개 언어 버전이 동일한 단계 수, 동일한 추론 경로, 동일한 최종 답변을 갖는지 확인합니다. 넷째, 함의 관계로, 마지막 답변이 작성된 단계들로부터 도출되며 근거 없는 내용이 추가되지 않았는지 확인합니다.
수학 및 공학 레코드의 경우, 검수자가 결과를 독립적으로 재도출하고 LaTeX 수식과 전문 용어가 현지화 과정에서 손상 없이 유지되었는지 추가로 검증합니다. 어느 한 축이라도 통과하지 못한 레코드는 부분 수정이 아니라 재작성합니다. 단계 경계가 무너진 경우 문장 하나를 고쳐서는 복구할 수 없기 때문입니다.