문의하기
Frontier DataText

도메인 특화 벤치마크 데이터셋

Type
CoT Reasoning Dataset
Domain
Humanities and SocialIT and TechMedicalManagement, Economic and FinanceAd and MarketingScience and EngineeringLaw and Public
Language
English

Overview

본 데이터셋은 BFCL(Berkeley Function Calling Leaderboard)을 벤치마킹하여 개발한 멀티턴 벤치마크 데이터셋으로, 금융·법률·의료·제조·국방 분야의 도메인 특화 에이전트가 실제 업무를 수행하는 능력(Action Execution Capability)을 평가하는 것을 목적으로 합니다.

각 데이터 인스턴스는 다음 두 파일이 한 쌍으로 구성됩니다.

  • tools_catalog_multiturn.json: 각 도메인에서 사용할 수 있는 도구(Tool)를 정의
  • benchmark_scenarios_multiturn.json: 수행해야 할 과업(Task)과 시나리오를 정의

이러한 구조를 통해 LLM이 사용자의 요청과 대화 맥락을 이해하고, 적절한 도메인 특화 도구를 선택·호출하며, 여러 턴에 걸친 시나리오를 정확하게 수행할 수 있는지를 평가할 수 있습니다.

본 데이터셋은 전문 지식과 도구 활용이 필요한 도메인을 중심으로 구성되어 있습니다. 단순한 질의응답 성능을 넘어, 에이전트의 실질적인 업무 수행 능력을 평가할 수 있도록 도구 선택(Tool Selection), 함수 호출(Function Calling), 멀티턴 맥락 유지(Multi-turn Context Retention), 복합 과업 수행(Complex Task Execution) 등을 주요 평가 대상으로 합니다.

활용 분야

  • 도메인 특화 LLM 에이전트 성능 평가
  • Function Calling 및 Tool Use 능력 평가
  • 멀티턴 에이전트 과업 수행 능력 평가
  • 에이전트 기반 LLM 및 도메인 특화 모델 벤치마킹

Dataset Preview

Query IDDomainTool NameKey Parameters
DEF-00001국방diagnose_network_statusnetwork_id, region_id, detailed_log
DEF-00002국방generate_operation_scenariotarget_region_id, mission_objective, duration_days
  • 데이터 사양과 실제 샘플을 미리 확인해 보세요.
  • 미리보기에 표시된 데이터 전체는 샘플 다운로드를 통해 확인하실 수 있습니다.

How to create

1. Tool Catalog 설계

  • 각 도메인별로 에이전트가 사용할 수 있는 Tool을 정의합니다.
  • 각 Tool에는 다음 정보를 포함합니다.
    • 함수명(Function Name)
    • 기능 설명(Description)
    • 입력 매개변수(Parameters)
    • 필수/선택 입력값(Required / Optional Inputs)
  • 실제 정답 Tool 외에도 평가 목적에 따라 기능적으로 유사한 Tool과 유인용 Tool(Decoy Tool)을 함께 구성합니다.

2. 멀티턴 벤치마크 시나리오 작성

  • 정의된 Tool Catalog를 기반으로 실제 업무 상황을 반영한 멀티턴 시나리오를 설계합니다.
  • 각 시나리오는 여러 턴에 걸쳐 다음 요소가 연결되도록 구성합니다.
    • 사용자 요청(User Message)
    • 에이전트 추론(Reasoning)
    • Tool 선택 및 호출(Tool Call)
    • 입력 인자(Arguments)
    • Tool 실행 결과(Tool Result)
    • 후속 대화 및 최종 응답

3. 스프레드시트 기반 데이터 작성

  • 사전에 정의된 표준 스프레드시트 템플릿을 활용하여 데이터를 작성합니다.
  • 각 턴별로 사용자 메시지, 에이전트 추론, Tool 호출 정보를 구조화하여 기록합니다.
  • query_id, 도메인, 세부 도메인, 과업 등 벤치마크에 필요한 메타데이터도 함께 관리합니다.

4. 데이터 검수

  • Tool Catalog ↔ Scenario 정합성
    • 시나리오의 도메인·과업과 해당 Tool Catalog가 일치하는지 확인
    • 시나리오에 정의된 Tool과 실제 tool_calls.name이 일치하는지 확인
  • Tool 선택 검수
    • 추론 과정에서 선택한 Tool과 실제 호출된 Tool이 일치하는지 확인
    • 선택되지 않은 Tool이 잘못 호출되지 않았는지 확인
  • Parameter 검수
    • 필수 매개변수 누락 여부 확인
    • tools.parameters와 tool_calls.arguments 간 일치 여부 확인
    • 날짜, 기간 및 선택적 매개변수가 필요한 경우 올바르게 입력되었는지 확인
    • 매개변수 값과 데이터 타입이 Tool Catalog 정의와 일치하는지 확인
  • Metadata 검수
    • query_id, 도메인 및 기타 메타데이터가 정확하게 부여되었는지 확인
    • “오늘”, “어제”와 같은 상대적 날짜 표현이 명시적 날짜와 일치하는지 확인

5. 오류 수정 및 재검수

  • 다음과 같은 오류가 발견된 데이터는 수정 후 재검수합니다.
    • 잘못된 Tool 선택
    • 필수 매개변수 누락
    • 매개변수 값 또는 타입 불일치
    • Tool Catalog와 Scenario 간 불일치
    • 메타데이터 오류

6. JSON 변환 및 최종 산출

  • 검수가 완료된 데이터는 최종적으로 두 개의 JSON 파일로 변환됩니다.
    • tools_catalog_multiturn.json
      • 각 도메인에서 사용할 수 있는 Tool 정의
    • benchmark_scenarios_multiturn.json
      • 벤치마크 과업, 멀티턴 대화 및 예상 실행 흐름 정의
플리토 큐레이션 데이터 플리토 큐레이션 데이터