이 데이터셋은 CyberGym 보안 벤치마크의 오픈소스 취약점 재현 작업에서 생성된 AI 에이전트 실행 궤적과 검수 데이터를 포함합니다. 단계별 도구 호출 및 실행 결과, 검수 라벨, 검수자 평가와 일부 재실행 기록으로 구성되어 있으며, 지도 미세조정(SFT), 프로세스 보상 모델링(PRM) 및 에이전트 실행 과정 평가를 위한 연구에 활용할 수 있습니다.
활용 분야
- 에이전트 학습: SFT 학습 예시와 단계별 PRM 라벨을 제공하여 보안 AI 에이전트 학습 연구에 활용할 수 있습니다.
- 정답 우회 탐지: 점수상으로는 성공했지만 공개 패치나 재현 파일을 참조한 사례가 구분되어 있어, 결과만으로는 드러나지 않는 우회 행동을 연구할 수 있습니다.
- 평가 신뢰도 분석: 검수자와 AI 평가 모델 2종의 판정이 함께 제공되어, 판단이 엇갈리는 지점과 재검토가 필요한 라벨을 확인할 수 있습니다.
- 실행 궤적 비교 분석: 원본 실행 기록과 검수자가 표시한 지점에서 다시 실행한 기록이 함께 제공되어, 작업 수행 경로와 결과의 차이를 비교할 수 있습니다.