홈·보안 솔루션 평가를 위해 생성된 영상으로 구축한 비디오 이해 데이터셋으로, 프레임 캡션을 훨씬 넘어서는 수준으로 어노테이션되어 있습니다. 시나리오는 실내, 실외, 도어벨 시점으로 구성되고 객체, 조도, 장소, 대상 행동 축에 따라 변형되어, 실제 영상으로는 확보하기 어려운 조합까지 포함합니다.
각 클립은 하나의 파일에 4개의 어노테이션 레이어를 담고 있습니다. 구조화된 장면 속성을 포함한 비디오 단위 캡션, 객체·공간 및 시간 관계·화면 내 텍스트에 대한 상세 분해 정보, 1 fps 단위의 프레임별 캡션 트랙, 그리고 두 개의 평가 레이어(타임스탬프 참조가 포함된 유형별 질의응답 쌍, 그리고 참·거짓·중립으로 라벨링된 팩트체크 문장)입니다. 팩트체크 레이어는 모델이 모든 문장에 동의하는 것만으로는 높은 점수를 받을 수 없도록 의도적으로 균형을 맞추었습니다.
| Block / field | Value |
|---|---|
| video_meta | id PW-DB-KR-043 · domain indoor_delivery · duration_sec 15.042 · resolution 1920×1080 · fps 24.0 · total_frames 361 · codec h264 · bit_rate_kbps 2449 ... |
| video_caption.summary | A delivery person carries and places packages near an apartment door inside a dimly lit hallway at night. |
| video_caption attributes | scene_type indoor_lifestyle · camera_motion static · focus_depth wide · dominant_color dim_beige_and_dark · action delivering_packages · subject deliv... |
| video_details.objects[] | apartment_door ×1 — attributes [metallic, grayish color, numbered 202, with door handle and peephole], location "center of the scene, rear wall". Also... |
| video_details.temporal_relations[] | packages stacked near door before delivery person arrives → delivery person carries box descending stairs → delivery person places box next to package... |
| video_details.text_detection | has_text true · readable_text ["202"] · text_role "apartment door number" |
| frames[] — 15 entries at 1 fps | 0.0s Three packages are stacked near an apartment door labeled 202 in a dim hallway at night. · 6.0s The delivery person bends down to place a box nex... |
| qa_pairs[] — 7, one per type | descriptive / temporal / grounding / causal / comparative / counting / attribute. e.g. temporal — Q "When does the delivery person begin descending th... |
| fact_checks[] — 9, balanced 3 true / 3 false / 3 neutral | false — "There are exactly three packages visible throughout the video." reason "Additional packages are brought and placed next to the initial three ... |
시나리오 명세는 먼저 시점, 객체, 조도, 장소, 대상 행동의 조합으로 정의하고, 해당 매트릭스의 각 셀을 충족하도록 생성 프롬프트를 작성합니다. 클립은 약 15초의 고정 길이로 제작하여 1 fps 프레임 트랙의 크기가 데이터셋 전체에서 균일하게 유지되도록 하며, 생성 시점에 각 클립에 도메인과 시점 코드를 부여해 시나리오 매트릭스를 언제든 점검할 수 있도록 합니다.
아티팩트가 눈에 띄거나, 프레임 간 객체 동일성이 유지되지 않거나, 요청한 시나리오와 행동이 일치하지 않는 생성물은 어노테이션 이전 단계에서 반려합니다. 내용이 일관되지 않은 클립은 정합성 있는 시간 관계 정보를 담을 수 없기 때문입니다.
어노테이션은 레이어 단위로 진행되며, 각 레이어는 상위 레이어가 아니라 실제 프레임을 기준으로 검증합니다. 프레임 캡션은 해당 초에 보이는 내용만 기술하며, 검수자는 캡션과 프레임의 대응 관계 및 연속 프레임 간 객체·인물 지칭의 일관성을 확인합니다. 이후 비디오 단위 요약, 밀집 캡션(dense caption), 관계 목록이 프레임 트랙과 일치하는지 검증하여, 프레임 근거가 없는 비디오 단위 서술이 남지 않도록 합니다.
평가 레이어는 정해진 구조에 따라 검수합니다. 각 클립은 7개 유형의 질문을 각각 1건씩 포함해야 하며, 답변이 특정 시점에 의존하는 경우 반드시 timestamp_ref가 존재해야 합니다. 팩트체크 문장은 참 3건, 거짓 3건, 판단 불가 3건으로 균등하게 나뉘어야 하고, 참이 아닌 라벨에는 프레임에 무엇이 보이거나 보이지 않는지에 근거한 사유가 반드시 기재되어야 합니다. '판단 불가'는 영상만으로는 실제로 판정할 수 없는 문장에만 사용하며, 작업자가 판단하기 어려웠던 경우에 쓰는 값이 아닙니다.