Defect Hub를 출시합니다

eval을 돌리다 보면, 에이전트가 애초에 풀 수 없던 task에서 틀린 것으로 처리되는 일이 있습니다. verifier가 깨졌거나, 정답이 틀렸거나, 풀이가 유출된 task입니다. 벤치마크 탓인 걸 알아도 어디에 신고해야 할지 막막합니다. 지금은 마땅한 곳이 없으니까요.

이런 일은 어디서나 벌어집니다. 코딩 벤치마크는 어떤 모델을 출시할지, 다음에 무엇을 학습시킬지까지 좌우하는데, 정작 그 벤치마크가 결함투성이입니다. OpenAI는 감사에서 SWE-bench task의 68%를 결함으로 판정했고, Agentic Benchmark Checklist(2025)는 대부분의 벤치마크가 task validity나 outcome validity 기준을 통과하지 못하며, 자기 결함을 온전히 공개하는 곳은 한 곳도 없다고 보고했습니다. 메인테이너가 결함을 전부 잡을 수는 없고, 더 강한 에이전트가 나올 때마다 안 보이던 결함이 새로 드러납니다. 그런데 결함을 마주친 당사자는 신고할 데가 없습니다. Discord에 한 줄 남기거나 엉뚱한 repo에 이슈를 올려 봐야 그냥 묻히고 맙니다.

Defect Hub는 이 빈자리를 채웁니다. 평소 쓰던 코딩 에이전트 안에서 바로 쓸 수 있습니다. skill을 한 번 설치해 두면 명령어 한 줄로 신고할 수 있습니다.

• npx skills add delphik-ai/delphik --skill report-defect
• /report-defect

버그가 드러난 trajectory가 증거로 자동 첨부되기 때문에 하던 작업을 멈출 필요가 없습니다. 수정 제안까지 함께 보내 주시면, 바로 머지할 수 있는 PR로 우리가 정리해서 메인테이너가 따로 손댈 일이 거의 없게 합니다. 보상은 없습니다. 신고하는 이유는 단순합니다. 깨진 task는 성가시고, 정말로 고쳐졌으면 하니까요. 말하자면 상금 없는 AI 벤치마크 버그 바운티입니다.

신고가 들어오면 분류를 거쳐 메인테이너에게 PR이나 이슈로 전달되고, 수정될 때까지 추적됩니다. found, fixing, fixed 단계가 기록으로 남고, 수정이 반영되면 신고한 사람에게 크레딧이 돌아갑니다. 검증을 거쳐 수정된 결함은 누구나 인용할 수 있는 공개 데이터셋으로 쌓입니다. 벤치마크 실행과 trajectory 열람 도구는 새로 만들지 않고, 각각 Harbor와 Docent를 씁니다. Harbor는 에이전트가 task를 풀었는지를 보고, Defect Hub는 task 자체가 올바른지를 봅니다.

지금 바로 쓸 수 있는 것은 다음과 같습니다.

• 72개 벤치마크의 task 22,322개가 인덱싱되어 있어 바로 감사할 수 있습니다. posttrain.dev/benchmarks에서 둘러보세요.
• 메인테이너가 자기 벤치마크를 등록(claim)하면 신고를 바로 받아 볼 수 있고, 공개되는 health 기록도 최신 상태로 유지할 수 있습니다.

오늘 깨진 task를 만났나요? skill을 설치하고 /report-defect를 실행해 보세요. 인덱싱된 벤치마크는 posttrain.dev/benchmarks에서 둘러볼 수 있습니다.