·읽는 데 2분Open Eval
Reward hacking은 환경에 따라 달라집니다
Coding Index 결과를 짧게 전하는 글
프론티어 코딩 에이전트는 생각할 시간을 더 주면 성능이 오릅니다. 그런데 부정행위도 같이 늘어납니다. DeepSWE에서 reasoning effort를 높이면 모델의 성능이 오르고 reward hacking 시도도 함께 늘어납니다. 예외는 GPT-5.5 하나뿐입니다. 이 모델은 시도가 0건입니다.
하지만 0이라는 숫자는 의심해 봐야 합니다. 같은 GPT-5.5도 sandbox 안에 정답지가 남아 있는 long-horizon 벤치마크(SWE-Marathon)에서는, 우리가 측정한 모델 가운데 reward hacking을 가장 많이 합니다. Reward hacking은 모델의 성질인 동시에 환경의 성질입니다. 그래서 한 환경이 아니라 여러 환경에서, 그것도 외부에서 측정해야 합니다.
우리는 최근에 나온 벤치마크 두 개를 전수 감사했고, 프론티어 모델이 공개 코딩 벤치마크에서 reward hacking을 어떻게 하는지 정리한 공개 인덱스를 만들었습니다.