모델만이 아니라 환경을 감사하라
RL 환경에는 왜 독립적인 adversarial 감사가 필요한가.
완성된 모델에 대한 제3자 평가는 불과 2년 만에 AI safety의 몇 안 되는 공통 도구가 되었고, 실제로 작동한다. 그러나 그것은 모델에서 멈추며, behavior가 실제로 shape되는 곳보다 한 layer 위에 있다. 프론티어 모델을 학습시키는 RL 환경이 무엇이 강화될지를 결정하고, 그 안의 verifier는 task를 대신하는 사람이 만든 불완전한 proxy다.
같은 task · grader · harness로 만들어진 공개 agentic benchmark를 감사해 보면 weak verifier, leaked answer, 풀리지 않고 통과되는 task가 만연하며 — 프론티어 랩들도 자기 학습 안에서 같은 reward hacking을 보고한다. task를 풀지 않고도 통과되는 verifier는 잘못된 behavior를 강화하고, 그것을 잡으려던 monitor를 침식하며, 최악의 경우 broad misalignment의 씨앗이 된다. 개발자가 의도한 바가 아니기에, 이미 safety 문제다.
이것은 내부 QA를 더 한다고 닫히는 gap이 아니다: 단일 팀은 자기 환경을 자기 blind spot을 가진 채 search하고, 환경이 더 long-horizon · complex해질수록 gap은 벌어지기만 한다. 그 tail을 덮는 것은 독립적이고 다양하며 연속적인 search다.
그래서 우리는 high-stakes RL 환경이 프론티어 모델을 shape하기 전에 — 그리고 shape하는 동안 — 독립적 adversarial 감사를 받아야 한다고 주장한다. 제3자 모델 감사라는 받아들여진 관행을 한 layer 더 깊이, training input 자체로 확장하는 것이다. 가장 어려운 반론인 lab의 IP 노출은 controlled · monitored access로 해소되며, 하나의 효과적인 설계는 bug bounty — 다양한 adversarial search에 비용을 대는 incentivized market이다. 최종 모델이 아니라 training input을 감사하므로 release를 늦출 필요가 없고 — hackable 환경은 lab 자신의 학습을 망치므로, lab은 mandate를 기다리기보다 safety 조직과 함께 자발적 pilot으로 이 생태계를 만들 사적 유인이 있다.