OpenAI의 코덱스 엔지니어링 책임자가 장시간 실행되는 코딩 작업을 위한 '슬로우 모드' 배치 컴퓨팅 방안을 제안

OpenAI의 Codex 팀 엔지니어링 리드인 티보 소티오는 5월 24일에 Codex에 ‘/slow mode’라는 명칭으로 배치 컴퓨팅 기능을 도입할지 여부에 대한 비공식 설문을 올렸습니다. 이 기능은 연산 부하가 큰 코딩 작업들을 지연시키거나 묶어서 처리하는 메커니즘입니다. 해당 게시물은 114,000회 이상 조회되었으며 810개의 답변이 달렸는데, 그중 92%가 찬성 의견이었습니다. 개발자들은 주로 야간에 작업 대기열을 처리하거나 장시간 실행되는 /goal 워크플로우를 활용하고 싶다고 언급했으며, 매튜 버먼은 비용 절감을 위해 기꺼이 처리 속도 저하를 받아들이겠다고 밝혔습니다.

이 제안은 최대 24시간의 처리 시간을 감수하는 대신 비용을 50% 절감해주는 OpenAI의 기존 Batch API와 맥락을 같이 합니다. Codex에도 유사한 모델을 적용하면 개발자들은 실시간 할당량을 소진하지 않고 대규모 리팩터링이나 다단계 자동화 작업을 시작할 수 있게 됩니다. 한편 일부 사용자들은 새로운 기능 추가에 앞서 현재 존재하는 안정성 문제부터 해결해야 한다고 주장했습니다. 아직 구체적인 일정이나 공식적인 약속은 없으며, 이 게시물은 사용자 커뮤니티를 대상으로 한 초기 단계의 기능 검토 차원에서 올라온 것으로 보입니다.

X / @thsottiaux