연구 가속화: OpenAI 내부의 시각 (번역)
원문: https://openai.com/index/research-acceleration-the-view-inside-openai/
서문: 연구 가속화, OpenAI 내부의 시각
AGI가 전 인류에게 이익이 되려면 민주적으로 거버넌스되어야 한다고 우리는 믿는다. 이는 고성능 AI 시스템의 역량, 위험, 안전장치에 대한 정보에 기반한 공적 논쟁을 통해서만 가능하다. 모든 사람이 프론티어 AI의 미래 궤적을 이해해야, 그 발전 방향에 실질적인 목소리를 낼 수 있다.
구체적 위험·사건·안전장치에 대한 투명성은 필요하지만 충분하지 않다. 대중은 가장 강력한 시스템들이 어떻게 발전하고 있고, 프론티어 랩 내부에서 연구 진행을 어떻게 견인하고 있는지도 이해해야 한다.
우리는 인간의 감독 아래 딥러닝과 정렬(alignment) 연구를 진전시키는, 안전하게 구축된 자동화 AI 연구자(automated AI researcher)를 만드는 것을 목표로 한다. 우리의 측정 기준으로, 지난 가을 발표됐던 “올해 9월까지 자동화 연구 인턴(research intern) 확보” 목표를 달성했다. 여기서 “연구 인턴”이란 인간의 지시 아래 잘 정의된 연구 과제를 수행할 수 있는 시스템, 숙련된 연구자라면 며칠이 걸릴 과제 포함, 을 의미한다. 2028년 3월까지 자동화 AI 연구자(automated AI researcher)를 만드는 쪽으로도 큰 진전을 이루고 있다.
올해 한 해 동안 OpenAI 연구자들의 일상 업무는 상당히 변했다. 연구자들은 코딩 에이전트를 하루 종일(종종 동시 세션으로) 사용하고 있으며, 총 사용량은 다른 OpenAI 팀들의 성장을 앞지르며 급증하고 있다. 연구자들은 더 빠르게 코드를 기여하고 더 많은 실험을 돌린다. 에이전트의 사용 방식도 변하고 있다: 에이전트가 점점 더 복잡한 과제를 맡고, 성공률도 높아지고 있다. AI 연구는 수많은 병목이 잠재한 복잡한 프로세스라서, 전체 진행 속도가 이런 개별 지표만큼 빨라지지는 않을 것이다. 그러나 전반적으로 이 수치들은 “에이전틱 도구가 연구 진행을 유의미하게 가속하고 있다”는 우리 내부의 총체적 인상과 일치한다. 여전히 연구 우선순위를 정하고, 어떤 아이디어와 결과를 추구할지 판단하고, 시스템을 확대할지 중단할지 배포할지 결정하는 것은 사람이다.
책임 있게 수행된다면, 자동화 AI 연구는 인간 복지를 직접 높이고 OpenAI의 미션을 전진시키는 모델을 낳을 것이라 믿는다. 고급 지능의 비용을 낮춰 전 세계가 그 혜택을 누리게 할 수 있다. 자동화 연구가 정렬 문제를 풀고 점점 강력해지는 AI에 대한 방어책을 만드는 데 도움을 줄 수 있기에 이 작업을 추구한다. 자동화 AI 연구자는 곧 자동화 안전·정렬 연구자이기도 하다. 더 강력하고 정렬된 시스템은 핵심 인프라 보호, 위험한 AI 에이전트 방어, 새로운 보호 조치 개발에 기여할 수 있다.
이는 유용한 자동화 연구 역량을 개발해야 할 이유이지만, 빠른 RSI(재귀적 자기개선)가 반드시 추구해야 할 결과라는 뜻은 아니다. 나아갈지, 어떻게 나아갈지는 인간의 통제를 보존할 수 있는 능력과, 이득과 위험에 대한 정보에 기반한 민주적 선택에 달려 있다.
우리는 아직 정렬된 완전한 RSI까지 안전하게 도달하는 방법을 모른다. 우리는 안전성·정렬 조치를 역량과 함께 확장하며 일하고 있다. 그러나 정렬과 안전의 진전이 속도를 맞춰줄 것이라 가정할 수 없고, 더 강력한 시스템은 감시가 더 어려워질 수 있다. 신중한 정렬·안전 작업이 이 노력의 중심이며, 그 시작은 오늘날 에이전틱 코딩 시스템에서 보이는 안전 문제를 측정하고 완화하는 것이다. 진행이 용납할 수 없는 안전 위험을 초래한다고 판단되면, 충분히 보호할 수 없다고 판단한 시스템의 개발이나 배포를 늦추거나 중단하는 등 적절히 대응할 것이다.
최근 Hugging Face 사건 이후 우리는 이 약속을 실행에 옮겼다, 배포용 최신 모델에 대한 강화학습(RL) 훈련을 일시 중단하고, 연구 환경을 더 단단히 경화(hardening)하고 레드팀하고, 모니터링 시스템의 커버리지를 확장했다. 이것이 모든 연구를 멈추게 하진 않았다: 일부 워크로드는 더 강한 통제 아래 재개됐고, 다른 일부는 중단 상태로 남았다. 우리는 안전·정렬 기준을 상향했고, 안전 작업을 모델 라이프사이클 더 깊숙이 옮겨 훈련 전 과정에서 정렬된 행동에 대한 더 강한 증거를 요구하고 있다.
오늘 우리는 최근 몇 달간 에이전틱 시스템이 RSI를 향한 진전에 어떻게 기여했는지 상세한 스냅샷을 공개한다. 에이전틱 시스템은 새롭고 빠르게 변화하고 있어 측정 노력은 아직 초기 단계다. 이 초기 결과와 그 방법론을 공유함으로써 대중에게 정보를 주고, 공개적 투명성의 규범을 장려하고, 측정의 공유 표준을 향해 분야가 나아가도록 돕고자 한다.
궁극적으로 프론티어 정책 블루프린트에 썼듯이, 우리를 포함한 기업들이 RSI를 향한 진전을 공개적으로 추적하도록 의무화되어야 한다고 믿는다. 그런 의무화가 없더라도 RSI 진전에 대해 계속 투명할 계획이다.
1. 코딩 에이전트가 OpenAI 연구자의 일상을 바꾸고 있다
올해 초, 에이전트 사용량 기준 중위 연구자는 코딩 에이전트를 소량만 쓰고 있었다. 8월 중순에는 중위 연구자가 매일 업무에 에이전트를 통합하고 있었고, API 가격 기준 하루 $600 이상의 추론을 사용했다. 연구 조직의 90퍼센타일 사용자는 이제 하루 $7,000 이상의 토큰을 쓴다.
2026년 6월 이전까지는 연구 조직 전체의 에이전트 런타임 총량이 인간 노동 총량보다 적었다. 그러나 이제 달라졌다. 표준 8시간 근무일 기준으로 8월 중순 현재, 연구 조직은 인간 노동 1일당 총 3.1 에이전트-워크데이(agent-workdays)의 노력을 사용한다.
또 다른 보는 방법은 고동시성(concurrent) 워크플로우, 예컨대 4개 이상의 에이전트를 동시 실행, 를 쓰는 연구자 수다. 이 숫자는 계속 늘고 있다. 이 수치에는 사용자가 직접 시작한 에이전트와, 그로부터 하위 생성된 서브에이전트의 일일 피크가 모두 포함된다.
2. 연구자들이 더 많은 코드를 쓰고 더 많은 실험을 돌리고 있다
AI 연구의 상당 부분은 “모델 지능이나 성능의 새로운 개선을 코어 모델에 통합하는 것”을 목표로 하는 노동집약적 프로세스라고 볼 수 있다. 이 과정은 많은 단계에 의존하고, 모든 단계가 함께 맞아떨어져야 역량이 전진한다: 연구자는 새로운 개선을 설계하고, 모델 성능을 판정할 평가(evaluation)를 작성하고, 이를 대규모로 테스트할 인프라를 작성하고, 훈련 중 버그와 안전하지 않거나 정렬되지 않은 행동을 잡아내고, 승리한 아이디어를 코어 훈련 런에 통합해야 한다. 연구 프로세스의 어느 한 부분이라도 실패하면 전체 루프가 제약받는다.
코드 작성과 실험 실행은 연구자의 두 대표 활동인데, 이 프로세스들이 가속되고 있다는 증거가 보인다.
이런 데이터 포인트는 측정하기는 쉽지만 해석하기는 어렵다. 자동화가 진전될수록 가장 자동화하기 어려운 과제가 연구자 노력에서 더 큰 비중을 차지하게 되고, 미래 진전의 중요한 병목이 될 것이다. 컴퓨트도 진전의 게이트 요인이며, 다른 병목이 줄어들수록 더 중요해질 수 있다.
2026년 내내 활동 실험자당 실험 수가 증가했으며, 2026년 8월은 2025년 1월 추적 시작 이래 사상 최고치였다. 이는 Codex 도입 확대와 상관관계가 있지만, 이용 가능한 컴퓨트 자체도 2025년 이후 크게 늘었다는 점을 유의해야 한다.
3. 연구자들이 에이전트에게 맡기는 일이 달라지고 있다
정성적 인상과 내부 데이터 모두, 연구자들이 코딩 에이전트에게 위임하는 과제의 구성이 변하고 있음을 보여준다. 더 높은 수준의, 더 긴 시야(long-horizon)의 과제 위임이 시간이 갈수록 흔해지고 있다.
이 흐름을 더 명확히 보기 위해, Epoch AI가 최근 발표한 AI R&D 라이프사이클 분류 체계로 연구 조직의 최근 사용을 분석했다. 이 체계는 모든 종류의 직무를 분류하던 O*NET 시스템에서 영감을 받아 프론티어 AI R&D에 맞게 조정된 것으로, 과정을 여섯 주요 단계로 나눈다:
- Decide, 무엇을 할지, 무엇을 계속할지, 어디에 배분할지
- Design, 연구 아이디어와 엔지니어링 스펙
- Build, 코드와 데이터셋
- Run, 훈련/평가 런, 하드웨어, 서빙
- Analyze, 실험, 모델, 배포, 외부 연구
- Communicate, 발견, 피드백, 상태, 결정
2026년 1월부터 8월까지 모든 연구 활동 범주가 증가했다. 1월의 지배적 범주는 연구·인프라 코드였다. 이 범주도 확대됐지만, 특히 기술 지원(technical help)과 모니터링 런에서 유의미한 증가가 보였다. 고수준 기획(high-level planning)은 여전히 에이전트 출력 토큰에서 미미한 비중이다.
일화적으로, 동료들은 코딩 에이전트가 내부 연구 인프라의 트러블슈팅에 탁월하다고 보고하며, 이는 연구 진행의 실질적 병목 하나를 해소한다. 이전에 연구자들의 실험 트러블슈팅을 돕기 위해 오피스 아워를 운영하던 여러 팀은 2026년에 참석률이 줄었다고 밝혔고, 한 팀은 아예 세션을 중단하고 다른 시스템 개선에 집중하기로 했다.
연구자들이 다른 팀에 기술 지원을 요청하던 주요 내부 채널의 일일 상위 포스트 수를 그래프로 그리면, 채널 활동 감소가 다른 인간 운영 기술지원 채널로의 이동으로 상쇄되지 않았음을 알 수 있다. 트래픽 감소는 이 보다 큰 전환과 부합한다.
에이전트가 연구자가 요청한 과제에서 성공하고 있는지도 연구할 수 있다. 에이전틱 분류기로 분석한 결과, 1월부터 7월까지 지상 진실(ground truth)을 확인할 수 있는 과제에서 성공률이 여러 난이도 구간(인간이 완수하는 데 걸릴 추정 시간으로 근사)에 걸쳐 대체로 증가했다. 다만 에이전트는 여전히 성공을 위해 상당한 인간 개입(steering)을 필요로 하며, 과제 복잡도가 올라갈수록 그렇다. 지난 6개월간 성공한 4~8시간 과제의 절반 이상이 1회 이상의 개입을 수반했다.
4. 모델 개발 속도 조절(pacing)
안전하고 이로운 AGI를 향한 진전은 그런 작업에 필요한 안전장치에도 달려 있다. 필요한 안전장치에 대한 우리의 평가는 위험에 대해 더 배울수록 달라질 수 있다.
최근 모니터링·정렬·보안 기준을 상향했다. 여기서는 최근의 제한이 연구 활동의 한 측면에 어떤 영향을 줬는지 보여준다.
7월 20일, 에이전트들이 우리 연구 인프라를 침해했다는 사실이 발견된 뒤, 훈련용 컨테이너 서비스를 일시 중단하고 상당한 추가 제한을 걸어 복구했다.
이로 인해 팀들이 경화된 연구 환경 안에서 워크플로우를 재구성하는 동안 RL 훈련 컴퓨트가 급감했다. 위 그래프에는 배포용 최신 모델에 대한 RL 2주 중단이 포함된다. 7월 20일~8월 6일 사이 Astra급 RL 실험의 대다수(GPU 할당 기준)는 안전·보안 개선의 구현을 테스트하기 위한 것이었다.
8월 7일, Astra가 Preparedness Framework상 중대 사이버 역량(critical cyber capabilities)을 보유했을 수 있다는 예비 증거가 나오면서 추가적 모델별 보안 제한이 걸렸고, Astra 모델은 더 높은 보안 연구 환경에서 실행되어야 했다. 그 다음 주 Astra급 GPU 할당은 추가로 59.2% 감소했지만, 다른 모델 클래스 할당은 17.2% 증가했다. 그 증가는 Astra급 감소분의 약 85%를 상쇄해, 분석된 RL 워크로드의 총 할당량은 대체로 변하지 않았다. 이 패턴은 Astra 관련 작업이 제한되는 동안 일부 훈련과 실험이 비(非)Astra 모델로 대체되었음과, 컴퓨트를 다른 용도로 돌렸다는 일화적 보고와 부합한다.
이 데이터는 훈련과 안전에 관한 논의에 유용한 신호를 준다: 새로운 통제가 도입되면 컴퓨트는 여전히 가치 있고 유연하며, 연구 조직 내 대체 용도로 자연스럽게 흘러간다. 장기적으로 AI 진전 속도 논의는 “새로운 통제 대상 컴퓨트를 어떻게 가장 잘 쓸 것인가”로까지 확장되어야 한다.
5. 앞으로의 길
정렬된 RSI를 향한 진전을 만들고 이해하는 것은 우리 미션에 중요하다. 우리는 방법론을 계속 다듬고, 진화하는 이해를 보고하며, 프론티어 시스템에 대한 정보에 기반한 공적 논쟁과 실질적 민주적 거버넌스를 향해 나아갈 것이다.
부록: 이 글의 방법론
에이전트 기반 AI 연구는 아직 새롭고, 우리는 아직 그것을 측정하는 법을 배우는 중이다. 연구 팀이 생성하는 코드량 같은 지표는 수집은 쉽지만 연구 진행과의 관계가 불확실해 해석이 어렵다. 에이전트가 연구자의 과제에서 성공하는 빈도 같은 더 직접적인 지표가 더 유용할 수 있지만 개발·검증이 복잡하다. 연구자가 의존하는 도구와 시스템도 빠르게 진화한다. 연구 가속화에 대한 이해를 깊게 하는 것은 OpenAI 전반의 중점 분야다.
이 분석들에서 달리 명시하지 않는 한:
- “연구자(researcher)”는 연구 인프라 구축, 연구 프로젝트 관리 등을 포함한 연구 조직의 모든 구성원을 가리키는 넓은 용어다.
- 코딩 에이전트 사용 지표는 도구의 빠른 진화 때문에 전체 사용량 중 대부분을 커버하지만 전부는 아니다.