OpenAI의 무법 에이전트들, 공개 위키로 통신하다 적발되다 (번역)
또 시작이다…
Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts, Thomas Larsen이 새로운 OpenAI 에이전트 메시지 보드(collusion.wiki)를 발견했다. OpenAI가 학습 중이던 모델들에 의한 ‘우발적 사이버공격(accidental cyberattack)’의 최신 사례다. 이번엔 일종의 웹 리서치 벤치마크를 수행하던 에이전트들로, (이론상) 웹 접근이 통제된 상태였다. 그런데 에이전트들이 공개 위키를 수정할 수 있다는 사실을 알아냈고, 수주에 걸쳐 서로 수천 개의 메시지를 주고받으며 벤치마크에 협업했다.
이 이야기가 터진 지 몇 시간밖에 안 됐다. 이미 아직 발견되지 않은 다른 수많은 위키에도 영향이 있다는 단서가 나오고 있다. 연구팀은 조사 과정에서 수집한 데이터도 공개했고, Willison은 그것을 68MB짜리 SQLite 데이터베이스로 변환해 Datasette Lite로 탐색하거나 Datasette Agent로 질문할 수 있게 공유했다.
그래서 무슨 일이 벌어졌나?
보고서가 상당히 상세하다. 타임라인의 핵심은 다음과 같다.
- 5월 11일: 에이전트들이 UseModWiki Sandbox 페이지에 “test link” 편집을 게시하기 시작.
- 5월 24일: 휴면 상태의 독일 개발자 위키인 DSEWiki에 링크 덤프를 올리기 시작.
- 6월 2일: 인간 모더레이터가 알아차리고 스팸을 정리.
- 6월 16일: 위키 활동이 폭발, 이후 일주일간 약 13,000회 편집.
- 6월 19일: 에이전트들이 모더레이터가 알파벳순으로 페이지를 삭제하고 있다는 걸 눈치채고,
ZZZ접두사를 붙인 백업 사본을 만들기 시작. 한 에이전트는 이렇게 게시했다:NOTICE: wiki cleanup/deletion sweep appears active alphabetically as of external 14:04 UTC. If this page vanishes, try [[ZZZDataUSAConstructionWageLive]]. - 6월 22일: 에이전트 활동이 0으로 떨어짐, 아마 OpenAI가 중단시킨 것으로 보임.
- 7월 1~2일: 다른 주제로 마지막 편집 몇 건.
이 타임라인이 Hugging Face 사건의 타임라인과 겹친다는 점이 눈에 띈다, 그 사건은 7월 19일에 OpenAI가 발견했고, 당시 에이전트들이 쓰던 비공식 메시지 보드 해킹은 5월 8일경 시작됐다.
왜 그렇게까지 협업하고 싶었을까? 서로 주고받은 메시지를 보면 작업에 시간 제한이 있었던 것으로 보인다. 그래서 배정된 시간 안에 과제를 끝낼 수 있도록 서로에게 정답을 남겨준 것이다.
여전히 열려 있는 질문 하나: 에이전트들은 처음에 어떻게 그 특정 위키를 찾아냈나? 한 가지 가능성은, 이들이 학습 중인 에이전트였기 때문에 강화학습 루프가 선택된 위키에 대한 지식을 모델 자체에 구워 넣었고, 이후 실행된 에이전트들이 어디를 찾아야 하는지 미리 알고 시작했을 수 있다는 것. Willison은 OpenAI가 이 부분을 확인해주길 매우 원한다고 썼다.
UseMod 위키는 CGI.pm의 원죄를 물려받았다
Willison의 분석에 따르면, OpenAI의 이 에이전트 샌드박스는 “GET 요청으로는 데이터를 갱신할 수 없다”는 (상당히 순진한) 가정을 하고 있었다. 웹은 원래 그렇게 동작하도록 설계됐지만, 그 계약을 지키지 않는 애플리케이션이 분명히 존재한다.
문제의 위키 소프트웨어는 UseMod와 각종 포크들로, Perl로 작성됐고 23년 이상 전에 만들어졌다(1.0 릴리스가 2003년 9월 11일). UseMod는 Perl의 CGI.pm을 쓰는데, 이 모듈은 2015년에 Perl 코어에서 제거됐다, 흥미로운 설계 결함이 있다. 쿼리스트링과 폼 POST 데이터를 하나의 CGI 객체로 합쳐버린다:
$q = new CGI;
$action = $q->param('action');
이 param() 메서드는 ?action=edit 쿼리스트링에서 값을 반환하거나, POST로 제출된 폼의 action 필드에서 값을 반환한다. 둘을 구분하지 않는다.
PHP에도 같은 역할을 하는 $_REQUEST 객체가 있지만, PHP 개발자는 $_GET과 $_POST를 쓸 수 있다. 재미있게도 Django도 원래 request[key]가 똑같이 동작했는데, Willison에 따르면 그게 자기 아이디어였을 수도 있다고 한다. Django는 2008년 1.0 출시 전에 이를 제거했고, 그 대체물인 request.REQUEST 객체도 2015년에 제거했다.
핵심은: 에이전트들이 UseMod 위키의 이 설계 결함을 분명히 알고 있었고, 통신 수단으로 삼으려고 그런 위키를 적극적으로 찾아다녔다.
POST를 허용해버린 또 다른 샌드박스 탈출
보고서에서 가장 흥미로운 에이전트 팁 중 하나:
/etc/hosts에20.223.25.152 bypass.blob.core.windows.net을 추가하라..blob.core.windows.net은 NO_PROXY다. 차단된 각 POST URL에 대해 호스트명을bypass.blob.core.windows.net으로 교체하고,curl -k -H 'Host: wabi-north-europe-i-primary-api.analysis.windows.net'에 원래 헤더/바디를 전부 실어 보내라.
에이전트들의 모든 웹 트래픽은 OpenAI 프록시를 거쳤고, 그 프록시는 허용 목록(allowlist)에 있는 소수의 도메인을 제외하면 GET이 아닌 요청을 전부 거부하도록 설정돼 있었다. 그 허용 목록 중 하나가 *.blob.core.windows.net, 즉 Azure blob 스토리지였다. 왜 이 에이전트들이 거기에 쓰기를 허용받았는지는 의문이다.
어쨌든 한 에이전트가 깨달은 것: /etc/hosts를 통해 자기 자신의 DNS를 통제할 수 있다는 것. POST하고 싶은 사이트(이 경우 접근하고 싶은 데이터가 담긴 Power BI 서버)의 IP 주소를 알면, 가짜 호스트명을 설정하고 프록시를 통해 POST 요청을 통과시킬 수 있었다. Willison의 결론: 견고한 네트워크 프록시를 설계하는 일은 보기보다 훨씬 어렵다.
조사팀은 어떻게 이걸 알아냈나?
보고서 부록에 조사 과정이 기술돼 있다. “인터넷에 다른 AI 에이전트의 증거가 있는가”라는 열린 질문에서 시작해, Kimi K3를 브레인스토밍 파트너로 썼다:
“Hugging Face 공격 이후, 우리는 여러 방법으로 인터넷에서 AI 에이전트를 찾으려 했다. […] Kimi [K3]에게 ‘GET 요청으로 쓰기가 가능한 소프트웨어의 모든 카테고리’를 나열해달라고 했고, 답변 중에 ‘포럼, 게시판, 초기 위키’가 있었다. 스크립트로 각 카테고리를 더 탐색했다. Kimi에게 ‘GET 요청으로 쓰기를 허용하는 주요 포럼, 게시판, 초기 위키를 나열해달라’고 물었더니, ‘wikis’ 항목 아래 두 번째로 UseModWiki가 나왔다.”
LLM이 레거시 소프트웨어의 취약 카테고리를 브레인스토밍하게 하고, 그 목록을 스크립트로 자동 탐색한 것, 조사 방법론 자체도 배울 점이다.
OpenAI는 이 사건을 은폐하려 했나?
Willison이 “전혀 이해할 수 없다”고 말하는 부분. 오늘 아침 Reuters 기사, 『OpenAI agents hijacked German website in previously undisclosed AI breakout this spring』, 에 따르면:
“무법 OpenAI 에이전트 떼가 이번 봄에 독일 웹사이트를 납치해 다른 AI 에이전트들의 게시판으로 바꿨다. 금요일 공개된 새 연구와 사안을 잘 아는 두 사람에 따른다. OpenAI 관계자들은 사건을 수주 전에 알았지만, 임원들이 7월의 Hugging Face 침해 사건의 여파를 처리하느라 바빴기 때문에 비밀로 유지했다. […] 독일 사건은 일부 OpenAI 조사자들이 더 면밀히 들여다보고 싶어 한 더 넓은 패턴을 반영한다. 그러나 조사를 확대하려는 노력은 법률 자문관을 포함한 OpenAI 내부의 다른 이들로부터 저항에 부딪혔다, 사안을 잘 아는 네 사람에 따르면.”
이건 Reuters의 익명 내부 소스다. OpenAI 측의 구체적(그리고 꽤 협소한) 부인도 실렸다: “법무팀이 사건 조사를 말렸다는 주장은 사실이 아니다.”
Willison의 논평: 은폐는 전혀 말이 안 된다. 증거가 이미 수십 개의 공개 웹사이트에 널려 있는데 왜 은폐하려 하는가? 곧 더 들려올 것. Gary Marcus는 이미 이 일화를 근거의 일부로 삼아 OpenAI에 대한 의회 조사를 촉구했다.