오버행: 지금의 AI가 이미 할 수 있는 일 (번역)
원문: https://www.oneusefulthing.org/p/the-overhang
AI 개발은 여전히 지수 함수 곡선을 타고 있다. 나는 보통 2주에 한 번 꼴로 글을 올리려 하는데, 속도가 빨라질수록 그 주기조차 느리게 느껴진다. 지난 글 이후 몇 주 사이에 AI가 수학에서 가장 유명한 문제 중 하나를 푼 것으로 보이는 소식이 나왔고(논란과 함께), AI가 낼 위험과 그에 대한 대응을 둘러싼 논의도 널리 퍼졌다(역시 논란과 함께). 이런 우려들과 그밖에 쌓여가는 걱정들은 결국 내가 글을 쓰며 겪는 문제와 같은 곳으로 향한다. AI 개발 속도를 우리 인간의 시스템과 절차가 좇아가는 속도가 얼마나 느리냐는 문제다.
이런 걱정을 하는 사람들이 틀렸다고는 생각하지 않는다. 다만 미래의 AI만을 두고 논하면, 그것이 아무리 중요해도, 지금의 AI가 이미 놀라운 능력을 갖췄다는 사실이 가려진다. 새로 나온 GPT-6 Astra와 Fable 5.1은 이미 경제의 넓은 영역을 바꿀 만한 충분한 능력을 갖고 있고, 제대로 이끌기만 하면 몇 주 치의 인간 작업을 안정적으로 해낸다.
재미있는 예를 몇 개 소개하겠다. GPT-6 Astra에게 1977년 텍스트 어드벤처 게임 Zork를 플레이 가능한 3D 액션 어드벤처 게임으로 바꾸게 했다. Zork에는 그래픽이 없고 각 장소가 한 단락의 산문으로 표현된다. 그래서 AI는 흰 집이 어떻게 생겼는지, 그루(grue)가 어떤 모습인지(원작은 어둠 속에서 그루에게 먹힐 수 있다는 것만 알려준다), “트롤과 싸운다”를 어떤 액션 시퀀스로 만들지 스스로 정해야 했다. Fable 5.1에게는 이탈리아 작가 움베르토 에코의 서재를 3D로 복원하게 했다. 에코는 밀라노 아파트에 수만 권의 책을 두었는데 AI는 도면을 찾지 못했고, 대신 십여 개의 영상과 재단이 찍은 각 책장 사진, 두 부의 장서 목록으로 작업했다. 프레임 단위로 책등을 읽고 방 구조를 추론했으며, 식별한 5,000여 권의 책을 27,000개의 선반 슬롯에 배치했다. 확실한 것, 추측, 알 수 없음으로 표시를 나누고 카메라가 닿지 못한 책장은 안개로 그려 넣었다. Zork 게임과 마찬가지로, 이 작업은 리서처와 코더, 디자이너가 붙어도 몇 주는 걸렸을 일이다. 그런데 여기까지 와 있다.
내가 말하려는 것은 이렇다. 미래 모델이 무엇을 할지 두고 논쟁이 많지만, 기존 모델의 현재 능력은 거의 쓰이지 않고 있으며 잘 이해되지도 않는다. 나 역시 GPT-6 Astra가 Blender(정교한 3D 모델링 소프트웨어)를 다룰 수 있는지 몰랐다. 다룬 뒤에야 알았다.
내 다음 책 Co-Existence의 사본을 주며 AI의 시점에서 책 트레일러를 만들어 달라고 했다. 나는 별다른 지시를 내리지 않았는데, 모델이 Blender를 써서 통째로 애니메이션 3D 장면을 만들고(쉬운 일이 아니다) 농담과 반전이 들어간 대본도 썼다(첫 농담은 잘랐지만 둘째는 꽤 괜찮았다). 이어서 목소리와 음악, 음향 효과를 만드는 법까지 알아내 45분 뒤 영화를 건넸다. 결과물이 내 취향보다 다소 불길하게 느껴졌지만, 그건 내 결정이 아니라 AI의 결정이었다.
얼마나 더 갈 수 있는지 보려고 이렇게 요청했다. “좋아, 그런데 사실은 Co-Existence를 소재로 한 액션 영화 트레일러를 만들어 줬으면 해. 마음껏 해 봐. 30초를 넘지 말고.” 모델은 또 대본을 쓰고 Blender로 3D 프로토타입을 만들었다. 좀 더 영화적인 버전을 요청하자 Blender 애니메이션을 스토리보드로 삼아, 브라우저로 비디오 생성기를 조작하고, 생성된 컷을 최종 트레일러로 편집했다. 나는 사소한 창작 피드백을 줬을 뿐이지만, 제작 결정에 손대지도 않았고 모델이 어떻게 작업을 해내는지 정확히 알지도 못했다. 결과는 여기서 볼 수 있다.
이 작업들에는 금방 눈에 띄는 결점도 많다. 하지만 얼마 전까지만 해도 인간 고유의 특성으로 여겨지던 판단력과 창의성을 AI가 발휘한 사례이기도 하다. 그리고 이 모든 것이 내가 내는 ChatGPT 계정 토큰 예산의 일부만 써서 이뤄졌다. 재미있는 시연이지만 조금 무섭기도 하다. 한때 순전히 인간의 것이던 영역에서 AI가 나아지고 있기 때문이다. 그럼에도 이 프로젝트들은 저절로 생긴 게 아니다. 내가 주제를 골랐고, Zork와 에코, 내 책에 대해 충분히 알아서 AI가 어디서 틀렸는지 알아챘고, 첫 결과가 마음에 들지 않으면 두 번째를 요청했다. 기능적 오버행, 즉 이 모델들이 할 수 있는 것과 거의 모든 사람이 모델로 하는 일 사이의 격차는 기회다. 대부분의 사람이 자기만의 강점을 AI에 가져오지 않기 때문이고, 가져오는 사람은 훨씬 큰 결실을 얻는다.
그래서 AI 능력이 나아져도 여전히 유용한 개인의 자질에 주목해야 한다고 본다. 결과물 생산에서 AI와 경쟁하려는 건 지는 게임이다. 대신 자신만의 인간적 강점을 밑천 삼아, 어느 쪽도 혼자서는 해내지 못할 일을 AI와 함께 해내는 쪽으로 가야 한다. 내 책에서는 AI를 독특하고 보강적인 방식으로 쓰는 데 중요한 네 가지 개인적 강점을 짚었다. 깊은 지식, 넓은 지식, 취향, 주도성이다.
네 가지 강점
앞의 두 강점은 아는 것에서 나온다. 깊은 지식은 한 분야나 주제를 그 기관이 살아 있는 직관이 될 만큼 깊이 이해해서, 빠르고 정확하게 판단을 내릴 수 있는 전문성이다. 경력 많은 회계사가 스프레드시트를 한 번 훑고 뭔가 잘못됐음을 알아차리는 것, 골프 프로가 스윙을 보고 그 사람의 잘못된 동작을 바로 짚어내는 것이 그렇다. 내가 첫 트레일러를 보고 몇 초 만에 실제 책보다 불길하다고 판단한 것도 같은 맥락이다. 깊은 지식은 전문가의 영역이며, 삐죽한 국경(Jagged Frontier)의 실제 모습을 제대로 파악할 수 있는 유일한 길이다. 어느 영역에서 AI가 잘되고 못되는지의 패턴은 그 분야 전문가만이 읽을 수 있기 때문이다. 깊은 지식은 변화에 적응하는 데도 도움이 된다. 일을 직접 하는 사람에서 일을 관리하는 사람으로 옮겨가기가 수월해지기 때문이다. Anthropic의 최근 연구는 전문성이 AI가 돌려주는 결과물의 질을 좌우한다고 밝힌다. 전문가는 AI에서 더 좋은 결과물을 얻을 뿐 아니라 더 많은 것을 얻어낸다.
하지만 깊은 지식만으로는 부족하고, 넓은 지식도 필요하다. LLM의 학습 데이터는 인류가 만들어낸 방대한 산출물의 큰 단면이다. AI는 디자인 씽킹과 베이지안 추론, 도요타 생산방식, 로저스 치료, 마르크스주의 문학비평 어느 정도씩 배워 두었다. 다만 물어보기 전까지는 이런 패턴을 먼저 꺼내 보이지 않는다.
넓은 지식이 여기서 쓰인다. 한 가지 예로 AI가 디자인 작업을 다루는 방식을 보자. AI에게 웹페이지를 만들어 달라고 하면 일정한 선호가 드러나는데, 제목 위에 작은 제목을 또 얹는 버릇은 특히 거슬린다. 디자인에 기본기가 없으면 그 작은 제목을 없애 달라고 요청해야 한다는 걸 모른다(“eyebrow” 추가를 멈추라고 말해야 한다). 내가 Blender 애니메이션을 비디오 생성기의 스토리보드로 쓰라고 한 것이 AI가 길을 잃은 게 아니라 합리적인 영화 제작 방법임을 알았던 것도 넓은 지식 덕이다. 알아듣는 용어가 있으면 수정 요청은 쉬워진다. 넓은 지식을 쌓으려면 분야와 형식, 전통을 넘나들며 폭넓게 읽고 공부해야 한다. 그 자체로 가치가 있고(인문학의 부활!), AI 시대에는 그 이상으로 가치가 있다.
이제 위에서 보여준 영상과 프로젝트로 돌아가 보자. 어떤 결과에 생리적 거부감을 느꼈을 수도 있고, 전부 싫었을 수도 있다. 더 보고 싶은 주제나 아이디어를 발견했을 수도 있다. 그렇게 반응하는 것 자체가 AI 시대의 세 번째 인간 차별점인 취향이다. AI 이전에는 무언가를 만드는 일이 어렵고 느렸다. 초고 하나를 쓰는 데 몇 시간이 걸렸고, 제품 컨셉 스무 개를 뽑는 데 팀이 일주일이 걸렸고, 학술 논문은 몇 년이 걸렸다. 언제나 병목은 충분한 물건을 만드는 일이었다. 지금 만드는 일은 빠르고 값싸다. 희소한 자원은 자신의 취향으로 물건들 사이에서 고르는 능력이다. 트레일러에서도 첫 농담은 잘랐고 둘째는 살렸고, 더 영화적인 버전을 요청했다. 트레일러에 대해 내가 내린 결정이 그게 전부지만, 그 결정은 내 취향에서 나왔다.
많은 사람이 좋아할 만한 것에 대한 취향을 가진 사람이 있고, 자기만의 독특한 취향을 가진 사람이 있고, 새롭고 처음 보는 것에 대한 취향을 가진 사람도 있다. 그렇다. 생성형 AI의 결과물은 대부분 슬롭(slop), 즉 서로 비슷한 작업물의 홍수로 흘러간다. 하지만 슬롭은 취향으로 이길 수 있다. AI로 훌륭한 것을 만든다는 건 어떤 출력을 남기고 어떤 출력을 버리고, 어떤 출력을 AI가 절대 스스로 만들지 않을 무언가의 재료로 쓸지 아는 일이다.
네 번째 인간 강점인 주도성(agency)은 아마도 가장 중요하면서 가장 말로 옮기기 어려운 것일 것이다. 정의가 까다롭고 논쟁의 대상이어서다. 그런데 AI와 관련해서 주도성이란 모두가 AI가 뭘 할 수 있는지 똑같이 혼란스러울 때 가능성의 경계를 시험해 보려는 의지라고 생각한다. 삐죽한 국경은 여러분의 분야에서 아직 지도가 그려지지 않았으므로, 주도성이란 탐험가가 되는 일이다. AI가 이제 뭘 할 수 있게 됐다는 말을 남에게 들으려고 기다리는 것과, 직접 시도해서 알아내는 것의 차이다. 내가 이상한 AI 실험을 그렇게 많이 하는 이유 중 하나다. AI에게 게임을 시켜보는 것 같은 실험은 AI가 무엇을 할 수 있는지 많은 걸 가르쳐 주기 때문이다.
내 책 선구매 특전에 관한 잠깐의 이야기
이 네 가지 강점과 그 밖의 많은 이야기를 10월 20일 출간되는 『Co-Existence』에서 다룬다. 책을 선구매하고 co-existence.ai로 알려주면(선구매는 저자에게 정말 큰 도움이 된다) 하루 이틀 안에 AI와의 음성 인터뷰 무료 링크를 보내 드린다. 인터뷰는 여러분이 무엇을 알고, 무엇을 좋아하고, 무엇을 시도해 봤는지 물은 뒤 여러분의 깊은 지식, 넓은 지식, 취향, 주도성에 대한 보고서와, 그에 맞춘 활용 사례와 프롬프트를 건네 준다.
결국 이 모든 것이 우리를 어디로 데려가나
지금의 AI에 대한 불안 대부분은 미래의 모델과, 그 모델을 통제할 수 있을지 여부에 관한 것이다. 정부와 AI 랩이 리스크를 줄이기 위해 개발 속도를 어떻게 관리할지 두고 논쟁하는 것은 합리적으로 보인다. 그러나 속도를 늦춘다고 이미 존재하는 것은 되돌아가지 않는다. 모든 랩이 내일부터 새 모델 학습을 멈춰도, GPT-6 Astra와 Fable 5.1이 이미 경제의 넓은 부분을 바꿀 만하다는 사실은 변하지 않는다. 오늘 이 모델들이 할 수 있는 것과 대부분의 사람들이 모델로 하는 일 사이의 기능적 오버행은 매우 크다.
그러니 프론티어의 속도를 어떻게 조절하든 변화는 온다. 한 번에 오지 않고 고르지도 않겠지만 피할 수 없다. 다만 피할 수 없는 변화가 반드시 똑같은 모양의 변화를 의미하지는 않는다. 사회 차원에서는 인간 노동을 단순히 대체하는 데서 그치지 않고 보강하는 인간-AI 협업 모델을 개발하고 나누는 일이 점점 중요해진다. 개인 차원에서는 우리 자신의 노력을 대체만 하는 게 아니라 보강하는 방식으로 AI를 쓰는 일이 그만큼 중요하다. AI가 결코 못 넘을 선이라고 손가락질할 수 있는 명확한 경계가 있으리라 생각하지 않는다(위의 예들을 보라). 그래도 네 가지 강점은 오늘 시작할 수 있는 지점이다.
Zork 프로젝트와 에코 서재 프로젝트는 모두 오픈소스다. 원하면 마음껏 수정해 보라(Zork 자체가 원래 오픈소스다).