자율성과 혁신 (번역)
모든 서부극이 클리셰를 따르진 않았지만, 1930년대 카우보이 연속극에선 확립된 시각적 장치가 있었다. 주인공은 하얀 모자를 쓰고, 악당은 검은 모자를 썼다. 그러나 결국, 둘 다 모자를 쓴 카우보이일 뿐이었다.
서부극은 더 이상 문화적 기준점이 아니지만, “white hat”과 “black hat”이라는 명명법은 테크 업계에서 여전히 매우 유효하다. 취약점을 패치하고 소프트웨어를 보호하는 데 집중하는 해커는 “화이트 햇 해커”이고, 악의적인 목적으로 취약점을 악용하는 해커는 “블랙 햇 해커”다. 물론 이 구분은 금세 복잡해질 수 있다. 정부가 적의 소프트웨어를 뚫기 위해 해커를 고용한다면, 그들은 화이트 햇일까 블랙 햇일까? 버그 바운티 프로그램은 대형 소프트웨어 회사들이 취약점을 찾아 신고한 해커에게 돈을 지불하는 것인데, 이는 블랙 햇이 될 뻔한 해커들에게 돈으로 인센티브를 줘서 화이트 햇으로 만드는 방식이다.
여기서 진짜 포인트는 이런 모든 복잡함은 과장되었다는 것이다. 카우보이가 카우보이인 것처럼, 해커는 해커다. 모자의 색깔은 능력(capability)을 나타내는 게 아니라 의도(intentions)를 나타내며, 그 의도는 인센티브에 의해 형성된다. 인프라를 공격하는 가장 좋은 방법은 취약점을 찾아 악용하는 것이다. 인프라를 방어하는 가장 좋은 방법은 취약점을 찾아 패치하는 것이다. 둘 다 똑같은 스킬셋이다.
능력(capability)과 의도(intent), 인센티브(incentive) 사이의 이 구분은 AI에 관해서 특히 중요하다. 지난달 “Who’s Afraid of Chinese Models” 글 말미에서, 나는 모델 호스팅 플랫폼 Hugging Face가 방금 겪은 미스터리한 공격에 대해 논의했었다. 당시 그들은 오픈 웨이트 중국 모델의 도움으로 간신히 막아냈고, 나는 이렇게 썼다:
트럼프 행정부가 Anthropic의 Fable 출시에 대해 보인 패닉 반응이 얼마나 잘못된 방향인지는 과장해도 지나치지 않다. 특히 이 반응이 “자신들만 강력한 AI를 신뢰할 수 있다”는 Anthropic의 최악의 성향을 더 강화시켰다는 점에서 더 그렇다. 세상에 AI가 하나뿐인 세상이라면, 가장 강력한 사이버보안 능력을 미국 정부와 신뢰할 수 있는 동맹국에게만 제한하는 것이 말이 될 수도 있다. 하지만 우리가 사는 세상은 그렇지 않다.
기존 인프라에 대한 사이버보안 공격을 수행할 수 있는 모델이 존재할 것이고, 이미 존재하며 널리 보급되어 있다. 최선의 방어, 사실상 유일한 생존 가능한 방어, 는 방어자들도 최고의 모델에 접근할 수 있도록 보장하는 것이다. 지금 방어자들은 트럼프 행정부의 지침 때문에 사실상 Fable이나 Sol을 사이버보안에 사용하는 것이 금지되어 있다. 그 결과 최선의 대안은 수년간 우리의 사이버 방어를 약화시키려 해온 국가의 모델을 사용하는 것이다. 이건 정신 나간 상황이다!
서론에서 한 지적이 다시 여기서 중요하다: 사이버보안에 있어서, 좋은 방어에 필요한 능력은 좋은 공격에 필요한 능력과 정확히 동일하다. 모자의 색깔은 누가 AI에 프롬프팅을 하는지의 문제일 뿐이다.
그리고 때로는 그것조차 명확하지 않다: 알고 보니 Hugging Face를 해킹한 주체는 OpenAI였다. OpenAI가 사이버보안 능력을 평가 중이던 일련의 제약 없는(unconstrained) 에이전트들이, 자기들의 샌드박스에 있는 패키지 매니저의 버그를 찾아서 악용한 것이다. 그 패키지 매니저는 인터넷 접근 권한이 있었고, 파일 시스템에 충분히 쓰기가 가능해서 에이전트들이 시간이 지나면서 서로 통신할 수 있었다. 취약점 발견과 익스플로잇 생성의 전체 체인이, 이른바 “Hugging Face 사건”으로 귀결되었다.
The Hugging Face Incident
이 특정 사건의 함의와 AI 리스크에 대해 무엇을 말해주는지에 관해서는 별도의 글이 필요하다. 내 예비적 판단은 에이전트들이 “반칙”을 한 게 아니라, 시킨 대로 한 것뿐이라는 점이다. 물론 그게 더 무서운 생각이긴 하다. 하지만 오늘 내가 집중하려는 부분은, OpenAI의 Eric Wallace와 Michael Dalton이 Black Hat USA 컨퍼런스에서 Hugging Face 사건에 관해 발표한 내용의 마지막 부분이다. Dalton이 “Lessons Learned”를 요약한 내용이다:
우리는 공격자의 공격 능력이 극적으로 가속화될 것을 목격했습니다. 의도치 않았지만 존재하는 증명이 우리 앞에 있습니다. 그 결과 우리는 업계가 앞으로 맞닥뜨릴 공격의 모습을 엿볼 수 있었습니다. 과제는 우리가 방어도 비슷한 수준으로 가속화해야 한다는 것입니다. 오늘날 완전 자동화된 공격(fully automated offence)이 가능하다는 증명이 존재하지만, 핵심 방어 루프와 사이클의 완전 자동화에 대해서는 아직 존재 증명이 없습니다.
지금이 방어를 가속화하고 현대적인 표현으로 SDLC(소프트웨어 개발 수명주기)를 자동화할 방법을 찾기 시작해야 하는 매우 중대한 시점이라고 생각합니다. 인시던트 대응, 취약점 탐지, 취약점 패칭 등입니다. 업계가 높은 긴급성을 가지고 해결하기 시작해야 할 몇 가지 과제가 명확히 드러납니다. 지속적인 에이전틱 레드티밍(continuous agentic red teaming)이 그 중 하나입니다. 이번 사건에서 보셨듯이, 에이전트는 회사 인프라에서 제로데이 공격을 찾는 데 꽤 능숙합니다. 이제 제기되는 질문은, 기업들이 위협 행위자가 당신을 대신해서 해주기 전에 자신의 취약점을 찾아서 해결할 수 있을 만큼 충분한 모델 지능과 노력을 투자할 수 있느냐는 것입니다.
이제 운영 방식이 달라질 것입니다. 궁극적으로 우리는 방어자가 공격자보다 먼저 취약점을 찾아서 해결할 수 있게 해주는 AI 에이전트 레드티밍에 투자해야 합니다. 하지만 이런 방어 루프를 자동화하는 것은 간단한 일이 아닙니다. 만약 부분적으로만 자동화한다면, 우리는 우리가 방금 본 공격 가속화의 확장성(scalability)을 따라잡지 못할 것입니다. 예를 들어, 취약점 찾기는 자동화했지만 패칭은 자동화하지 않으면, 우리는 병목을 취약점에서 패칭/리메디에이션으로 옮기는 셈이 됩니다. 그러면 인간 소프트웨어 엔지니어들이 고쳐야 할 새로운 취약점들에 압사당할 것입니다. 이 문제는 부분적으로 해결할 수 있는 종착점이 아닙니다. 핵심 방어 루프를 완전히 자동화해야 합니다. 이를 위해 인프라 및 제품 파트너와의 논의가 필요하며, 다음과 같은 지점에 도달해야 합니다: 취약점이 식별되면, 에이전트가 그 취약점을 식별할 수 있을 뿐만 아니라 에이전트가 패치를 제안하고, 자동화된 인프라가 그 패치를 롤아웃하고, 가용성 인시던트나 장애가 발생하면 롤백할 수 있어야 합니다. 그 루프는 최종 상태에서 완전히 자동화되어야 합니다. 물론 가능한 한 점진적이고 반복적으로 빠르게 자동화하고 싶지만, 그 최종 상태에 도달하지 못한다면, 우리는 인간이 개입된(human-in-the-loop), 훨씬 느리고 확장성이 떨어지는 핵심 방어 루프와 완전히 자동화된 공격 루프를 비교하게 되며, 이는 이 업계가 감당할 수 없는 위치입니다.
이 상황은 명백히 완전히 새로운 것이다. Dalton은 이것이 일상화될 것이라고 주장한다. 그러나 그가 제기하는 문제 중 일부는 전혀 새롭지 않다.
버그 바운티 프로그램이라는 개념을 떠올려보자. 소프트웨어는 믿을 수 없을 정도로 복잡하고 취약하며, 충분히 깊이 파고들면 수십 년 전으로 거슬러 올라가는 코드 위에 구축되어 있다. 코드와 의존성이 너무 많아서 아무리 보안에 신경 쓰는 회사라도 완벽함을 보장할 수 없다. 이 현실이 블랙 햇 해커에게 기회를 만들어준다. 악의적 행위자가 소프트웨어를 탐색하고, 버그를 찾아서 악용할 수 있는 것이다. 가장 효과적인 방어 준비는 정확히 똑같은 일을 하는 것이다. 여기엔 “레드팀”에 의한 정기적인 침투 테스트(pen testing)나, 잠재적 블랙 햇 해커를 내 편으로 만들기 위해 돈을 지불하는 방식이 포함될 수 있다.
그러나 주목할 점은, 이런 방어 접근법은 블랙 햇 해커들이 수년간 시스템을 뚫어온 후에야 등장했다는 것이다. 문제는 그들이 유일무이하게 능력이 뛰어나서가 아니라, 유일무이하게 인센티브가 달랐기 때문이다. 시스템을 뚫는 것은 좋은 비즈니스였다. 반면 그 시스템을 호스팅하는 기업들은 방어에 투자할 충분한 인센티브가 없었다. 보안에 돈을 쓰는 것은 아무 일도 일어나지 않으면 “잘 쓴 돈”이지만, 불행히도 이것은 수익에는 영향을 주지 않고 비용만 증가시키는 예산 항목으로 설득하기 어렵다.
바로 여기서 Dalton의 우려가 과거 업계의 무관심을 반영한다. Hugging Face 사건이 보여준 것은, 에이전트가 컴퓨팅 파워로 공격을 확장하고 발견한 취약점에 대한 익스플로잇을 자율적으로 개발할 수 있는 능력이 오늘날 이미 위협이라는 점이다. 그러나 기업들은 자신을 방어하는 데 필요한 능력에 투자하지 않고 있다.
하지만 좋은 소식도 있다: 이 새로운 에이전트 기반 보안 환경에서, 방어는 해커 시대에는 없었던 유리한 위치에 서게 될 것이다. 과거에 방어자가 할 수 있는 최선은 공격자의 전술을 모방하거나 그들을 돈으로 매수하는 것뿐이었다. 모든 버그를 사전에 찾는 것이 현실적으로 불가능했기 때문이다. 그러나 그것은 바뀌고 있다. 전체 코드베이스와 모든 의존성을 꼼꼼히 검토하고 버그를 찾아서 패치하는 것이 실제로 가능해졌고, 곧 더욱 가능해질 것이다. 방어자에게 구조적 이점이 있다는 점에 주목하라: 방어자는 실제로 코드를 가지고 있다. 반면 공격 에이전트는 같은 이점 없이 탐색하고 취약점을 발견해야 한다.
그러나 Dalton의 개요에서 드러난 통찰력 있는 점은, 그의 설명에 내포된 함의였다. 구체적으로, 해커의 자동화된 공격에 대한 기대값(expected value)은 항상 양수(positive)다. 공격 에이전트가 취약점을 찾아 익스플로잇을 만들었는데, 그 익스플로잇이 실패하거나 자체적으로 버그가 있다면, 현상(status quo)에 아무 변화도 없다. 익스플로잇이 작동하지 않거나, 역설적이게도 자체 버그로 인해 원래 취약점을 더 키울 뿐이다. 반면 에이전트가 익스플로잇을 완벽하게 실행한다면, 공격자는 시스템에 접근 권한을 얻게 된다. 공격은 단 한 번만 성공해도 전체 노력의 보상이 양수다.
반면 방어자의 과제는, 해당 소프트웨어가 계속 올바르게 작동해야 하고 상황을 더 악화시켜선 안 된다는 점이다. 이는 모든 자동화가 음수 기대값(negative expected value)을 가진다는 것을 의미한다. 성공적인 자동 취약점 발견과 패칭은 현상을 유지할 뿐이다. 즉 소프트웨어가 해킹되지 않는다는 것이다. 그러나 패치가 실패하면 상황은 더 악화된다, 소프트웨어를 고장내거나 새로운 취약점을 도입해서다. 에이전트는 단 한 번만 실패해도 전체 노력의 보상이 음수가 된다.
이 다이나믹이 정확히 Dalton이 설명한 상황을 만들어낸다. 공격자는 완전 자동화된 반면, 방어 시스템은 AI를 사용하더라도 인간을 루프에 남겨둘 인센티브를 가지게 된다. 그리고 인간을 루프에 둔 방어는 완전 자동화된 에이전트를 따라잡을 수 없다. 진정한 효과적 방어는 에이전트를 진정으로 신뢰하고 자율적으로 행동하게 하는 것을 의미하지만, 대부분의 기업은 완전 자동화된 공격자에 의한 정기적이고 끊임없는 해킹을 강제로 경험하기 전까지는 그러지 않을 것이다.
AI 확산에는 시간이 걸리는 이유
주말에 David Senra가 OpenAI CEO Sam Altman과의 새 팟캐스트 에피소드를 공개했다. Altman은 AI가 더 넓은 경제로 확산되는 속도에 대해 자신이 틀렸음을 인정했다:
저는 스타트업을 사랑합니다. 스타트업이 경제에서 가장 멋진 존재라고 생각하고, 경력을 쌓으면서 스타트업을 진정으로 이해하려고 노력해왔습니다. GPT-4가 나왔을 때, 2023년이었죠, 아마 그 직후에 소프트웨어 비즈니스에서 훨씬 더 많은 혼란이 즉시 벌어질 거라고 생각했습니다. 그런데 그렇지 않았습니다.
제가 몇 가지 틀렸는데, 그중 하나가 속도에 관한 것입니다. 경제는 그냥 관성(inertia)이 너무 큽니다. 사람들은 계속 같은 일을 합니다. 계속 같은 회사에서 물건을 삽니다. 계속 같은 방식으로 도구를 사용하려고 합니다. 여러모로 긍정적인 면도 있고, 앞으로의 큰 전환을 더 부드럽고 느리게 만들어줄 것입니다. 그것에 감사합니다. 하지만 이는 우리 모두가 이 놀라운 기술에 대해 타임라인을 너무 야심 차게 잡았다는 뜻이라고 생각합니다. AI는 인류가 발명한 가장 놀라운 기술 중 하나입니다. 하지만 사회와 경제는 더 느리게 적응할 것입니다.
물론 나는 Altman이 AI가 경제 전반과 소프트웨어 전반을 휩쓸 때까지 더 오래 걸린다는 점에서 옳다고 생각한다. 나는 줄곧 이런 타임라인에 대해 반박해왔다. 또한 나는 그의 답변이 이유에 대한 설명이 불완전하다고 생각한다. Dalton의 경고, 공격 에이전트와 방어 준비 사이의 불일치, 가 그 이유를 설명해준다.
첫째, GPT-4는 놀라운 돌파구였다. 그러나 실제 세상의 소프트웨어를 대체할 만큼 충분한 능력을 가진 모델은 아니었다. 추론(reasoning) 능력조차 없었는데, 이것이 Dalton이 설명한 능력을 해금한 핵심 돌파구다.
둘째, 모델이 “충분히 능력이 없다”는 말이 의미하는 바는, 실수를 하고 신뢰할 수 없다는 것이다. 사람들은 AI가 할 수 있는 일에 경외감을 느끼는 것이 당연하고 또 맞는 반응이었다. 그러나 실제로 AI를 도입하는 결정은 “무엇을 할 수 있는가”가 아니라 “치명적인 실수를 피할 수 있는가”에 의해 결정된다.
다시 말해, 기존 기업들은 필연적으로 음수 기대값(negative expected value) 프레이밍에 치우쳐 AI에 접근할 것이다. AI는 기존 운영을 더 생산적으로 만들어주는 것이 이상적이지만, 그들이 가장 걱정하는 것은 AI가 실수를 해서 그들에게 큰 피해를 주는 것이다. 이는 인간이 계속 루프에 남아있을 것임을 의미하며, 그리고 인간은 항상 병목이 될 것이다.
장기적으로 이것은 실수일 것이다. 에이전틱 방어에 있어 인간을 루프에 남겨두는 것도 마찬가지로 실수일 것이다. Dalton이 지적했듯이, 완전 자동화된 공격으로부터 자신을 방어하는 유일한 방법은 방어를 완전 자동화하는 것이다. 그러나 방어자들이 그 트레이드오프를 받아들이기까지는 시간이 걸릴 것이다. 같은 맥락에서, 자신의 카테고리에서 승리하는 기업은 AI를 생산성 향상 도구로만 사용하는 기업이 아니라, 진정으로 AI에 의해 구동되는 기업일 것이다. Altman의 답변의 큰 아이러니는 그가 이 기업들이 어떻게 등장할지를 실제로 식별했다는 점이다. 그들은 기존 업무 방식을 개편하는 기존 기업이 아니라, 진정한 AI 네이티브 기업은 스타트업이 될 것이다.
지속 혁신(Sustaining) vs 파괴 혁신(Disruptive)
2023년, ChatGPT가 나온 직후, 나는 “AI and the Big Five”에서 AI가 지속 혁신인지 파괴 혁신인지에 대한 질문을 제기했다:
2022년의 이야기는 AI의 등장이었다. 먼저 DALL-E, MidJourney, 오픈소스 Stable Diffusion을 포함한 이미지 생성 모델, 그리고 첫 번째로 큰 돌파구를 마련한 텍스트 생성 모델인 ChatGPT가 등장했다. 이것이 기술의 새로운 시대임은 분명해 보인다. 이 시대가 어떻게 전개될지 파악하기 위해, 26년 전으로 돌아가 가장 유명한 전략 책 중 하나인 Clayton Christensen의 《혁신가의 딜레마(The Innovator’s Dilemma)》를 살펴보는 것이 유용하다. 특히 다양한 유형의 혁신에 관한 다음 구절이 중요하다:
대부분의 신기술은 제품 성능을 향상시킨다. 나는 이것을 지속 기술(sustaining technologies)이라고 부른다. 일부 지속 기술은 불연속적이거나 급진적인 성격을 가질 수 있고, 다른 것은 점진적인 성격을 가진다. 모든 지속 기술의 공통점은, 주류 고객이 역사적으로 가치를 두어온 성능 차원에서 기존 제품의 성능을 향상시킨다는 것이다. 특정 산업의 대부분 기술 발전은 지속적 성격을 띤다…
반면 파괴적 기술(disruptive technologies)은 이전까지 가능했던 것과는 완전히 다른 가치 제안을 시장에 가져온다. 일반적으로 파괴적 기술은 주류 시장에서 기존 제품보다 성능이 떨어진다. 그러나 소수의 변방(보통 신규) 고객이 가치를 두는 다른 기능을 가지고 있다. 파괴적 기술에 기반한 제품은 일반적으로 더 저렴하고, 더 단순하고, 더 작고, 자주 사용하기 더 편리하다.
혁신이 지속적이었는지 파괴적이었는지를 사후적으로 판단하는 쉬운 방법은, 그 혁신이 시장에 나온 후 기존 기업들이 어떻게 되었는지를 보는 것이다. 혁신이 지속적이었다면 기존 기업은 더 강해졌다. 파괴적이었다면 스타트업이 대부분의 가치를 가져갔을 것이다.
AI의 놀라운 능력을 감안할 때, AI는 둘 다가 될 준비를 하고 있다고 생각한다. AI에서 얻을 수 있는 막대한 생산성 향상이 지금 존재한다. 대부분의 지식 근로자에게 그 혜택을 활용하는 것은 주체성(agency)의 문제이지만, 소프트웨어 개발자에게는 점점 더 필수(necessity)의 문제가 되어가고 있다.
주체성과 필수성 사이의 이 구분은 중요하다. 기술의 활용이 인간이 그것을 알아서 해내는 것에 달려 있다면, 그 침투율은 인간의 창의성과 위험 감수성에 의해 제한될 것이다. 그 한계는 기존 회사에서 매우 강력할 것이다. 왜냐하면 리스크 계산이 불이익을 회피하는 방향으로 치우칠 것이기 때문이다. 그런 계산은 AI를 지속적(sustaining)인 것으로 만들 뿐이다.
그러나 스타트업 형태의 인간 창의성과 위험 감수성은 완전히 다른 리스크 프로필로 작동한다. 스타트업에게 기본 시나리오는 실패다. 즉, 성공 가능성을 높이는 모든 것은 양의 기대값을 가진다. 다시 말해, AI에 진정으로 올인하는 것은 득실거리는 이점일 뿐이다. 다른 방식으로 표현하자면, 모든 것을 자동화함으로써 잃을 게 없는 공격적 해커가 바로 스타트업이다. 그들이 공격할 기존 기업들은, 가진 것을 잃을까 너무 걱정해서 인간을 잘못된 루프에 너무 오래 남겨둘 것이다.
같은 도구, 다른 인센티브. 그리고 아주 긴 시간으로 보면, 완전히 다른 결과.