Databricks와 회사의 미래 (번역)
원문: https://www.a16z.news/p/databricks-and-the-future-of-the
앞으로 20년 동안 우리 삶의 많은 부분이 바뀐다. 그중에서도 확실히 다섯 손가락 안에 드는 질문이 하나 있다. “당신은 회사에서 하루 종일 뭘 하는가?”
이 질문을 두고 거대한 돌파구 두 개가 문턱에 다다르고 있다. 첫 번째는 에이전틱 자동화(agentic automation)다: “지금 우리가 하고 있는 작업을 설명하면, 자동화한다.” 두 번째는 임직원에게 주도권을 주는 것이다. 문제에 가장 가까운 사람들이 정보와 권한이 조직의 계층을 타고 오가기를 기다리지 않고도 기회를 조사하고 행동할 수 있게 된다.
둘 다 모두가 매일 하는 일의 급진적인 변화다. 더 나은 쪽으로. 단, 여기에 큰 조건이 붙는다. 조직이 실제로 이 새로운 일하는 방식으로 진화할 수 있느냐다. “한 사람의 일상 업무” 중 놀랄 만큼 큰 비중이 고용주가 쓰는 기록 시스템(system of record)과 의사결정 방식에 의해 제한된다. 그리고 그 시스템 자체가 회사가 쓰는 데이터베이스 기술과, 그 기술이 가능하게 하는 것에 의해 제한된다. 뒷부분까지 생각하는 사람은 많지 않다.
여기에 Databricks가 등장한다. 직접적인 영향권 안에 있는 사람들 외에는 실리콘밸리에서 가장 레이더에 안 잡히는 이야기일 수 있다. 연 매출이 70억 달러를 넘었고 전년 대비 80% 성장 중인데도 말이다. 이름은 분명 들어봤을 것이다. 하지만 Databricks가 정확히 뭘 하는 회사인지 아는 사람은 그리 많지 않다. 데이터 회사라는 것, 에이전트 시대에 중요하다는 것 정도를 아는 사람이 대부분이고, 왜 그런지는 모르는 경우가 많다.
Databricks의 이야기는 기막힌 사건의 연속이고, 시기가 온 제품의 우연한 사례다. 3년 전만 해도 Databricks에서 일어나는 모든 상호작용에는 사람이 있었다. 오늘은 에이전트가 보내는 쿼리가 사람보다 많고, 하루에 1,700만 개가 넘는 데이터베이스가 에이전트에 의해 만들어진다. 이 추세는 계속될 것이다.
이 이야기는 네 부분으로 이루어진다.
1) Databricks는 실제로 뭘 하는 회사인가. 광고판에서 봤을 법한 “Lakehouse”와 “Lakebase”는 무엇이고, 왜 제 때 도착한 아키텍처 돌파구인가.
2) “기록 시스템(system of record)”은 무엇이고, 에이전트가 실제 회사 안에서 일하고, 실제 의사결정을 내리고, 회사의 지식 자산에 기여하려면 왜 새로운 종류의 기록 시스템이 필요한가.
3) 애초에 “회사(firm)”란 무엇인가. 에이전트가 사람을 1000 대 1로 초과하면 회사는 어떻게 바뀌는가. 회사는 어떻게 차별화하고 가치를 만드는가.
4) 이 새로운 세계에서 사람들은 하루 종일 뭘 하는가. 직장에서의 AI 약속은 흔히 “평범한 사람들이 이제 소프트웨어 엔지니어의 능력을 갖게 됐다”로 광고된다. 하지만 장기적인 영향은 “모두가 엔지니어”가 아닐 수 있다. “모두가 매니저”에 더 가까울 수 있다.
이것이 아마 이 글 전체에서 가장 큰 판돈이다. 우리는 20세기를 만든 경영 방식이 실시간으로 해체되는 것을 지켜보고 있다. 제임스 버넘(James Burnham)의 유명한 저서 『경영자 혁명(The Managerial Revolution)』이 기록한 바로 그 방식이다. 85년 전 버넘은 정보 기술과 조직의 복잡성이 기업의 운영 모델을 새로 만들고 있다고 썼다. 소수의 전문 경영자 계급이 회사 안의 의사결정을 집중시키는 모델이었다. 오늘날 새로운 기술 덕에 현장의 실무자들이 책임을 다시 되찾고 있다. 그리고 우리 모두는 그 덕을 보고 있다.
이것이 Databricks이고, Databricks가 회사의 미래를 움직일 이유다.
From Spark to Agents
Databricks는 최근 “AI 물결을 잡은 데이터 회사”로 묘사된다. 하지만 이 회사는 물결이 도달하기 10년 전에 AI 연구자들이 세웠다. 이 비즈니스는 20년 가까이 쌓인 네 개의 기술 S-커브, Spark, Lakehouse, Lakebase, 그리고 지금의 에이전트로 이루어져 있다. 각 커브가 다음 단계의 혁신 창을 만들었다. 이 잠재력 해제의 순서를 제대로 이해하려면 데이터베이스 기술에 대해 잠시 이야기할 필요가 있다.
2009년 알리 고드시(Ali Ghodsi)는 UC 버클리의 방문 연구원으로 인터넷 회사들이 거대한 데이터셋으로 사람들이 뭘 클릭하고, 사고, 볼지 예측하는 걸 지켜보고 있었다. “빅데이터”라는 말이 유행하던 시절이었다. 선도 프레임워크는 Hadoop이었고, Yahoo, Facebook, Twitter, LinkedIn 같은 회사들이 수천 대의 값싼 범용 서버에 걸쳐 데이터 워크로드를 병렬로 처리하는 데 썼다. Hadoop 이전에는 더 큰 워크로드를 처리하는 표준 방법이 Oracle이나 IBM에서 대당 수백만 달러짜리 더 큰 기계를 사는 것이었으니 Hadoop은 매력적인 대안이었다.
Hadoop의 치명적인 결함은 계산의 각 라운드가 다음 라운드가 시작되기 전에 결과를 디스크에 저장한다는 것이었다. 클러스터의 값싼 기계 하나가 고장 났을 때 작업을 복구하기 쉬워진다는 장점이 있었고, 합리적인 선택이었다. 하지만 기계학습처럼 반복적인 워크로드에서는 견딜 수 없을 만큼 느렸다. 예측을 하고, 오차를 측정하고, 모델을 갱신하고, 다시 반복하는 워크로드 말이다. Hadoop은 각 라운드를 새 작업으로 취급하고 같은 데이터를 디스크에서 매번 다시 읽었다. 그래서 클러스터는 모델을 몇 초 개선할 때마다 데이터를 옮기는 데 몇 분을 썼다.
이 문제가 버클리 박사과정 학생이던 마테이 자하리아(Matei Zaharia)가 Apache Spark의 첫 버전을 쓰게 만들었다. Spark는 데이터 처리 작업을 값싼 기계들에 흩는 Hadoop의 혁신 위에 서 있으면서, 응용 프로그램이 매번 디스크에서 읽는 대신 자주 재사용하는 데이터를 라운드 사이에 서버의 훨씬 빠른 메모리에 유지할 수 있게 했다. 단, 내결함성은 포기하지 않고. 이 덕에 반복 워크로드가 최대 10배 빨라졌다. 연구실은 2010년에 오픈소스로 공개했고, 3년 뒤 알리와 마테이와 동료 연구자 다섯 명이 Databricks를 설립해 Spark가 필요로 하는 분산 인프라, 즉 클러스터, 스케일링, 보안의 복잡성을 기업용 단일 플랫폼 뒤로 추상화했다.
Spark는 데이터 처리를 빠르게 했지만, 그 데이터가 어디에 살았는지는 별개의 문제였다. 그 시절 기업 데이터는 서로 다른 두 세계에 나뉘어 있었다. 데이터 웨어하우스(data warehouse)는 구조화되고 신뢰할 수 있는 기록을 담아 분석가들이 SQL로 질의하게 하고 모든 대시보드와 분기 보고서를 움직였다. 데이터 레이크(data lake)는 나머지 모든 것, 문서, 이미지, 녹음물, 로그를 위한 값싼 저장소였다. 레이크는 값쌌기에 팀들은 뭐든 집어던졌지만, 들어오는 시점에 검증하거나 구조화하는 일은 없었다. TensorFlow, PyTorch 같은 AI 오픈소스 도구의 방대한 생태계가 데이터 레이크 주변에서 자랐음에도, 신뢰할 수 없는 데이터 더미에서 가치를 뽑아내기는 어려웠고, 그래서 “데이터 늪(data swamp)”이라는 별명이 붙었다.
두 시스템 모두 문제를 풀었지만 분단을 만들었다. 엔지니어와 데이터 과학자는 Python을 들고 레이크에 살았고 분석가들은 SQL을 들고 웨어하우스에 살았다. 한쪽이 다른 쪽의 데이터가 필요할 때마다 누군가 파이프라인을 만들어 옮겨야 했다. 회사에는 사본, 파이프라인, 권한, 서로 충돌하는 정의가 쌓였다. 그런데 2010년대 후반, Databricks와 Uber와 Netflix가 서로 독립적으로 같은 해법에 도달했다. 세 프로젝트(Delta Lake, Hudi, Iceberg)가 레이크의 파일 위에 테이블 레이어를 얹어 전부 아니면 전무 방식의 갱신, 스키마 관리, 버전 히스토리 같은 웨어하우스급 보장을 부여했다. 이제 회사는 신뢰성과 성능을 위해 데이터를 별도의 웨어하우스로 옮기는 대신, 데이터가 이미 살고 있는 같은 저장소 위에서 웨어하우스식 워크로드를 돌릴 수 있었다. 새로운 아키텍처를 가능하게 만든 돌파구였다.
2020년 Databricks는 데이터 레이크와 데이터 웨어하우스를 합쳐 “레이크하우스(lakehouse)”를 발명했다. 데이터 레이크의 값싸고 유연한 저장소와 데이터 웨어하우스의 엄격한 신뢰성과 빠른 쿼리 성능을 결합하고, 웨어하우스급 SQL과 기계학습을 같은 기반 위의 일급 워크로드로 만들었다. 모든 것을 담던 값싼 저장소가 엔지니어, 데이터 과학자, 데이터 분석가가 마침내 함께 쓸 수 있는 데이터 기반이 될 만큼 신뢰할 수 있게 된 것이다. “최고의 데이터 웨어하우스는 레이크하우스다”라는 슬로건이 붙었고 고객들도 동의하는 듯했다. 오늘날 Databricks의 Lakehouse는 15억 달러가 넘는 매출 런레이트로 연 100% 이상 성장하고 있다.
아마존 CTO 베르너 보겔스(Werner Vogels)는 2020년 1월 블로그 포스트에서 고객 쪽에서 이 문제를 다뤘다. “데이터 레이크 없이 전통적인 데이터 웨어하우스에서 이 모든 데이터를 합치려면 상당한 데이터 준비와 추출, 변환, 적재(ETL)가 필요하다”고 그는 설명했다. “무엇을 버릴지 절충해야 하고, 경직된 시스템의 구조를 계속 바꿔야 한다.” 데이터 레이크는 데이터를 어떤 형식으로든 가져올 수 있게 해 이런 절충을 없앴다. 레이크는 또한 기계학습과 AI의 강력한 기반이었는데, 보겔스의 말대로 둘 다 “크고 다양한 데이터셋에서 번성한다.”
한 개의 분단이 남아 있었다. 레이크하우스는 회사가 분석하는 데이터를 통합했지만, 회사의 응용 프로그램이 동작하는 데이터는 통합하지 못했다. 결제 처리나 사용자 로그인 같은 일상 업무의 실시간 트랜잭션을 다루는 운영 데이터베이스(operational database)는 여전히 깨지기 쉬운 파이프라인의 그물로 레이크하우스에 꿰매져 있었다. 컴퓨트와 스토리지는 하나의 모놀리식 박스에 묶여 있었고, 데이터는 이전을 조직에서 가장 무서운 기술 프로젝트 중 하나로 만드는 독점 포맷에 갇혀 있었다.
그래서 2025년, Databricks는 Neon을 인수했다. 서버리스 Postgres 회사로, 이미 그 데이터베이스 대부분이 AI 에이전트에 의해 생성되고 있었고, lakebase라 불리는 새로운 데이터베이스 아키텍처 카테고리를 대표했다(Databricks가 Neon을 자사 제품에 통합한 결과물을 “Lakebase”라고 부르게 된 계기이기도 하다). 레이크하우스가 데이터 레이크 위에 웨어하우스를 다시 지었듯, Lakebase는 같은 아이디어를 운영 데이터베이스에 적용한다. 스토리지를 컴퓨트에서 분리해 데이터는 데이터 레이크에 값싸게 저장하면서 컴퓨트는 수요에 따라 늘리고 줄일 수 있다. 그리고 운영 데이터베이스와 레이크하우스가 같은 하위 스토리지를 공유하기 때문에, 데이터베이스의 변경이 파이프라인 그물을 만들고 유지할 필요 없이 자동으로 분석가, 엔지니어, 에이전트에게 열린다. Databricks는 이 트랜잭션과 분석의 통합을 LTAP, Lake Transaction/Analytical Processing이라고 부른다.
이 분리는 데이터베이스가 코드처럼 동작하게 만든다. 페타바이트급 데이터베이스도 몇 초 만에 복제될 수 있다. Lakebase는 변경분만 복사하기 때문이다. 이 덕에 에이전트는 격리된 브랜치를 만들고, 그 위에서 실험하고, 끝나면 버릴 수 있다. 최근까지 Databricks조차 완전히 파악하지 못했던 고려사항이다. Lakebase는 작년에 출시해 이미 1억 달러 매출 런레이트를 넘겼고, 에이전트가 가장 많이 쓰는 사용자다. “장기적으로는 기존 데이터베이스 시장보다 더 큰 시장이 될 것”이라고 알리가 말한다.
이 기술적 해제는 제 때 도착했다. 수십 년 동안 회사의 소프트웨어는 소수의 엔지니어가 만들고 다른 모든 사람이 썼다. 우리는 사람이 원하는 결과를 선언하면 소프트웨어가 방법을 알아내는 세계로 이동하고 있다. 중앙 팀이 관리하는 몇 안 되는 데이터베이스를 수천 명의 직원이 읽고 쓰는 대신, 회사에는 수천 개의 데이터베이스가 생기고 수백만 명의 에이전트가 그것을 읽고 쓴다.
A System of Record for Agents
6월에 알리는 회사의 Data + AI Summit에서 3만 명 앞에 서서 범용 인공지능(AGI)이 도착했다면 손을 들라고 했다. 열 퍼센트쯤 손을 들었다.
“우리는 AGI가 이미 왔다고 믿는다”고 그들에게 말했다. 오늘날 프런티어 모델은 Humanity’s Last Exam의 절반 이상을 이미 풀 수 있다고 짚었다. 백 개가 넘는 분야의 전문가들이 쓴 2,500문항으로, 어떤 AI에게도 너무 어렵다고 여겨졌던 시험이다.
2022년 ChatGPT가 나왔을 때 사람이 30초쯤 걸리는 코딩 작업을 처리할 수 있었다. 오늘날의 프런티어 에이전트는 숙련된 엔지니어가 하루 종일 걸리는 코딩 작업을 완수한다. 독립 평가기관 METR의 연구자들은 2019년으로 거슬러 올라가 모델별로 에이전트가 혼자 끝낼 수 있는 작업의 길이를 추적해 왔고, 그 길이는 대략 7개월마다 두 배가 됐다. 최근에는 더 빨랐고, 코딩 너머의 영역에서도 비슷한 추세가 나타난다. 이 흐름이 2030년대 초까지 이어지면 에이전트는 사람에게 수 년이 걸리는 작업을 해낼 수 있게 된다.
그런데 오늘날 대부분의 회사에서 AI는 여전히 Salesforce의 기록을 믿고 업데이트하도록 허용되지 않는다.
“AI에는 지능 문제가 없다”고 알리는 설명한다. “맥락(context) 문제가 있다.” 가장 똑똑한 인간이라도 회사의 데이터에 접근할 수 없고, 행동할 권한이 없고, 피드백이 없고, 다른 직원들의 머릿속 지식이 없다면 거의 쓸모없다. 알리의 답은 그가 “에이전트를 위한 기록 시스템(system of record for agents)”이라고 부르는 것이다.
팔란티어 CEO 알렉스 카프(Alex Karp)가 온톨로지(ontology)에 대해 말하는 클립을 본 적이 있을 것이다. “시장의 모든 가치는 칩과 우리가 온톨로지라고 부르는 것으로 흘러갈 것”이라고 그가 주장했다. “온톨로지는 LLM을 가져다 쓰고, 다듬고, 당신의 기업에 적용하게 해준다.” 그것이 실제로 무슨 뜻인지는 대개 듣는 사람의 몫으로 남는다.
모든 회사에는 온톨로지가 있다. 무엇이 존재하는지, 그것들이 어떻게 관련되는지, 용어가 무슨 뜻인지, 둘이 충돌할 때 어느 쪽이 우선하는지에 대한 실무 모델이다. 일부는 데이터베이스, 대시보드, 정책, 문서에 살고 있다. 하지만 상당 부분은 경험 많은 직원들의 머릿속에만 살고 있다. 또 결코 완성되지 않는다. 계약이 바뀌고, 임시방편이 절차가 되고, 예외가 규칙이 되면서 공식 기록은 실제 일이 진행되는 방식에서 점점 멀어진다. 누가 무엇을 결정하는지, 어떤 결정이 맞았는지 기억하는 것도 마찬가지다. 권한과 평가는 온톨로지만큼 문서화되지 않았다. 사람들은 이 모든 것을 거의 눈에 보이지 않게 보완한다. 영업 부사장의 일은 가장 큰 커밋된 딜이 정체된 이유가 챔피언이 조용히 다른 곳 면접을 보고 있기 때문이라는 걸 알고, 어떤 영업사원의 “90%”가 실제로는 50%라는 걸 알고, CEO에게 도달하기 전에 예측치를 깎는 일이다.
에이전트가 자율적으로 움직이려면 지금 사람들의 머릿속에 살고 있는 온톨로지, 권한, 평가의 상당 부분이 회사의 기록 시스템으로 옮겨와야 한다. Databricks는 레이크하우스가 그 자연스러운 집이라고 걸고 있다. 회사 데이터의 나머지가 저장되고 거버넌스되는 곳이 바로 거기기 때문이다. “요즘 레이크하우스가 기록 시스템이 됐다”고 알리가 말한다. “나는 그것을 SORA, 즉 에이전트를 위한 기록 시스템(System of Record for Agents)이라고 부른다.”
직원들은 Databricks가 2024년에 출시한 자연어 인터페이스인 Genie를 통해 이 기록 시스템과 상호작용한다. 회사의 누구나 데이터에 질문할 수 있고, 점점 더 그 위에 에이전트를 만들 수도 있다. 기록은 아래에서 회사 전체를 아우르면서 네 가지 질문에 계속 답해야 하고, Databricks는 각각을 만들고 있다.
무엇이 참인가? 레이크하우스와 Lakebase가 이미 상태를 담고 있다.
그것은 무슨 뜻인가? 누군가 질문할 때마다 AI가 회사의 모든 데이터를 뒤지게 하는 대신, Databricks의 Genie Ontology는 조직이 아는 것의 그래프를 계속 만든다. 매출이 어떻게 계산되는지, 지난주 스탠드업 전사본에서 무슨 이야기가 나왔는지 같은 것들이다. 엔지니어들이 OntoRank(구글의 PageRank를 본뜬 이름)라 부른 알고리즘은 어떤 지식이 권위 있는지를 순위 매긴다. 정의를 누가 만들었는지, 얼마나 널리 쓰이는지, 얼마나 최근에 바뀌었는지 같은 속성을 가중치로 반영해. Databricks의 테스트에서 회사 온톨로지에 에이전트를 접지(grounding)하면 답의 정확도가 약 50%에서 84.5%로 올랐다.
무엇이 허용되는가? 모든 직원에게 로그인을 하나씩 주는 오래된 접근 모델은 모든 직원이 인간일 때는 버텼지만, 직원들이 하루에 수백 개의 에이전트를 만들기 시작하면 무너진다. “각각의 독점적이고 고립된 데이터베이스에 대한 접근을 에이전트에게 부여할 수는 없다”고 알리가 설명한다. Databricks의 Unity Gateway는 회사의 모든 모델, 에이전트, AI 도구에 정체성, 예산, 가드레일을 부여하고, 추적 로그가 모든 행동을 기록해 회사가 AI 시스템이 무엇을 하는지, 어떤 데이터에 접근하는지, 얼마나 드는지 볼 수 있게 한다.
효과가 있었는가? Databricks는 회사들에게 에이전트를 만드는 두 가지 방법을 준다. 비즈니스 팀은 Genie에서 만든다. 프롬프트를 회사 데이터 위에서 추론하고, 점점 더 Slack이나 Salesforce 같은 응용 프로그램에서 행동하는 공유 가능한 에이전트로 바꾼다. 엔지니어는 Databricks의 프로덕션 AI 에이전트 개발자 플랫폼인 Agent Bricks에서 더 커스터마이즈된 에이전트를 만든다. 어느 쪽이든 Databricks는 팀이 자체 시험을 작성하게 한다. 허용되는 결과와 만들어서는 안 되는 실수를 정의하게 하고, 각 에이전트를 회사가 정의한 ‘어떤 작업에 대한 좋음’에 맞춰 최적화하는 도구를 준다. AI가 루프가 되는 방법이 이것이다.
기업 컴퓨팅의 모든 플랫폼 전환은 기록 시스템을 둘러싼 새 싸움을 낳았다. IBM은 메인프레임 시대를 지배했다. Oracle과 SAP는 클라이언트-서버 기업의 기반이 됐고, Salesforce, Workday, ServiceNow는 영업, 인사, IT를 위한 SaaS 기록 시스템을 만들었다. 에이전트가 다음 전환이다.
하지만 어떤 벤더가 이기는지는 에이전트가 회사 자체를 어떻게 바꿀지라는 질문보다 작은 문제다.
The Nature of the Firm
경제학자 로널드 코즈(Ronald Coase)는 1937년 논문 “The Nature of the Firm“에서 회사가 대체로 왜 존재하는지 물었다. 시장이 가격과 계약으로 활동을 조율할 수 있다면, 왜 사람들을 회사 안으로 모아 그들의 일을 경영적 지시에 맡기는가?
그의 답은 거래 비용으로 귀결됐다. 적임자를 찾고, 무엇을 어떤 가격에 할지 협상하고, 그 모든 것을 감시하는 데는 시간과 돈이 든다. 회사는 그런 반복되는 시장 거래 중 일부를, 관리자들이 합의된 한도 안에서 자원을 지시하는 더 개방적인 배열로 대체한다. 하지만 회사 안에서 일을 조직하는 것도 공짜가 아니다. 회사가 커질수록 더 많은 정보가 더 많은 사람들을 통과해야 하고, 언젠가 다음 거래를 내부에서 조직하는 비용이 시장에서 사는 비용과 같아진다. 코즈의 설명에서 회사는 두 비용이 만나는 지점까지 팽창한다.
40년 뒤, 허버트 사이먼(Herbert Simon), 노벨상과 튜링상을 둘 다 받은 몇 안 되는 사람 중 한 명, 은 어떤 사업의 기억을 중앙집중화하면 그 결정은 분권화된다는 걸 관찰했다. 공유된 컴퓨터 기록은 “각 분산된 의사결정 지점이 독립적으로 행동할 수 있게 해준다”고 그가 썼다. 시스템이 그 행동들을 공유 기록에 대해 자동으로 정합성을 맞춰주기 때문이다.
항공사에서 보스턴의 티켓 판매원은 시카고행 마지막 좌석을 팔기 전에 다른 모든 판매원에게 전화할 필요가 없었다. 그녀는 기록을 조회했고, 좌석을 팔면 기록은 모두에게 바뀌었다. 중앙집중화된 상태는 분권화된 행동을 더 안전하게 만들었다. 사람들이 서로가 아니라 기록과 조율할 수 있었기 때문이다.
관계형 데이터베이스는 이 원칙을 회사 전체로 확장했다. 한때 보고서와 회의와 경영적 인수인계를 요구했던 일이 공유 기록에 대한 쿼리가 됐고, 회사는 관리를 같은 비율로 늘리지 않고도 더 많은 제품, 장소, 사람, 거래를 조율할 수 있게 됐다. 1990년대에 인터넷이 외부 세계가 회사의 기록에 쓸 수 있게 해주면서 온라인 마켓플레이스는 수백만 명의 낯선 사람들 사이에서 구매자, 판매자, 재고, 결제를 조율할 수 있었다.
외부와 내부의 거래 비용이 모두 떨어졌기 때문에, 데이터베이스 시대는 회사를 획일적으로 더 크게도 더 작게도 만들지 않았다. 대신 더 넓은 스펙트럼의 회사가 존재할 수 있게 했다. 큰 회사는 훨씬 많은 복잡성을 관리할 수 있게 됐고, 작은 회사는 한때 부서 전체가 필요로 했던 역량을 빌리거나 살 수 있게 됐다.
AI도 같은 일이 일어날 가능성이 높다. 회사 안에서 에이전트는 보고, 검색, 정기 업무를 자동화해 조율 비용을 낮출 수 있다. 회사 밖에서는 벤더를 찾고 평가하고, 정기 조건을 협상하고, 결과를 감시하는 데 도울 수 있다. 데이터베이스가 그랬듯 AI는 존재할 수 있는 비즈니스와 시장의 복잡성 천장을 올릴 것이다. 하지만 더 중대한 효과는 회사의 형태(shape)를 바꾸는 일일 수 있다.
20세기의 전형적인 회사가 피라미드 모양이었던 이유는 계층(hierarchy)이 그 회사의 정보 처리 시스템이었기 때문이다. 사실은 보고서와 회의를 타고 위로 올라갔고, 결정은 아래로 내려왔고, 정보 흐름의 지도는 조직도와 거울처럼 닮았다. 경영진이 어떤 데이터를 모을 가치가 있는지, 공유할 가치가 있는지 정했고, 그 말은 회사의 자기 인식이 경영진이 모으기로 고른 것만큼밖에 좋을 수 없다는 뜻이었다.
데이터베이스는 이 구조를 바꿨지만 부분적으로만 바꿨다. 공유 기록은 사람들이 정보에 직접 접근하고 더 독립적으로 움직일 수 있게 했지만, 대개는 다른 누군가가 이미 설계한 절차 안에서였다. 컴퓨터 시대의 대부분 동안 상대적으로 작은 집단의 관리자, 운영 팀, 엔지니어가 회사의 스키마, 지표, 응용, 워크플로를 정의했다. 그리고 그 시스템을 설계하는 데 도운 직원보다 쓰기만 하는 직원이 훨씬 많았다.
이것은 사람들이 무엇을 할 수 있는지만 제한하지 않았다. 조직이 무엇을 알 수 있는지도 제한했다. 예를 들어 일주일에 몇 번씩 같은 불만을 듣는 지원 상담원은, 그녀의 매니저가 그것을 담은 보고서를 쓰지 않는다면 회사가 모르는 것을 알고 있다. 그리고 문제를 고치는 건 또 완전히 별개다.
알기와 행하기, 이 둘의 기술적 장벽이 지금 동시에 무너지고 있다.
안드레이 카파시(Andrej Karpathy)가 2023년에 말했듯 “가장 뜨거운 새 프로그래밍 언어는 영어다.” 자연어 인터페이스는 더 많은 도메인 전문가들이 SQL이나 Python을 아는 사람들이 모든 질문을 미리 예상하거나 답해주기를 기다리지 않고 회사의 데이터를 심문할 수 있게 해준다. 백년 된 글로벌 헬스케어 회사 노보 노디스크(Novo Nordisk)에서 과학자들은 예전에 데이터 엔지니어가 쿼리를 쓰기를 기다렸다. 이제 Genie에게 “우리 비만 데이터 전부 보여줘”라고 하면 관련 시험, 인사이트, 시각화를 즉시 끌어온다.
그리고 정해진 권한 안에서 직원들은 몇 시간, 때론 며칠의 일을 아끼는 해법을 만들 수 있게 됐다. 전기차 제조사 리비안(Rivian)에서 SQL 경험이 없는 재무 애널리스트가 Genie로 CFO를 위한 매출 대시보드를 만들었고, 공급망 애널리스트는 입고 재고 선적을 추적하는 앱을 만들었다.
이것이 모든 사람이 승인 없이 회사의 모든 데이터와 자원에 접근한다는 뜻은 아니다. 일이 더 분산될수록 공유 온톨로지, 권한, 책임은 더 중요해진다. 기록 시스템은 상태와 가드레일을 중앙집중화하면서, 누가 질문하고, 워크플로를 설계하고, 행동할 수 있는지는 분권화한다.
3월에 잭 도시(Jack Dorsey)가 “계층에서 지능으로(From Hierarchy to Intelligence)“라는 제목의 선언문을 썼고, 그의 회사 Block이 이 아이디어의 극단적인 버전을 실험하기 시작하는 방식을 설명했다. “처음으로,” 그가 쓰길, “시스템이 비즈니스 전체의 계속 갱신되는 모델을 유지하고, 이전에는 정보가 경영 계층을 타고 사람들을 통해 오가야 했던 방식으로 일을 조율하는 데 그것을 쓸 수 있게 됐다.”
알리의 “에이전트를 위한 기록 시스템”은 잭이 회사의 “월드 모델(world model)”이라 부르는 것과 비슷하다. 조직의 운영, 결정, 역량, 우선순위의 계속 갱신되는 표현이다. 회사 가장자리의 사람들이 모델을 현실에 접지시키고, 모델은 행동에 필요한 공유 맥락을 공급한다. “사람들은 모델이 아직 못 가는 곳에 손을 뻗는다”고 도시가 설명한다. “모델이 지각할 수 없는 것들을 감지한다. 직관, 방향에 대한 확고한 소신, 문화적 맥락, 신뢰의 역학, 그 방안의 공기. 모델이 스스로 내리면 안 되는 판단을 내린다. 특히 윤리적 결정, 처음 겪는 상황, 틀리는 비용이 존재적인 순간들.” 그 결과는 회사가 이를 조율하는 데 더 적은 경영 계층을 필요로 하고, 더 분산되는 동시에 리더에게 일에 대한 더 큰 가시성을 주는 회사다.
Databricks는 이미 Block의 기반이 되는 인프라 일부를 제공한다. Square, Cash App, TIDAL에 걸친 페타바이트의 Block 데이터를 관리하고 거버넌스하며, Block은 Databricks를 써서 AI 코딩 어시스턴트 goose를 회사 맥락에 접지시켰다.
도시에게 이 새 아키텍처의 경쟁적 논거는 속도다. “회사가 빨리도 느리게도 움직이는 건 정보 흐름에 달렸다”고 그가 주장한다. “계층과 중간 관리는 정보 흐름을 방해한다.”
알리는 방향적으로는 도시에 동의하지만 한 가지 구별을 둔다. “철학적으로는 잭 도시에게 동의한다”고 그가 말한다. “질문은 그것이 인간 조직도에도 적용되느냐다.” 사람들은 두 가지를 섞는다고 그는 논한다. 조직도와 정보가 회사를 통과하는 방식을. “10년, 20년 전에는 이 둘이 같은 것이었다.” 무슨 일이 일어나는지 배우는 유일한 방법은 사람들에게 물었고, 그들이 자기들 사람들에게 물었고, 나무를 오르내리는 것이었다. 하지만 이제 그건 아니 됐다. “Genie는 회의에서 내가 가진 어떤 질문이든 거의 답해준다”고 그가 덧붙인다. 회사는 여전히 매니저가 필요하다. 단, 정보 라우터로서의 매니저는 더 적어진다. 사람을 키우고, 팀이 무엇이 중요한지 정하도록 돕고, 누군가 불행해졌음을 알아차리는 것은 여전히 인간의 주의가 필요하다.
그래서 둘은 얼마나 많은 계층이 사라질지로는 의견이 갈리지만, 둘 다 AI가 20세기 회사에서 매니저에게 막대한 권력을 줬던 정보 라우팅 일을 넘겨받는다고 본다. 회사들이 그들이 없이는 운영하기 너무 복잡해지면서 그런 권력이 생겼던 것이다.
The Second Managerial Revolution
85년 전, 대공황 직후에 제임스 버넘은 『경영자 혁명(The Managerial Revolution)』이라는 책을 썼다. 기업이 일하는 방식의, 심지어 자본주의 자체가 일하는 방식의 큰 변화를 예견한 책이었다. 대공황에서 나오며 당시 유행하던 태도 중 하나는 기업가적 자본주의가 경제적 흐름으로서 다 썼고 어떤 새 시스템이 반드시 그것을 대체할 것이라는 것이었다. 사회주의적 집단체가 당대의 유행하는 제안 중 하나였고, 국유화가 또 하나였다.
버넘은 무슨 일이 일어나고 있는지 이해했다. 그는 단순히 기업 구조가 아니라 완전히 새로운 종류의 사회 질서인 “경영자 사회(managerial society)”라는 세 번째 종류의 것을 명료하게 말했다. 이 시스템에서 결정적인 지배 계급은 전통적 자본가 소유주도, 노동자도 아닌, 대기업과 국가를 운영하는 전문 경영자, 기획자, 관료, 임원이 된다는 것이었다.
현대의 제도들은 개별 자본가가 직접 지휘하기에 기술적으로 너무 복잡하다고 그는 믿었다. 십만 명 직원을 둔 회사 안에서 일어나는 모든 일을 어떤 CEO도 알 수 없으니, 통제는 서서히 소유주와 도메인 전문가로부터 행정가로 이동할 것이라는 것이다.
20세기 후반, 매니저얼리즘(Managerialism)은 거의 완전한 승리를 거뒀다. “포춘 500 기업의 대부분 임원은 그 회사가 하는 일의 도메인 전문가가 아니다. 당연히 그 회사들의 창업자도 아니다”라고 마크 앤드리슨이 논평한다. “그들은 전문 경영자다. 그리고 실제로 경력 동안 아마 여러 종류의 사업을 관리하게 된다. 잠시 헬스케어에서 일하다가, 금융서비스로, 그리고 다른 걸로 옮긴다.”
하지만 그 승리가 스스로를 소진하고 있다. 버넘의 경영자 계급의 확장성과 전문적 신뢰성은 속도와 적응력, 특히 기술 변화에 직면했을 때의 적응력을 희생한 대가로 얻어졌다.
아마도, 마크가 시사하듯, Databricks 같은 엄격한 기반 위에 에이전트를 적용하는 것이 두 세계의 장점을 다 줄 수 있는 세 번째 모델을 만든다. 창업자의 활력과 적응력을 지키면서 확장에 필요한 경영 작업을 리팩토링하는 것이다. 경영 계층을 필요하게 만들었던 정보 라우팅과 조율 작업 중 일부를 에이전트가 자동화하면 더 많은 창업자에게 이 운영 방식이 손에 닿게 되고, 회사의 기록 시스템이 가장자리의 사람들에게 행동할 맥락과 권한을 준다.
일론 머스크는 마크의 아이디어를 한 걸음 더 나아간다. 올해 초 그는 “인간이 루프에 있는(humans in the loop)” 회사는 지는 회사가 될 것이라고 예측했다. AI 시대에 인간을 루프에 유지하는 것은, 그의 논리로는, 일부 셀을 사람이 직접 계산해야 하는 스프레드시트를 쓰는 것과 같아질 것이다.
일론이 최종 목적지에 대해서는 맞을 수 있다. 완전 자율 회사가 얼마나 멀리 있는지 아무도 모르고, 예측은 수년부터 영원히 안 온다까지 분포한다. 하지만 그때까지, 아이러니는 경영자주의의 쇠퇴가 모두가 매니저가 되는 형태로 더 가깝게 보일 수 있다는 것이다. 모두가 직속 부하를 갖는 건 아니다. 하지만 더 많은 사람들이 일을 규정하고, 실행을 위임하고, 결과를 검사하고, 프로세스를 갱신하게 된다. 두 번째 경영자 혁명은 경영의 죽음이라기보다 전문 경영자 계급의 독점의 끝에 가깝다.
소프트웨어 엔지니어들이 오늘 이걸 가장 예리하게 느낀다. 일이 수제로 코드 쓰기에서 코딩 에이전트 팀을 관리하는 것으로 이동하고 있기 때문이다. 엔지니어의 하루가 점점 매니저의 하루처럼 보인다. 문제의 범위를 정하고, 작업으로 쪼개고, 병렬로 일하는 에이전트들에게 위임하고, 돌아오는 풀 리퀘스트를 리뷰한다. 일부는 승인하고 일부는 메모를 붙여 되돌린다. 에이전트가 더 많은 도메인에서 유능해질수록 더 많은 지식노동자가 비슷한 전환을 하게 된다. 모든 단계를 직접 수행하는 것에서 일을 규정하고, 위임하고, 판정하는 것으로. 노보 노디스크의 과학자들과 리비안의 공급망 애널리스트들은 이미 Genie로 에이전트에게 지시해 예전에는 엔지니어나 데이터 과학자 팀이 필요했던 일을 하고 있고, 그 팀들은 가장 전략적인 일에 집중할 수 있게 됐다.
이것은 인간의 생산성과 연봉에 좋은 소식이다. 실행과 판단은 경제적 보완재(complement)이기 때문이다. AI가 정형화된 실행의 비용을 낮추면, 그것을 지휘하는 판단에 대한 수요는 올라간다.
수학자 알프레드 노스 화이트헤드(Alfred North Whitehead)가 백 년 전에 관찰했다: “문명은 생각하지 않고도 수행할 수 있는 중요한 작업의 수를 늘림으로써 진보한다.” 회사도 같은 방식으로 진보한다. 루프 하나씩 더 자율적이 된다. 사람이 에이전틱 루프를 교정할 때마다 그 교정은 다음 실행을 개선해야 한다. 그리고 루프가 유한한 일을 신뢰할 수 있게 해낸다는 게 증명되면, 인간은 그 루프에서 빠져나와 다음 미해결 문제로 간다. 배운 것은 회사의 공유 기록에 남겨두면서.
하지만, 버넘이라면 아마 눈치챘을 일인데, 회사가 주권적(sovereign)으로 남으려면 자기 모델과 가장자리의 사람들이 그것에게 가르치는 모든 것을 소유해야 한다.
The Sovereign Firm
에이전틱 회사에서 훌륭한 사람들은 그 어느 때보다 가치가 높아진다. 하지만 훌륭한 사람들은 오고 간다. 한편 모델은 계속 좋아지고, 모든 경쟁자가 같은 모델을 빌릴 수 있다. 그렇다면 이 새로운 세계에서 회사는 정확히 어떻게 지속 가능한 경쟁 우위를 만드는가?
같은 프런티어 모델을 빌려 신용 결정을 돕는 두 은행을 상상해보라. 첫 번째 은행은 모델에 프롬프트를 보내고, 답을 받고, 최종 결정을 기록한다. 두 번째는 어떤 사실이 그 답을 낳았는지, 인간이 개입했는지, 어떤 결정이 잘 됐고 어떤 게 실패했는지를 기록하고, 그 내내 정책을 조정한다. 1년 뒤 더 좋은 모델이 나왔을 때, 더 좋은 은행을 만든 쪽은 하나뿐이다. 회사에서 AI 모델을 바꿨을 때 새 모델이 당신의 정의, 권한, 평가된 사례, 고객 히스토리, 힘들게 얻은 예외를 물려받는다면, 그것이 지속 가능한 경쟁 우위의 기반이다. 새 AI 모델이 모두와 같은 프롬프트에서 시작한다면, 그것은 아니다.
두 번째 은행이 사람들이 최근 “주권적(sovereign)” 회사라고 부르기 시작한 것이다. 제공자가 가격을 올리거나, 조건을 바꾸거나, 모델을 은퇴시켜도, 회사는 배운 것을 잃지 않고 제공자를 바꿀 수 있다. 모델이 똑똑해지고 회사가 그것에 더 의존할수록, 그 독립성은 더 중요해진다.
최근 에세이에서 마이크로소프트 CEO 사티아 나델라(Satya Nadella)는 다른 이유로 비슷한 결론에 도달했다. AI 모델은 인간과 조직의 전문성을 계속 흡수해 상품화한다. 그래서 “모든 회사는 내가 인간 자본(human capital)과 토큰 자본(token capital)이라 부르는 것을 만들어야 한다.” 인간 자본은 회사 사람들의 지식, 판단, 관계, 독창성이고, 토큰 자본은 회사가 만들고 소유하는 AI 역량이다. 둘은 학습 루프에서 복리로 쌓이고, “이 루프가 회사의 새로운 IP가 된다.”
데이터는 토큰 자본의 기반이다. “모든 회사의 비즈니스 데이터는 그들의 금광이다”고 엔비디아 CEO 젠슨 황(Jensen Huang)이 Databricks의 2024 Data + AI Summit 청중에게 말했다. 엔비디아의 거의 모든 프로세스가 칩 설계부터 공급망까지 데이터 플라이휠에서 시작된다는 설명과 함께. “그것이 우리를 세계에서 가장 큰, 소규모 회사 중 하나로 만들어주고 있다”고 그가 말했다. 당시 엔비디아는 직원 3만 명으로 3조 달러 이상의 가치 평가를 받고 있었다. “그 이유는 물론 회사에 우리를 돕는, 놀라운 일을 하는 AI가 너무나 많기 때문이다.” 젠슨은 이것이 모든 회사에 적용될 거라고 믿는다. “아주 특별한 시간이다. 그리고 그것은 데이터에서 시작한다.”
Databricks는 데이터와 그 위에 쌓는 루프가 회사가 통제하는 시스템에 살아야 한다고 걸고 있다. Databricks 자체의 특화 모델들, 수년간 엔터프라이즈 워크로드에 맞춰 최적화해온 것들조차 포함해서. 중요한 것은 데이터만이 아니라 루프인데, 이것이 2023년부터, 모든 사람에게 명백해지기 전부터 그들이 집중해온 지점이다. 소유만으로는 해자(moat)가 아니다. 하지만 회사의 기억이 어느 벤더의 스택에 갇히는 것을 막아준다. 해자는 데이터와 그 위에서 추론하는 AI가 경쟁자보다 빠르게 회사의 결정과 제품을 개선하게 도울 때만 생겨난다.
Databricks는 이 근육을 일찍부터 길렀다. Spark는 오픈소스였다. 고객은 다운로드해서 직접 돌릴 수 있었다. 하지만 결국 창업자들은 고객이 Spark를 더 쉽게, 더 빠르게, 더 안전하게, 엔터프라이즈에 더 유용하게 돌리게 해주면 Databricks에 돈을 낼 것임을 배웠다. 살아남으려면 무료 대안이 따라잡기 전에 고객에게 더 빨리 가치를 만들어야 했다. 에이전트가 대안을 찾고 갈아타는 비용을 낮추면서, 더 많은 회사가 비슷한 시험에 직면하게 될 것이다.
The Best Idea You’ll Ever Have
10년쯤 전, 알리가 나에게 조언을 구하려고 전화를 했다. 세계에서 가장 큰 회사 중 하나가 Databricks의 직전 투자 라운드 밸류에이션의 약 6배로 사겠다고 제안한 것이다.
2년 전만 해도 회사가 거의 죽을 뻔했고 Series C 리드를 못 찾던 상황을 생각하면 꿈 같은 제안이었다. 우리는 2013년에 Series A를 리드했다. 그 회사가 버클리 학자 일곱 명이고 유일한 반복 매출이 자기 컨퍼런스 티켓 판매였을 때 말이다. 그리고 NEA와 함께 아무도 리드하지 않으려던 Series C에 나섰다.
알리는 그 대화를 내가 기억하는 것보다 더 잘 기억한다:
“야, 네가 뭘 하든 상관없어. 뭐든 지원할게. 사실 네가 이 숫자에 팔면 나한테도 정말 좋은 일이야. a16z에서 돈을 많이 벌고, 투자자들에게 몇 배로 갚을 수 있어. 솔직히 나 개인적으로는 아마 그게 더 나은 선택이지. 근데 나는 그때를 떠올려봤어. 내가 Loudcloud와 Opsware의 CEO였는데, 그 회사에서 내게 주어진 패는 네가 지금 가진 회사가 아니었어. 그리고 돌아보면, 인생에서 Loudcloud나 Opsware 같은 회사를 가질 기회가 얼마나 자주 오겠어. 하물며 Databricks 같은 건. 시장이 그렇게나 큰데. 팔아서 돈을 많이 벌 수 있고, 인생에서 엄청 성공할 거야. 근데 네가 나 같으면, 인생 내내 돌아보면서 생각할 거야. ‘나는 그 한 번의 기회를 놓쳤다. 그게 그 일이었고, 끝까지 밀어붙였어야 했다. 이제 내가 얼마나 멀리 갈 수 있었는지 영영 모르겠다.’ 그래서 그걸 안고 사느냐, 그냥 돈을 갖느냐야. 뭘 하든 지원할게.”
알리는 고맙다고 하고 전화를 끊었다. 그리고 스스로에게 말했다: “우리는 절대 이러지 않는다. 안 된다.”
이렇게 좋은 시장 기회를 이렇게 좋은 기업가와 함께 갖는 일은 없다. 가장 희귀한 희귀한 일이다. 우리는 훌륭한 기업가를 보지만 그들의 시장 기회가 제한적이고, 훌륭한 시장 기회를 가진 회사를 보지만 기업가가 그 기회를 채우기에 충분히 크지 않은 걸 본다. 하지만 이건 둘 다 갖춘 경우였다.
지난달 Databricks는 연 매출 70억 달러, 전년 대비 80% 성장을 넘겼고 1,900억 달러로 가치 평가를 받았다. 기업가는, 밝혀졌듯, 충분히 컸다.
그리고 TAM은 회사 자체의 기반이다. 무엇이 참인지, 데이터가 무슨 뜻인지, 누가 무엇을 할 수 있는지, 무엇이 효과가 있었는지를 정의하는 공유 기록 시스템. 그 기반이 자리 잡으면 사람과 에이전트는 모든 결정을 경영 계층을 타고 보낼 필요 없이 자율적으로 움직일 수 있고, 그 행동의 결과는 회사가 소유한 기록으로 흘러 들어온다.
조율 비용은 떨어지고, 회사는 가진 사람으로 더 많은 걸 해내고, 예전에는 말이 안 됐던 회사들이 만들어질 것이다. 십 명이 예전에 수천 명이 필요했던 일을 할 수 있기 때문이다. 그리고 AI가 훌륭한 사람이 할 수 있는 모든 것을 해낼 수 있게 되기 전까지, 아직 멀었지만, 이것은 훌륭한 사람들을 덜 가치있게 만드는 게 아니라 더 가치있게 만든다.
다른 누군가가 설계한 절차를 수행하는 사람은 줄어든다. 에이전트가 이미 풀어놓은 일을 맡기 때문이다. 더 많은 사람은 아무도 아직 풀지 못한 문제에서 일한다. 무엇이 좋은지 판정하고, 무엇이 바뀌었는지 알아차리고, 다음에 무엇이 존재해야 하는지 정하는 일.
앞으로 수십 년 동안 사람들은 회사에서 하루 종일 뭘 할까? 정직한 답은 이렇다. 아직 풀리지 않은 것. 에이전트와 회사가 우리가 이미 하는 법을 아는 일을 더 많이 자동화할수록, 사람들은 이 새로운 지능과 함께 놀라운 새 것을 만들고, 이전에는 손이 닿지 않던 문제를 푼다.