DruckFin

마이크로소프트 나델라, "스케일링만으로는 얼라인먼트 저절로 안 돼"… 제로트러스트 격리와 라이선스 가중치 MAI 모델 강조

20VC의 해리 스테빙스(Harry Stebbings) 진행 인터뷰, 2026년 10월 26일 공개

얼라인먼트에 대한 시각 변화와 이를 기반으로 한 보안 태세

사티아 나델라(Satya Nadella) 마이크로소프트 CEO가 해리 스테빙스 인터뷰에서 밝힌 가장 중대한 폭로는 스케일링(scaling) 테제의 핵심 가정에 대한 시각 변화를 인정한 대목이다. 나델라는 "다리오(Dario), 일리아(Ilya), 샘(Sam), 그레이스(Greg), 일론(Elon) 등이 모두 한 가족 같았던" 2018년과 2019년 당시 자신도 스케일링 법칙을 일찍이 믿었던 사람이라고 회고했다. 그의 수정된 입장은 "예전에는 얼라인먼트(alignment, 가치 일치)가 그냥 저절로 될 것이라고 항상 생각했다. 하지만 더 이상 그렇게 믿지 않는다"는 것이다. 그는 스케일링 법칙은 여전히 작동하고 모델들의 역량도 계속 강화되고 있지만, 얼라인먼트가 규모의 경제에서 자연스럽게 도출되는 것으로 보이지 않으며 모델에 대한 기계론적 이해 역시 "여전히 난해하다"고 설명했다.

나델라 CEO는 얼라인먼트가 학습 과정, 잠정적으로는 사전 학습(pre-training) 단계에서부터 내재화되어야 하며 나중에 덧붙일 수 없다고 주장했다. "RL(강화학습)을 거친다고 해서 얼라인먼트에 도달할 수 있다고 생각하지 않는다. 태초부터 가중치(weights)에 진정으로 얼라인먼트가 내재되도록 만들어야 한다." 이는 업계를 선도하는 폐쇄형 모델(closed-model) 개발사에 대규모 투자를 단행한 기업의 수장으로서는 뼈 있는 발언이며, AI 연구소들이 수행하는 사후 학습(post-training) 기반의 안전성 작업만으로는 불충분할 수 있음을 시사한다.

그의 실질적인 대응책은 AI 안전성(safety)과 보안(security)을 분리하는 것이다. 마이크로소프트의 입장은 고객들이 "모델이 침해당했다고 가정해야 한다"는 것으로, 그는 인터뷰 약 10일 전에 기고한 글에서도 이 테제를 펼친 바 있다. 아울러 엔지니어링된 제로 트러스트(zero-trust) 환경 내에서 에이전트들을 격리해야 한다고 강조했다. 그는 모든 에이전트에 신원(identity)을 부여하고 도구 호출(tool call), 모든 모델 호출, 그리고 사고의 연쇄(chain of thought)를 포함한 활동을 기록하는 마이크로소프트의 두 제품, 에이전트 365(Agent 365)와 퍼셉션(Perception)을 언급했다. 이 로그들은 에이전트가 자신의 기록을 임의로 수정할 수 없도록 변조 방지(tamper-proof) 처리가 되어야 한다. 그 위에 정책이 설정되고 에이전트의 행동이 정책에 따라 모니터링되며, 다수의 모델을 활용해 출력을 교차 검증한다. 나델라 CEO는 해결되지 않은 안전성 문제 때문에 보안 영역에서 아무것도 할 수 없다는 통념에 반박했다. "사람들은 격리를 위한 엔지니어링된 보안 제로 트러스트 아키텍처 시스템과 AI 안전성을 혼동하고 있다"는 것이다. 그의 스탠스는 "존재하는 그대로의 상황에 대처"하며 정책 설정과 편차 모니터링에 "초강경"으로 임하겠다는 것이다.

폐쇄형 모델 업계에 압박을 가하는 사고의 연쇄(Chain-of-Thought) 투명성 문제

나델라는 그가 설명한 아키텍처의 근간이 되는 사고의 연쇄(CoT, Chain-of-Thought) 모니터링의 신뢰성에 대해서도 가감 없이 말했다. 신뢰도가 어느 정도 되냐는 질문에 그는 "신뢰할 수 없다"고 단답했다. 사고의 연쇄는 충실하지 않을(unfaithful) 수 있으며, 모델 개발사가 이를 인지하고도 오히려 감추는 방식으로 대응할 때 문제는 더욱 악화된다고 지적했다. 그는 추적 과정(reasoning traces)이 난해한 내부 언어가 아니라 영어로 작성되어야 하며, 신뢰할 수 있는 파트너들이 검사하고 감시할 수 있도록 있는 그대로 제공되어야 한다고 요구했다.

그는 이를 폐쇄형 모델 제공업체들을 향한 상업적 경고이자 오픈 웨이트(open-weights) 진영에는 잠재적 호재로 규정했다. "폐쇄형 웨이트 모델이 더 강력하지만, 특히 신뢰할 수 있는 파트너들이 이를 사용하는 상황에서 투명성을 높여야 할 필요성을 인식하지 못한다면 문제가 생길 수 있다." 나델라가 특정 벤더를 지목하지는 않았지만, 마이크로소프트의 자체 파트너들에게 던지는 메시지는 명확했다.

'라이선스 가중치'이자 네트워크 효과보다 소프트웨어 비즈니스인 MAI

마이크로소프트의 자체 모델에 대해 나델라는 지향하는 비즈니스 모델을 명확하게 설명했다. MAI 모델은 오픈 웨이트 방식이 아니지만, 그는 이를 '라이선스 가중치(licensed weights)' 모델이라고 부르는 것을 선호한다. 그는 "이것을 네트워크 효과에 기반한 지능 비즈니스가 아니라, 그저 단순하고 직관적인 소프트웨어 비즈니스로 전환하고 싶다"고 말했다. 고객에게 제공되는 모델의 가치는 그 모델을 사용하고 제어할 수 있는 역량에 좌우될 것이며, 이는 기업들이 각자의 지능을 자체 보유해야 한다는 그의 거시적 주장과 맥을 같이 한다.

그는 고객 사례도 하나 소개했다. 유니레버(Unilever)는 오더투캐시(order-to-cash) 및 무역 클레임 자동화를 위해 에이전틱 시스템을 구축했다. 처음에는 프론티어 모델로 시작했으나 이후 무역 클레임 워크로드를 MAI 모델로 전환했다. 나델라에 따르면 MAI 모델은 비용이 더 저렴할 뿐만 아니라, 유니레버가 자사 고유의 트레이스(trace)를 활용해 학습할 수 있기 때문에 기업이 직접 제어할 수 있다. 마이크로소프트는 프로젝트 초기 전진 배치된 엔지니어들을 지원했지만, 현재는 유니레버의 IT 팀이 시스템을 직접 관리하고 있다.

오픈 대 폐쇄: 상품화된 토큰이 주를 이루되, 프론티어는 존속

향후 24개월간의 트래픽 전망을 묻는 말에 나델라는 구체적인 수치를 제시하는 대신 프론티어 모델이 어디에 위치하느냐에 달려 있다고 답했다. 그의 시각에 따르면 특정 문제에 있어서 모델의 성능은 포화 상태에 이르며, 이 시점이 되면 (특히 기업이 자체 트레이스로 학습할 수 있는 경우) 오픈 웨이트 모델이나 더 저렴한 폐쇄형 모델로도 충분해진다. "문제가 달라지지 않았다면" 굳이 최신 모델을 쓸 필요가 없다는 것이다. 그는 과학 분야 등이 차세대 프론티어를 열어가는 영역으로 남으면서 프론티어 시장은 지속되겠지만, "대다수의 토큰 사용은 범용 상품화된 토큰(commodity token) 사용이 될 것"이라고 내다봤다.

그렇다고 그가 상품화(commodity)를 오픈소스와 동치에 놓은 것은 아니다. "가격 경쟁이 치열해질 것이기 때문에" 오픈 웨이트가 될 수도 있고 "저렴한 폐쇄형 웨이트"가 될 수도 있다고 그는 설명했다. 마이크로소프트의 코파일럿(Copilot) 사용량 역시 저렴한 폐쇄형 모델과 오픈 웨이트 모델을 혼용하고 있음을 강조했다. 또한 그는 수많은 서브 에이전트(일부는 로컬 모델)가 병렬로 호출되는 에이전트 스웜(agent swarms)으로의 전환 흐름의 일환으로, GitHub에 공개된 학습 모델인 '히드라 퓨전(Hydra fusion)' 프로젝트를 언급했다.

지정학적 측면에서, 스테빙스는 대다수의 오픈 웨이트 모델이 중국산이라는 점을 지적했다. 나델라는 얼라인먼트가 결여된 모델은 중국을 포함해 모든 국가에 위협이 된다고 답했으며, 엔비디아(Nvidia)의 젠슨 황(Jensen Huang)을 구체적으로 거론하며 서구권의 오픈 웨이트 진전 상황에 만족한다고 밝혔다.

'역(逆) 정보 파라독스'와 기업 IP로서의 프라이빗 평가(eval)

나델라가 펼친 가장 발전된 아이디어는 기업의 미래에 관한 것이었다. 체코슬로바키아 출신의 경제학자 하이에크(Hayek)의 견해를 빌려 암묵지(tacit knowledge)가 경제 전반에 분산되어 있는 이상 단 하나의 기업이나 단 하나의 지능만 존재할 수는 없다고 주장했다. 이어 그는 케네스 애로(Kenneth Arrow)의 정보 파라독스를 뒤집었다. 전통적으로는 판매자가 비밀을 공개함으로써 가치를 누출할 위험을 안고 있었다. 하지만 이제는 반대로 구매자가 노출되어 있다고 그는 말했다. 모델을 사용하는 과정에서 발생하는 배기 가스 같은 부산물, 즉 엄지척(thumbs-up) 및 엄지아래(thumbs-down) 신호조차도 고객이 아니라 모델 개발사에 가치를 창출해주기 때문이다. "이 구조가 안정화되려면 지능 사용으로 창출되는 잉여 가치의 더 많은 부분이 기업 내부에 남아 있어야 한다."

이러한 가치 유지가 반드시 가중치(weights)를 통해서만 이루어질 필요는 없다. 컨텍스트(context)나 평가(evals)를 통해 이루어질 수도 있다. 나델라는 모든 기업이 고유의 지식재산(IP)으로서 프라이빗 평가 벤치마크를 갖추고, 모델들이 그 위에서 성능을 끌어올리는(hill climb) 구조에 대해 "매우 열성적(very gung-ho)"이라고 밝혔다. 그는 미래에 기업이 곧 "AI 벤치마크"로 정의될 수 있으며, 지금은 낯설어 보이지만 5년 안에 당연하게 받아들여질 현상이라고 지목했다. 스테빙스는 현재 이러한 방식이 하비(Harvey)나 레고라(Legora) 같은 극소수의 엘리트 기업들에만 적용된다고 짚었다. 나델라는 이를 1980년대 후반의 PC 기반 예측이나 초기 클라우드 도입에 비유했다. 그는 5년 이내에 'AI 네이티브'라는 표현이 진부해질 것이며, 500년 역사의 로이드(Lloyd's)조차도 이제는 클라우드 네이티브 기업이 되었다고 덧붙였다.

구현 경제와 산업 구조

나델라는 AI 서비스 레이어가 고전적인 경영 컨설팅, 시스템 통합(SI), 기술 지원 그 어디에도 속하지 않는 새로운 하이브리드 형태라고 진단했다. 이는 비즈니스 문제, 평가(eval), 에이전틱 아키텍처에서 출발하며, 그는 전통적인 시스템 통합 업체들도 이 모델로 진화할 것으로 내다봤다.

산업이 풀스택(full-stack) 플레이어들 중심으로 통합될 것인지 묻는 질문에 그는 현실은 정반대 방향으로 가고 있다고 답했다. 한때 그는 실리콘에서 앱에 이르는 단일의 수직계열화된 스택이 등장할 것으로 생각했으나, "매일 아침 눈을 떠보면 스택의 모든 레이어에서 경쟁이 더욱 치열해지고 있다"고 말했다. 그는 "여러 레이어 각각에 다수의 승전국이 존재하는 수평적 특화(horizontal specialization)"와 작업에 가장 적합한 모델로 라우팅해주는 라우터를 포함해 이들 간의 조합(composition)이 가능해지기를 바란다고 밝혔다. 다만 지배적인 디자인(dominant designs)이 여전히 판도를 바꿀 수 있다는 단서를 달았다.

연산력, 전력, 그리고 GDP의 문제

무스타파 술레이만(Mustafa Suleyman)이 언급한 1,000억 달러 규모의 학습 런(training runs) 전망에 대해, 나델라는 이를 R&D 예산과 거시경제 성장 관점에서 재정의했다. 학습 런은 "R&D의 일부분"에 불과하며, R&D 집약적 기업들의 경우 매출의 약 15%에서 20%에 해당한다. 따라서 감당 가능 여부는 매출에 달려 있고, 매출은 다시 AI가 세계 경제를 확장하는 데에 달려 있다. 그는 전력과 실리콘의 부족 현상을 인정하면서 이들은 리드타임이 긴 품목들이라고 지적했다. 수요와 공급이 언제 균형을 이룰지는 "아무도 모르는 일"이며 이에 대해 추측하는 이들은 그저 추측에 불과하다고 덧붙였다. 그에게 있어 더 큰 변수는 오랫동안 2%대에 머물러 온 세계 GDP 성장률이다.

그는 AI가 헬스케어와 소프트웨어를 선두로 하여 GDP를 끌어올릴 수 있기를 바라고 또 그렇게 믿는다고 밝혔다. 영국의 국민보건서비스(NHS)에 코파일럿을 도입한 사례를 들며, 더 나은 치료 결과와 비용 절감이 곧 정의상 GDP를 상승시키는 것이라고 설명했다. 소프트웨어 개발에 대한 수요는 고도로 탄력적임이 입증되었다며, "IT 백로그(적체량)가 엄청났고 우리 중 누구도 그것을 제대로 인지하지 못했다"고 말했다. 빠른 테이프아웃(tape-out)과 인실리코(in-silico) 시뮬레이션을 동반한 실리콘 디자인, 그리고 롤스로이스(Rolls-Royce)의 유지보수 스케줄링 같은 엔지니어링 작업들이 최적화로 성과를 내고 있는 다른 예시들로 꼽혔다.

코딩 분야에서의 생산성 향상이 금융, 영업, 마케팅 분야로 전이될 것인지에 대해 나델라는 더 신중한 태도를 취했다. 코딩은 사전 학습된 모델 위에 명확한 보상 신호를 통한 RL(강화학습)을 적용해 혜택을 볼 수 있었지만, "지식 노동 분야에서 과연 이를 동일하게 싹트게 할 수 있을지는 훨씬 더 어려워 보인다"고 진단했다. 다만 고객 센터, 공급망, 현금주문관리(cash-to-order) 등에서는 가능성이 입증되고 있다고 덧붙였다. 그는 과학과 엔지니어링 분야 역시 코딩만큼이나 탄력적인 모습을 증명할 수 있을 것이라고 시사했다.

이번 인터뷰에는 재무적 가이드라인이나 신제품 출시 일정은 포함되지 않았으며, 전력 및 트래픽 믹스 등 일부 답변은 전적으로 추측성이었다. 본질은 전략적 프레이밍에 있다. 스케일링이 얼라인먼트 문제를 해결해 준다는 믿음을 버렸고, 폐쇄형 모델 파트너들에게 더 큰 투명성을 요구하며, MAI를 통제 가능한 라이선스 가중치 제품으로 포지셔닝하고 있는 마이크로소프트 CEO의 전략적 진심이 그곳에 담겨 있다.