TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
IOSG|AI 의 십자로:왜 월스트리트는 ChatGPT 와 Claude 에게"아니오"라고 말하고 있는가?

IOSG|AI 의 십자로:왜 월스트리트는 ChatGPT 와 Claude 에게"아니오"라고 말하고 있는가?

2026.07.14
공유하기
한 회사 alpha 가 속한 분야에서 전문가가 튜닝한 오픈 모델은 이미 정확도와 비용 측면에서 프런티어 모델을 동시에 능가했으며, 프라이버시 환경에서 이를 위한 인프라를 구축하는 것은 노드 하나하나씩 다가오고 있습니다.

저자: Jeff @IOSG

왜 프라이빗 AI가 필요한가

7월 1일, 팔랜티르(Palantir) 알렉스 카프(Alex Karp) 최고경영자(CEO)는 CNBC 방송에서 일부 매체가 ‘정신적 붕괴’라고 표현한 20분 간 인터뷰를 진행했다. 카프의 주장에 따르면, 기업들은 최신(Frontier) 연구소에 토큰 프리미엄을 지급하는 동시에 자사의 IP(지적재산권)가 모델 개발사로 유출되는 것을 지켜보고 있다. 그는 이러한 유출을 알파(Alpha)의 이전으로 부르며, 이 이전이 아키텍처 레이어에서 발생한다고 지적했다. 클로즈드소스 모델로 향하는 모든 요청은 평문(Cleartext) 형태로 서비스 제공자의 서버에 도달한다. 해당 프로그램 방영 며칠 전, 팔랜티르는 고객 관리 환경에서 오픈 소스 네모트론(Nemotron) 모델을 구동한다는 내용과 함께 NVIDIA와의 협력 및 AI 주권에 관한 9개 조항 선언문을 발표했다. CNBC 방송 이후 PLTR 주가는 8% 급등했다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

지난 20년 동안 기업들은 프로토콜 수준의 신뢰를 바탕으로 클라우드 소프트웨어를 도입했으며, 이는 효과적으로 작동해 왔다. 각 SaaS 벤더는 기업의 데이터 조각しか 볼 수 없으며, 대부분 고객 데이터를 핵심 제품에 재투자할 동기가 없었다. 세일즈포스(Salesforce)는 영업 채널을, 워크데이(Workday)는 인사 기능을, 지라(Jira)는 개발 반복 작업을 보고, AWS는 저장 및 연산 인프라를 제공한다. 그러나 오늘날의 AI 워크플로우는 생산성 극대화를 위해 모든 자산과 부서를 연결하는 구조화된 컨텍스트를 한 번에 업로드할 것을 요구한다. 선의적인 목적을 제쳐둔다면, 상류 서비스 제공자들은 이제 이러한 데이터를 활용해 새로운 기능을 구축할 수 있으며, 단순히 서버에 방치하지 않아도 된다.

속도를 늦추는 곳은 없다. 앤스로피크(Anthropic)의 연간 기준 수익은 5월 기준 470억 달러에 달해 2025년 말 90억 달러에서 크게 도약했으며, 오픈AI(OpenAI)는 2월 기준 주간 활성 사용자(UAU) 9억 명을 돌파했다. 양사는 올해 봄에 신轮融资를 완료하며 평가액이 1조 달러에 가까워졌고, 더 높은 시가로 IPO할 것으로 예상된다. 수년간 이어진 개인정보 및 IP 관련 비난에도 불구하고 양사의 성장 세스는 단 하나도 손실되지 않았다.

이미 일선 기업들은 행동을 취하기 시작했다. 2023년 2월, ChatGPT 출시 3개월도 채 안 되어 월스트리트 주요 은행들은 그 사용을 제한했다. 2023년 5월, 삼성전자 엔지니어가 칩 소스코드를 ChatGPT에 누출시킨 후, 회사는 전체 네트워크에서 생성형 AI 사용을 전면 차단했다. 이에 대응해 오픈AI는 같은 해 8월 ChatGPT Enterprise를 출시하며 상업적 데이터 훈련 금지와 영구 데이터 미보관(ZDR, zero-data-retention) 협정을 약속했고, 이 ZDR 방식은 이후 기업 구매의 표준 요구사항이 되었다.

하지만 계약서는 기업 계정을 잠그는 데 그쳤다. IBM의 조사에 따르면, 2025년까지 섀도 AI(직원이 개인 계정을 통해 승인되지 않은 AI 도구로 기업 데이터를 입력하는 행위)는 전체 데이터 유출 사고의 5분의 1 이상을 차지했으며, 과도한 섀도 AI 사용으로 인해 유출당 평균 비용이 67만 달러씩 증가했다. 안보 교육 기업 애그램(Anagram)의 2025년 조사 결과, 직원 4명 중 1명이 업무 처리 속도를 높이기 위해 AI 사용 정책을 위반할 의향이 있다고 밝혔다.

기업은 최소한 비용을 지불하여 대안을 구매할 수 있다. ZDR 계약, 비교육(Taining-free) 서비스 등급, 그리고 정부 또는 팔랜티르 고객의 경우 주권 배포(Sovereign Deployment)까지. 일반 사용자인 당신과 나에게는 프라이빗 AI의 중요성이 여전히 논쟁거리였으나, 법원 소장이 도착하면서 상황은 달라졌다.

2025년 5월 법원 명령으로 인해 오픈AI는 이미 삭제된 소비자용 채팅 기록까지 보관해야 했으며, 같은 해 11월 판사는 해당 기록 중 2,000만 건을 《뉴욕타임스》 변호인에게 증거 개시 자료로 인계하라고 명령했다. 이어 형사 사건에서는 패리세이즈(Palisades) 산불 방화죄 피고인의 ChatGPT 기록이 증거로 채택되었으며, 플로리다 주 더블 인 살인 사건 고발장에는 피의자가 시신 처리 방법에 대해 질문한 내용이 인용되었다. 샘 알트먼(Sam Altman) 역시 2025년 7월 인터뷰에서 ChatGPT 대화 내용은 법적 특권(Legal Privilege)의 보호를 받지 않으며, 소송 과정에서 오픈AI가 “사용자 채팅 내역을 제출하도록 요구받을 수 있다”고 인정했다.

중요한 점은 범죄자만이 사적인 대화가 필요한 것은 아니라는 것이다. 사용자와 AI 간의 대화는 기록되고 법정 출석을 요구할 수 있다는 사실은, 다수의 사용자가 인지하지 못한 감시 영역이다. 콜모고로프 로우(Kolmogorov Law)가 2025년 10월 미국 AI 사용자 1,000명을 대상으로 실시한 조사에 따르면, 50%가 이러한 대화가 소환될 수 있다는 사실을 모르다고 답했으며, 응답자의 3분의 2는 이러한 대화가 변호사나 의사와 상담할 때와 동일한 보호를 받아야 한다고 판단했다.

온프레미스(Self-hosted) 또는 검증 가능한 환경에서 구동되는 오픈소스 모델이 빠르게 추격 중이나, 최상위 모델들조차 범용 능력 측면에서 프론티어(최신) 클로즈드소스 모델보다 약 4달 뒤처져 있다. 이는 과도한 토큰 활용(Token-maxxing)을 추구하는 기업과 개인을 갈림길에 서게 한다. 해당 프라이버시를 위해 몇 달치의 모델 성능 차이를 감수하거나, 경쟁사가 생산성 우위를 점하기 위해 민감 자료를 앤스로피크 서버에 전달하는 방식을 계속 따른다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

현재 시장에는 완벽한 솔루션이 존재하지 않으며, 본 보고서는 격차 해소를 위한 각계의 시도를 정리하고 검증 가능한 프라이버시 하의 프론티어 AI가 기업과 일반 사용자에게 완벽히 전달되기까지 남은 거리를 조명한다.

현재 프라이버시는 어떻게 구현되는가

프라이버시 AI는 단일 공학 분야가 아니지만, 현재 시장에 존재하는 모든 메커니즘은 동일한 이벤트를 처리한다. 즉, 프롬프트가 사용자의 디바이스를 떠나 네트워크를 통과해 모델을 구동하는 머신에 도달하고, 다시 응답이 반환되는 과정이다. 각 메커니즘의 차이는 평문이 이 경로상의 어디에 위치하는지, 누가 그것을 읽을 수 있는지, 그리고 응답의 비밀성을 어떤 방식으로 검증할 것인지에 달려 있다.

프로토콜 레벨의 프라이버시

이 수준에서는 자신 외의 타인이 평문 프롬프트를 읽을 수 있으며, 그 이후의 과정은 오로지 한 줄의 약속(계약/이행 보장)에 기대야 한다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

  • 계약 기반 영구 미보관(Zero-retention)은 기업용 솔루션이다. 서비스 제공자는 사용자 신원을 인지하고 프롬프트를 처리한 뒤 유보하지 않약을 보장하며, 이는 계약과 평판 체계로 이행된다.
  • 익명 프록시(Anonymous Proxy)는 사용자 신원을 제거하지만 전송 내용은 암호화하지 않아, 다운스트림 서비스 제공자는 자체 정책대로 평문을 처리한다. 약관은 업체마다 상이하다. 예를 들어 Duck.ai(DuckDuckGo의 챗봇 제품)는 이와 같은 프록시가 모델 개발사와 삭제 협정을 맺지만, Venice는 사용자로 하여금 서비스 제공자가 모든 데이터를 저장할 것이라고 가정하게 만든다. 양측 모두 검증이 불가능하다.

이것이 클로즈드소스 모델 접근 시 얻을 수 있는 프라이버시의 상한선이며, 그 배경에는 분명한 산술 논리가 자리 잡고 있다. 최신 플래그십급 모델의 학습 비용은 수십억 달러 규모이며, 최근 조 단위 평가를 받는 이러한 연구소의 가치 역시 모델 가중치(Weight) 독점성에 기반한다. 모델 성능 차이가 유지되는 한 프리미엄은 지속되므로, 연구소들은 가중치 파일을 국가 기밀처럼 관리한다. 메타(Meta)는 이미 수동적으로 이러한 실험을 겪었다. 2023년 2월 공개된 LLaMA는 초기에 연구자용으로만 제한되었으나, 일주일도 채 지나지 않아 가중치가 시드 형태를 띠고 4chan에 유출되었다. 또다시 일주일이 지난 후 llama.cpp는 가장 작은 7B 파라미터 모델을 맥북(MacBook) 환경에서 로컬로 구동시켰고, 3일 뒤 스탠퍼드 대학은 동일한 모델에 600달러 미만으로 파이프라인을 적용해 챗봇 알파카(Alpaca)를 미세 조정했다. 이번 유출로 인해 Llama 실행 비용은 전기요금 수준으로 하락했으며, 파일만 보유하면 누구나 집에서 구동할 수 있게 되었다. 2023년 7월 메타는 월 활성 사용자(MAU) 7억 명 제외 조항이 포함된 상업적 라이선스로 Llama 2를 정식 오픈소스화했다. 가중치가 공개됨으로써 프리미엄 또한 소멸했다. 프론티어 연구소는 이론적으로 클로즈드소스 모델의 추론 과정에 대한 attestaton(원격 증명)을 제공할 수 있지만, attestaton은 단지 어떤 코드 블록이 프롬프트를 참조했는지 입증할 뿐, 해당 코드가 실제로 무엇을 수행했는지 증명하지는 못한다. 서버 측에서 데이터를 임의로 보관하지 않았음을 확인하려면 서빙 코드(Serving Code)를 감사하고 이를 하드웨어가 보고한 특정 해시값으로 재구성해야 한다. 하지만 서빙 코드를 공개하게 되면, 연구소는 마진을 뒷받침하는 배치 처리 및 캐싱 기법을 함께 노출하게 되며, 이 기법들은 미래 세대 모델 전반으로 확산될 수 있다. 애플(Apple)과 메타가 아이폰과 왓츠앱 내부 서비스 스택에 대한 원격 증명(Remote Attestation)을 제공할 수 있는 이유는 그들의 수익원이 장비 판매와 광고에 있으므로, 서빙 코드 공개에 따르는 기회비용이 거의 들지 않기 때문이다.

따라서 플래그십 모델의 가중치와 서빙 코드가 외부 운영자에게 전달될 수 없는 이유이다. 외부 운영자가 없으면 제삼자 attestaton도 없으며, attestaton이 불가하므로 검증 가능한 프라이버시는 오직 오픈소스 모델에서만 구현될 수 있다.

구조적 수준의 프라이버시

이 범주의 모든 메커니즘은 신뢰 기반 약속을 하드웨어, 암호학 또는 물리적 검증 기반으로 대체한다. 다만 프라이버시 강화를 위해 각기 다른 대가를 치러야 하며, 그중 가장 큰 제약은 오직 오픈소스 모델에서만 동작한다는 점이다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

  • TEE(신뢰 실행 환경) 기반의 기밀 컴퓨팅은 추론 작업을 하드웨어 엔클레이브(운영자조차 접근 불가한 칩 내 밀폐 공간) 내에서 수행하며, 칩은 구체적으로 어떤 모델과 코드 버전이 실행되었는지 명시한 attestaton에 서명한다.
  • 프롬프트는 최종 목적지에 이르러야만 암호화된다. 플랫폼 프록시를 거치는 경로상에 여전히 평문을 열람할 수 있는 역할이 존재하며, 프록시가 내용을 기록하거나 유출하는 것을 방지하는 것은 오직 프로토콜뿐이다.
  • E2EE(종단간 암호화)는 평문을 읽을 수 있는 중계 노드를 완전히 봉쇄한다. 사용자 기기는 엔클레이브 키로 프롬프트를 암호화하며, 전송 경로의 모든 홉(Hop)은 오직 엔클레이브만 해제할 수 있는 밀봉된 상태 그대로 이동한다.
  • 신뢰는 클라이언트 측에 집중된다. 프롬프트 암호화 및 attestaton 검증을 담당하는 코드는 동일하게 이 보장을 무효화할 능력을 가진다. 따라서 검증 가능한 E2EE는 검증 통과한 엔클레이브뿐만 아니라 공개되고 재현 가능한 클라이언트 코드도 필수적이다.
  • TEE에 비해 상대적으로 단순한 E2EE는 엔지니어링 부담으로 인한 비용을 발생시키며, 이는 기능 통합 속도를 저하시킨다. E2EE는 프록시를 맹목적인 전달자(Blind Messenger)로 격하시키므로, 평문 읽기를 전제로 하는 모든 기능은 클라이언트 키를 기준으로 재구성하거나 오직 엔클레이브 내부에서만 구현되어야 한다.
  • FHE(전체 동형 암호) 및 MPC 변체는 아upi 신뢰할 수 있는 당사자를 배제한다. 서버는 절대 열 수 없는 잠긴 상자 상태에서 암호화된 데이터를 연산하며, 키는 오직 사용자手中에만 있다. MPC(다자간 안전 계산)는 프롬프트를 비밀 분할로 나누어 여러 당사자에게 배포하며, 모든 참여자가 결탁하지 않는 한 동등한 효과를 발휘한다.
  • 대가로 속도가 희생된다. FHE는 본질적으로 덧셈과 곱셈 연산만 지원하므로, Transformer 동작에 필요한 비선형 과정을 극복해야 하며 이는 막대한 계산 비용으로 이어진다. 암호화 상태에서의 추론 비용은 평문의 1만~10만 배에 달하며, 소형 모델이라도 토큰당 처리 시간이 수 초에서 수 분이 소요되는 반면, 비암호화 환경에서는 밀리초 단위로 충분하다.
  • 암호학 최적화 칩 개발은 격차 해소에 기여할 것이나, 첫 번째 프로토타입은 2026년 초에야 데모를 완료했으며, 상용화되기 위해서는 아직 수년이 더 걸릴 전망이다.
  • 로컬 추론은 아예 해당 전송 경로를 완전히 حذف한다. 모델을 독자적인 하드웨어에서 직접 구동하므로 중계 노드나 외부 서버가 필요 없으며, 서비스 제공자 의존도나 외부 검증 절차도 불필요하다.
  • 명확한 대가로 비용과 모델 성능이 희생된다. gpt-oss-120b는 Artificial Analysis 지수상 점수가 GLM-5.2의 절반에 불과하지만 용량이 65GB에 달해 현존하는 플래그십 게임 그래픽카드 두 장의 VRAM 총합을 초과한다. 완전 정밀도(Full Precision) 기반의 GLM-5.2는 8기의 데이터센터 구성에서만 구동 가능하며, GPU 비용만으로도 30만 달러 이상 소요된다.

하지만 이러한 구조적 제약 너머로, 엔클레이브 내 추론 비용은 지속적으로 축소되고 있다. 단일 카드 추론 기준, 엔클레이브 전용 클라우드 벤더 팔라(Phala)의 벤치마크 테스트에 따르면 엔클레이브 모드 H100의 처리량(Throughput) 손실은 평균 7% 미만이며, 대규모 모델에서는 사실상 0%에 근접한다. 이는 연산보다 데이터 칩으로의 이전(I/O) 과정에서 비용이 대부분 소모되기 때문이다. 멀티 카드 추론 환경에서는 엔비디아(NVIDIA) 차세대 GPU 블랙웰(Blackwell)이 칩 간 직통 트래픽에 대한 암호화를 직접 지원하며, 기존 H100은 동일한 결과를 얻기 위해 대역폭의 7분의 1을 CPU 호스트 라우팅에 할애해야 했다. 엔비디아 내부 블랙웰 벤치마크 결과, 397B 파라미터 모델도 엔클레이브 모드에서 8% 미만으로 처리량 손실이 발생했다. 이러한 발전들로 인해 프라이버시 추론 자체의 성능 저하는 이제 결정적 제약 조건이 아니다.

사실 엔클레이브는 운영사에게 추가 실행 비용을 거의 발생시키지 않는다. 2023년 이후 제조된 모든 H100 칩은 기본적으로 엔클레이브 모드를 내장하고 있으며, 추가로 발생하는 비용은 새 하드웨어가 아닌 암호화로 인한 처리량 감소이다. 현재 Azure의 기밀 컴퓨팅 H100 SKU 임대 요금은 시간당 8.90달러이며, 엔클레이브 미적용 시 6.98달러다. 이는 기존 클라우드 인프라 대비 약 27%의 프리미엄을 부과하는 수준이다. 반면 팔라(Phala)와 같이 전문 엔클레이브 서비스를 제공하는 연산사에서 제공하는 기밀 모드 H100은 시간당 3.80달러부터 시작되어 람다(Lambda)의 일반 SXM 카드 가격대(3.99~4.29달러)보다 낮다. 호스팅 API 솔루션 기준, NEAR AI의 attestaton 유효성 검증이 적용된 엔드포인트는 gpt-oss-120b를 토큰 입출력당 각각 0.15달러, 0.55달러의 Tarif으로 제공하며, 평문 전송 기반의 Amazon Bedrock, Together, Groq과 요금 경쟁력이 유사하다. 멀티 칩 병렬 연산이 필요한 모델조차 NEAR AI는 GLM-5.2 가격을 파이어워크스(Fireworks)와 완전히 일치시키며, 보다 대형인 Kimi K2.6 모델의 경우 입력 가격은 15%, 출력 가격은 4% 저렴하다.

새로운 프라이버시 추론 서비스 제공자들이 점유율 확보를 위해 이익을 희생하고 있다는 분석도 가능하나(시장 내 성장志願 기업에게 모두 적용되는 진리임), 구조적 흐름은 명확하다. 프라이버시 관련 비용은 소비자 및 운영사 양측 모두에게 지속적으로 하락 중이다.

오픈소스 모델은 어떻게 승리하는가?

연산 오버헤드가 점차 줄어들고 있으나, 프론티어 모델과 SOTA(State-of-the-Art) 오픈소스 모델 사이에는 여전히 육안으로 식별 가능한 성능 격차가 존재한다. 생산성 극대화를 추구하고 최전선을 유지하려는 조직은 프론티어 연구소가 자사의 IP를 탈취하지 않을 것이라고 여전히 신뢰해야 한다.

격차는 존재하지만, 브리지워터(Bridgewater) 산하 AIA Labs와 썽킹 머신스(Thinking Machines)는 6월 30일 흥미로운 사례를 제시했다. 전문가 레이블링을 기반으로 미세 조정된 개방형 모델이 정확도와 비용 효율성 측면에서 동시에 프론티어 모델을 압도한 것이다.

연구팀은 썽킹 머신스(Thinking Machines)의 호스팅 파이프라인 API 서비스인 틴커(Tinker)를 활용하여 칭윈(Qwen3-235B) 모델을 미세 조정했다. 팀은 우선 외부 벤더로부터 전문 레이블링을 발주해 1차 학습 데이터를 구성한 뒤, 이진 분류 등에서 의견이 갈린 샘플들을 내부 투자 분석가에게 재작업하도록 요청했다. 학습 알고리즘으로는 강화학습(RLHF 대안인) GRPO를 사용했으며, 여기에는 세 가지 커스터마이징이 추가되었다. 순환 배치(Round-Robin Batching)를 통해 과부하를 방지하고, CISPO Loss로 단일 정답이 모델 기울기에 미치는 영향력을 제한하며, 온-폴리시 디스티레이션(On-Policy Distillation)으로 현재 최고의 체크포인트에 고정시켜 성능이 저하된 사본으로의 회귀를 차단했다. 평가 과제는 전적으로 투자자들의 실제 업무 파이프라인에서 추출되었다. 특정 뉴스 헤드라인이 C-Suite級 금융 전문가에게 미치는 영향력 판단, 중앙은행 공시가 향후 금리 변동 신호인지 해석, 문서 또는 이메일의 템플릿 문구가 끝나는 지점 식별 등이 포함된다. 독립 시험집을 통한 평가 결과, 프론티어 모델은 기본 프롬프트 기준 평균 50% 내외의 점수를 기록했으며, 전문가용 프롬프트를 적용해도 78.2%에 머물러 투자팀이 설정한 80% 합격선에 미치지 못했다. 반면 미세 조정된 칭윈(Qwen)은 84.7%의 점수를 획득했다. 원문의 기준에 따르면 이는 프론티어 최상위 모델 대비 오류율을 29.8% 줄이고 추론 비용을 13.8배 절감했다는 의미다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

이 사례는 오픈소스 모델이 정확도와 비용 측면에서 우위를 점할 수 있음을 입증했으나, 학습 과정 자체는 여전히 프라이빗하지 않다. 학습에 활용된 전문가 레이블링 데이터는 브리지워터의 독점 자료로서, 제3자 API 서비스인 틴커를 거치며 ZDR 협정과 동일한 신뢰 기반에 놓인다. 운용사는 또한 연산 리스를 대여했으며, 전체 학습 파이프라인은 운영사의 통제권이 미치지 않는 외부 머신 위에서 진행된다. 해당 학습 전략을 원하면서 신뢰 리스크를 떠안기 싫어하는 기관에게는 현재 대안이 매우 드물다. 베어 메탈 GPU 클러스터를 임대하면 학습 과정이 클라우드 운영사에게 노출되며, 클러스터를 outrightly 구매해 데이터 위탁 문제를 해결하더라도 비용이 기하급수적으로 치솟는다.

attestaton 기반 보안 라인이 막 개설되기 시작했다. 3월, 워크숍 랩스(Workshop Labs)와 틴파일(Tinfoil)은 틴파일 엔클레이브 내에서 단일 8 카드 노드 환경으로 구동되는 후처리 학습 파이프라인(Silo)을 공개했으며, 암호화 키는 오직 고객만 소유한다. 논문상 엔클레이브 오버헤드는 2시간 학습 기준 11분에 불과했으며, 기반(Base) 모델 가중치를 고정하고 소형 어댑터만 학습하는 방식을 채택하여 Kimi K2 Thinking(1조 파라미터)급 대형 모델을 탑재할 수 있었다. 난관은 강화학습(RL) 단계에서 각 구성 요소 간 데이터 왕복 작업이 필수적이라는 점인데, 데이터 이전은 엔클레이브 오버헤드의 핵심 원천이다.

Silo 출시 한 달도 채 되지 않아 워크숍 랩스는 썽킹 머신스에 인수되었으며, 이제 엔클레이브 내에서 브리지워터식 RL 파이프라인을 원활히 구동하기 위한 핵심 레퍼런스 구성 요소들은 동일한 기업 군집으로 통합되었다.

하니스(Harness) 레이어의 프라이버시

모든 프라이빗 추론 메커니즘 외부에 여전히 하나의 난관이 존재한다. 지금까지 소개된 기술들은 프롬프트에서 모델 진입 구간만을 다루고 있으며, 에이전트(Agent)가 유발하는 외부 툴 호출(Action)은 추론 레이어의 보안 범위에서 아예 벗어난 통로를 연다. 최근 주목받는 하니스 엔지니어링 관점에서 볼 때 문제가 더욱 심화되는데, 모델 주변의 모든 툴, 메모리 뱅크(Data Source), 지식 베이스는 평문 상태로 자사 워크플로우 조각을 접하는 최종 목적지로 작동한다. 캘린더 서버는 일정 데이터를, DB 서버는 쿼리문을 평문으로 읽는다. 완전한 온프레미스 환경에 deployed된 에이전트라도 학습 데이터셋을 넘어선 정보가 필요하면 검색어를 평문 형식으로 외부 검색 엔진에 전달해야 하며, 만약 수신 서버가 평문을 읽을 수 없다면 문제 해결이 불가능한 셈이다.

대다수 업계 표준 해법은 여전히 프로토콜 레벨에 기대고 있다. 런레이어(Runlayer), 민트 MCP(MintMCP) 등은 중앙 게이트웨이를 통해 모든 툴 트래픽을 통합 관리하며, 외부 통신 이전에 개인식별정보(PII)를 마스킹한다. 게이트웨이는 접근 허용 서버 필터링, 미승인 대상 차단, 그리고 사후 감사용 호출 목적지 및 메시지 히스토리 로깅을 책임진다. 이러한 통제 장치가 SOC 2 독립 인증을 받았다 하더라도, 실제 도구 서버는 응답을 생성하기 위해 평문 쿼리를 반드시 읽어야 하며, 사본 보관 여부는 각 벤더의 데이터 유보 정책에 따르고 이는 하네스 내 존재하는 모든 툴 수만큼 복제된다. 또한 게이트웨이 자체도 경위에 새로 투입된 ‘검증’이 아닌 ‘신뢰 기반 읽기 권한’을 가진 종점으로 작용한다.

구조적 접근법은 중간 계층에 닿아있다. 팔라(Phala)는 MCP 서버를 TEE 내에 직접 호스팅하여 지갑, 코드 실행引擎, 데이터베이스 등의 카테고리 전체를 포괄하고 있으며, 사용자는 운영사를 신뢰하는 대신 attestaton을 통해 데이터 프라이버시 약속을 검증할 수 있다. 하지만 TEE로 호스팅된 도구는 궁극적으로 쿼리문을 평문 형태로 서비스 제공자에게 전달해야 하므로, 엔클레이브가 막아내는 것은 ‘신’(메신저)일 뿐 ‘목적지’는 아니다.

AI 的十字路口:为什么华尔街们正在向 ChatGPT 与 Claude 们说“不”?

평문 읽기 없이도 질의에 응답하는 목적지는 매우 한정적이며 주로 구조화된 쿼리 환경에서만 구현된다. 애플은 아이폰에 PI R(Private Information Retrieval, 개인 정보 검색)을 도입하여 스팸 전화 번호 검사 시 실제 번호를 노출하지 않도록 조치했으며, 마이크로소프트는 엣지 브라우저의 비밀번호 자동 입력 기능에 동일한 기술을 활용했다. MongoDB의 쿼리러블 암호화(Queryable Encryption)는 클라이언트 측에서 필드 유출 전에 암호화를 마치고 서버가 평문을 접하기 전에도 등값 비교 및 범위 탐색을 수행할 수 있도록 설계되었다.

하지만 오픈형 웹 검색 분야에서는 현실적인 대안이 여전히 ‘신뢰’에 머무르고 있으며, 검증 가능한 암호화 검색 기술은 실험실 단계를 벗어나지 못했다. Brave는 자체적으로 구축한 400억 페이지 규모의 검색 인덱스(Google 인덱스가 아님)를 기반으로 영구 데이터 미보관을 약속하지만, 이는 여전히 프로토콜 레벨에 해당한다. Exa는 신경망 기반의 시맨틱 인덱스를 구축해 사용자 키워드를 임베딩 벡터로 변환하고 시맨틱 유사도에 따라 결과를 정렬하지만, 임베딩 연산 자체는 여전히 Exa 서버 측에서 평문을 대상으로 수행된다. MIT가 2023년 공개한 Tiptpaper 논문은 3억 6천만 건의 웹페이지 데이터셋에서 검색 질의를 드러내지 않고도 순위를 부여했지만, 매번 거대한 서버 컴퓨팅 파워를 소모하며 정렬 품질 또한 비암호화 검색 대비 열세를 보였다. Apple이 2024년에 발표한 Wally 연구는 실제 검색어를 다수의 가짜 질의(Dummy) 사이에 섞어 숨겨 통신 오버헤드를 최대 31배까지 절감했으나, 해당 수학 알고리즘은 수백만의 동시 요청이 발생해야 경제적 실현이 가능할 정도로 복잡하며, 현재 시점의 어느 프라이빗 검색 시스템도 그러한 스케일을 보유하고 있지 않다.

암호화 검색 기술 자체는 이론적으로 가능하나, 성능 및 가격 경쟁력은 여전히 상용화의 문턱에 머무르고 있다.

전망

프라이빗 AI에 대한 수요는 꾸준히 확대되고 있다. 베니스 AI(Venice AI)는 최근 등록 사용자 350만 명 및 월간 1.3조 토큰 처리량을 돌파했으며, 이후 Series A 펀딩을 통해 10억 달러의 밸류에이션을 달성했다. 프로톤(Proton)의 차세대 챗봇 루모(Lumo)는 서비스 개시 1년 만에 이용자 1,000만 명을 기록했다. 인프라 측면에서는 팔라(Phala)가 오픈라우터(OpenRouter) 플랫폼을 통해 일평균 20~30억 토큰을 처리하고 있으며, 덕.에이아이(Duck.ai)는 gpt-oss-120b 및 제마(Gemma) 등을 틴파일 엔클레이브로 라우팅하여 사용자에게 프록시 외부의 검증 가능한 프라이버시를 제공하고 있다. 여기에 온프레미스(자사 호스팅)까지 합치면 프라이빗 추론의 가장 강력한 채널이 될 가능성이 높다. 왜냐하면 모델을 독자적인 하드웨어 위에서 구동하는 이상, 외부에는 전혀 흔적을 남기지 않기 때문이다.

하지만 주요 AI 시장에서 봤을 때 프라이버시 AI는 극히 일부분에 불과하며, 이 격차는 프론티어 연구소들이 해당 수요에 의도적으로 대응할 때初めて 좁혀질 것이다. 5월 기준 구글(Google) 전 라인업은 3,200조 개의 토큰을 처리했으며, 이는 베니스 AI(Venice AI) 한 달간의 처리량보다 무려 18배 이상에 해당하는 규모다. 전년 11월, 구글은 Private AI Compute(PAC)를 출시해 일부 젬니(Gemini) 기반 기능을 기업 내부 네트워크와 완전히 격리된 TPU 엔클레이브에서 단독 구동하도록 했으며, 아키텍처 설계는 NCC그룹의 독립 인증을 받았다. 그러나 문제는 PAC가 개별 맞춤형 추천이나 녹음 요약 등 특정 픽셀(Pixel) 기기 기능에 한정되어 적용될 뿐, 수억 명이 사용하는 메인 젬니 앱에는 포함되어 있지 않다는 점이다. 구글이 설계 정보를 외부 기관에 공개할 수 있는 이유는, 해당 기능들이 토큰 판매가 아닌 스마트 기기 생태계와 광고 수익 모델에 기반하고 있기 때문이다.

현재의 호스팅 솔루션 역시 완벽하지 않다. E2EE를 통해 최고 수준의 데이터 프라이버시를 원하는 이용자는 서비스 제공사가 접근할 수 없는 영역에서 신규 기능이 다시 구축되기를 기다려야 한다. 프라이빗 하네스 구조는 서비스 계층에서 여전히 프로토콜 규정에 의존한다. 합리적인 비용으로 후처리 학습 환경을 갖춘 곳에서 최상의 미세 조정 성적을 얻으려면 제3자 벤더를 신뢰해야만 한다. 온프레미스 방식은 일찌감치 모든 클라우드 의존성을 끊어내지만, 로컬 하드웨어에서 최강의 오픈소스 모델을 돌릴 때 발생하는 자본 지출은 해당 서버가 설치된 빌딩 가치보다 훨씬 클 수도 있다.

불완전함에도 불구하고 프라이빗 AI는 이미 현실화되었으며 비용도 합리적이며, 남아있는 기술적 격차는 빠르게 축소되고 있다. 일반 소비자에게는 루모(Lumo)와 베니스(Venice)에서 무기록(No-log) 원칙 하의 오픈소스 모델과의 비공개 채팅을 무료로 이용할 수 있으며, 베니스 또는 틴파일(Tinfoil)의 월 구독료(18~20달러)는 동일한 대상을 엔클레이브로 격리해 ChatGPT 정기 구독 대비 낮은 가격대를 형성한다. 기업용 워크플로우 관점에서는 attestaton 유효성 검증이 적용된 API 엔드포인트가 평문 전송 경로보다 오히려 저렴한 수준이다. NEAR의 E2EE API와 같은 구조는 암호화된 컨텍스트를 엔클레이브 내부로 직접 주입할 수 있어, 메시지 기억(Memory), 파일 업로드, 커스텀 프롬프트 지정 등 핵심 기능들이 E2EE 환경에서 정상 작동을 하고 있다. attestaton 기반 후처리 학습 환경에 있어서는 엔비디아(NVIDIA)가 곧 출시할 버라 루빈(NVL72) 시리얼이 블랙웰(Blackwell) 기반 8기 노드에서 72기 랙 규모로 확장되는 기밀 컴퓨팅 프레임워크를 제공하여, IP 유출 위험 없이 프론티어급 RL(강화학습) 파이프라인을 안정적으로 운용할 수 있도록 할 예정이다.

하지만 핵심적인 가치 창출은 이러한 가격 인하 트렌드가 형성된 레이어를 넘어선다. 프라이버시는 이미 구현된 부분에서는 사실상 무료 수준이나, 아직主流的 에전트(Agentic) 파이프라인에는 광범위하게 적용되지 않았다. 엔클레이브 전용 임대 및 호스팅에 특화된 업체가 쥐고 있는 것은 표준 반도체 칩 위에서 작동하는 단순한 전환 버튼일 뿐,真正的 경쟁 우위인 모방 불가능한 헛간(Moat)이 아니며, 프로토콜 레벨의 중앙 게이트웨이는 전통적인 미들웨어와의 치열한 레드오션 경쟁에 휘말린다. 확실하게 방어 가능한 경쟁 우위 지점은 본 보고서가 아직 결론짓지 못한 나머지 반쪽이다. 바로 엔클레이브 내부에 갇힌 학습 파이프라인, 종단간(E2E)으로 완전자 단된 툴 호출, 그리고 검색어 노출이 불가능한 인덱싱 아키텍처다. 이들 중 어느 한 영역을 먼저 상용화하는 기업은 어떠한 가격 경쟁에서도 commodities화될 수 없는 제품을 판매하게 된다. 프라이버시 AI 산업에 자본을 공급하는 투자자들은 근본적인 기술적 ‘격차(Gap)’를 매수해야 할 것이지, 단순한 하드웨어 스위치를 사들여서는 안 된다.

따라서 신뢰인가, 검증인가? 고도의 실행력과 다수의 에이전트 간 연계가 요구되는 일반적인 업무라면 ‘신뢰’를 택해야 한다. 매번 외부 툴을 호출할 때마다 평문은 엔클레이브의 보안 장벽을 넘어선 목적으로 흘러가기 때문이며, 프론티어 모델들은 이러한 표준 파이프라인에서 정당화된 프리미엄 가격을 유지하고 있다. 반면, 기업의 경쟁 우위를 좌우하는 고차원적인 의사결정이 요구되는 영역이라면 ‘검증’이 답이다. 장기적인 비전 수립, 전략적 계획, 그리고 오랜 기간 축적된 노하우에서 도출된 인사이트는 바로 논쟁의 중심에 선 진정한 알파다. 앞으로 나아가야 할 방향은 회사의 통제권 범위 내에서 이러한 독점적 인사이트를 기반으로 오픈소스 모델을 미세 조정하는 것이다. 기업이 핵심 알파를 보유한 영역에서 전문가가 튜닝한 오픈 모델은 이미 정확도와 비용 효율성 면에서 프론티어를 제압했으며, 프라이버시 보장이 보장된 상태에서도 이를 구동할 수 있는 컴퓨팅 인프라는 차근차근 완성되어 가고 있다.