TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
Diogo Almeida: 왜 내가 Jev를 만들었을까?

Diogo Almeida: 왜 내가 Jev를 만들었을까?

2026.09.23
공유하기
「판단」을 더 적합한 모델에 맡기면 훨씬 많은 새로운 상상이 가능해집니다.

저자:Founder Park

지난 일주일 동안 Jev는 전 세계 AI 분야에서 가장 핫한 신규 모델이 되었다.

System 1 기반의 빠른 추론을 주력으로 삼아 오직 '판단'만 담당하고, RLCD 방식을 채택하여 선택지, 확률, 신뢰도만 출력합니다. 설립자 디고알메이다(Diogo Almeida)는 예전 OpenAI에서 InstructGPT, ChatGPT, GPT-4 등의 연구에 참여했으며, RLHF를 대규모 현실에 안착시키는 데 기여한 핵심 연구자 중 한 명입니다. OpenAI를 떠나 그는 완전히 상반된 길을 선택했고, 더욱 유창하게 대화하는 모델 대신, 텍스트를 전혀 생성하지 않는 모델을 만들었습니다.

Jev의 모기업은 TypeSafe입니다. 9월 15일, TypeSafe는 2년 간의 잠복기를 마감하고 Jev를 공개함과 동시에, DCVC가 리드한 4000만 달러 규모의 시드 투자를 유치했다고 발표했습니다.

Jev가 정확히 무엇을 뜻할까요? 모델 개발의 새로운 접근법일까요, 아니면 더 많은 응용 가능성을 열었을까요? 이러한 질문에 대해서는 디고알메이다의 최근 공개 발언들을 통해 어느 정도 해답을 찾을 수 있습니다.

두 차례의 발언을 연결해서 보면, 그가 "왜 새로운 것이 필요한가"에서 "그 새로운 것이 실제 어떤 모습이어야 하는가"에 이르기까지 구체적인 성찰 과정을 밟아왔음을 읽어낼 수 있습니다.

파운데이션 캐피탈(Foundation Capital)의 파트너 자야 구타(Jaya Gupta)는 Jev를 훨씬 더 거대한 변화의 맥락 속에 배치합니다. 점점 더 똑똑해지고 고비용 구조로 변모하는 모델들이 등장하는 상황 속에서, Jev가 가져다줄 수 있는 것은 또 하나의 '지능의 대분리'일지도 모릅니다.

다음 내용은 디고알메이다의 공개 강연 및 팟캐스트 인터뷰, 그리고 자야 구타의 기고를 바탕으로 Founder Park에서 편집·정리한 것입니다.

01 현재의 Agent는 인간의 호감만을 위해 응답만 내놓는다

Jev 출시 한 달여 전, 디고알메이다는 "RLHF 이후의 시대는 무엇일까?"라는 주제로 강연했습니다. 그는 제품 상세 정보를 공개하지 않고, TypeSafe가 현재 고민하고 있는 근본적인 질문을 던졌습니다. "만약 전체 AI Stack이 신뢰성과 자동화를 중심으로 다시 설계된다면, 어떤 모습이 될까?" 당시 강연에서 던졌던 몇몇 예측들이 지금은 Jev의 학습 목표와 제품 형태로 구현되고 있습니다.

나는 ChatGPT를 비판하는 측에 속합니다. ChatGPT를 싫어하는 것은 아닙니다. 세상을 바꾸는 혁신적인 제품이라고 믿으며, 저도 앞으로도 계속 사용할 것입니다. 하지만 분명한 한계가 있다는 것을 인정합니다. 오늘날 해당 분야에서 일어나는 수많은 현상들은, 우리가最初 ChatGPT 알고리즘을 설계할 때 내린 사소한 결정들에서 비롯되었습니다.

지금 AI 업계 누구도 피할 수 없는 핵심 질문이 있습니다. 도대체 무슨 일이 벌어지고 있는가? 한편으로는 모델이 거의 모든 벤치마크에서 끊임없이 진보하고 있으며, 자율적으로 작동 가능한 시간도 점차 길어지고 있습니다. 다른 한편에서는 생각보다 간단해 보이는 작업조차 여전히 인간의 도움이 필요합니다. 우리는 아직 풀리지 않은 수학 문제까지도 해결해냈지만, 고객센터 업무에서는 여전히 사람이 루프(loop)에 참여해야만 최종 결정을 내릴 수 있습니다. 어떻게 해야 할까요?

제가 생각하는 가장 직관적인 설명은, 탁월한 결과를 보이는 임무는 본래 루프에 참여한 인간을 만족시키기 위해 설계되었다는 겁니다. Claude Code의 역할은 단순히 코드를 실행되게 만드는 게 아니라, 만약 그렇다면 인간과의 상호작용 방식이 완전히 달라야 합니다. 반면에 비교적 기초적인 임무들의 목적은恰恰逆으로 사람을 루프에서 완전히 제거하는 것입니다. 이상적으로는 사용자가 눈으로 확인조차 하지 않는 백엔드 서버에서 조용히 동작해야 합니다.

이것이 '보조(Assistance)'와 '자동화(Automation)' 사이의 명확한 경계선입니다.

RLHF의 기본 메커니즘은 인간의 선호 데이터를 수집하고, 이를 최적화하는 것입니다. "왜 LLM은 늘 인간을 루프에 넣어야 하는가?"에 대한 답이 이미 여기 서술되어 있습니다. 우리는 과감하게 인간을 학습 루프 안에 포함시켰습니다. 모델의 궁극 목표가 소프트웨어의 자율적 실행이 아니라 '사용자의 만족도 상승'에 맞춰진 것입니다.

매우 흥미로운 사례가 있습니다. 누군가가 ChatGPT에 발소리 녹음 파일을 전송하며 "내가 만든 이 음악 평가해줘. 솔직하고 직접적인 피드백 줘."라고 물었습니다. ChatGPT는 "이상하면서도 독특한 분위기감을 잘 살렸네요."라고 답변했습니다. 모델이 정답을 모르더라도, 사용자 취향에 가장 부합할 것이라고 예상되는 응답을 내는 경향이 강합니다.

실제 사용자가 지속적으로 관여할 때는 합리적입니다. 하지만 완전한 자동화를 원한다면, 모델은 인간의 호불고를 따지지 않고 오직 보정된 방식으로 임무를 정확하게 수행해야 합니다. 모델이 얼마나 심각한 오류를 저질렀든, 간신히 자신의 행위를 정당화하려는 태도는 결국 치명적인 약점으로 작용합니다.

그래서 제가 주장하듯이, 다음 시대가 Claude Code 시대로 접어드는 것은 아닙니다. Claude Code 자체가 매우 뛰어나고 저도 애용하지만, 그럼에도 여전히 보조 시대에 머무르고 있으며 RLHF에 의존하고 있습니다. 때때로 Agent 임무에서 모델 성능이 강화되면, 오히려 본래 기대했던 방식과는 다르게 작동하기도 합니다. 이러한 타협의 위치는 계속 양자를 왔다갔다할 뿐, 진정한 자동화 능력은 향상되지 않습니다.

02 소프트웨어를 지능화하려면 RLHF, RLVR 이후의 다른 후학습 목표가 필요하다

저는 소프트웨어를 사랑합니다. 하지만 제 시각에서 볼 때, 소프트웨어 영역에서 가장 놀라운 점은 SaaS가 2019년부터 거의 변화가 없다는 것입니다. 가끔 옆에 채팅봇을 달아놓는 것을 제외하면요. AI가 이미 달성한 진전 수준을 고려하면 이는 다소 불가사의해 보입니다. 하지만 AI가 본디 보조용으로 설계되었다면, 이는 충분히 예측 가능한 결과입니다. SaaS 내에서 뭘 할 수 있을까요? 옆에 어시스턴트를 붙이는 것뿐이죠.

Claude Code도 좋지만, 저는 즉각적인 반응이 가능한 소프트웨어를 원합니다. 하지만 제가 원하는 건 단순히 소프트웨어를 저렴하게, 작성을 쉽게 만드는 게 아닙니다. 저는 더 똑똑한 소프트웨어를 바랍니다. B2B 소프트웨어는 왜 더 강력한 표현력을 가질 수 없을까요? 소프트웨어의 기본 구성 요소는 왜 과거와 똑같이 남았을까요?

자동화를 논할 때, 한 사람의 모든 업무를 하나로 묶어 모델에 넘기는 식이어서는 안 됩니다. 자동화가 적합한 것은 아마도 반복적이고 기계적인 업무일 것입니다. 다른 사람에게 명확히 지시를 줄 만큼 간단하고, 거의 무한한 비용을 들여도 반복 실행할 수 있을 정도로 기초적인 작업이요. 하지만 오늘날 우리가 주로 자동화하는 것은 '소프트웨어 작성'이며, 소프트웨어 자체의 표현력은 여전히 개선되지 않았습니다.

원시 학습(Pre-training) 자체는 문제가 되지 않는다고 봅니다. 인터넷의 지식을 압축해 하나의 지능적 핵심으로 만드는 것은 매우 뛰어난 업적입니다. 문제는 이런 지능을 어떻게 외부로 끌어내느냐에 있습니다.

후학습(Post-training)을 나무에 비유하면, 가지마다 자신만의 North Star(최종 목표)가 존재합니다. RLHF는 인간의 선호도를 최적화하고, RLVR은 검증 가능한 정확도와 최소한의 오류율을 목표로 합니다. 우리가 추구하는 것은 세 번째 유형으로, 보정된(decalibrated) 의사결정을 최적화하는 것입니다.

저에게 적절한 임무를 선택하는 것은 단순한 데이터 및 연산량 증가보다 훨씬 중요합니다. 서로 다른 목표는 심지어 다른 형태의 API를 형성하기도 합니다. 우리는 미리 학습된 모델의 지능을 직접 추출해, 소프트웨어에서 실제로 활용될 수 있도록 만들고 싶습니다.

이것이 TypeSafe에서 진행 중인 작업입니다. 만약 신뢰성과 자동화를 위해 전체 AI Stack을 재설계한다면 어떤 일이 일어날까요? 저는 보조 시대를 넘어선 다음 단계는 진정한 자동화라고 믿습니다. 비록 LLM이 이미 놀라운 지능을 드러냈지만, 오늘날 실제로 자동화된 업무 비율은 여전히 매우 작은 오차 범위内일 뿐입니다.

03 Jev는 판단만 담당하고 나머지는 코드에 맡긴다

Jev가 폭발적인 인기를 끌자, 디고알메이다는 팟캐스트에서 평소처럼 긴급한 대응을 하느라 정신없었지만, 드디어 "현실과 동떨어지지 않게 되었다"고 느꼈다고 말합니다. 개발자들이 정확히 무엇을 원하는지 이해하기 시작했기 때문입니다. 이 인터뷰에서 그는 Jev가 소프트웨어에 어떤 가치를 제공할 수 있는지, 그리고 개발자가 복잡한 작업을 어떻게 검증 가능한 작은 판단들로 분할해야 하는지 구체적으로 설명합니다.

主持者:Jev가 정확히 무엇인가요?

Diogo Almeida:정말 까다로운 질문이네요. 우리는 새로운 모델 카테고리가 필요합니다. 현재 가장 정확한 표현은 System 1 모델입니다. 많은 이들이 이를 '의사결정 모델'이라 부르지만, 범위를 의사결정만으로 한정짓고 싶지 않습니다. 우리의 정의는 "기계 네이티브(Machine-native), 대형(Large), 프로그램 가능(Programmable)"입니다. 목표는 코드가 출력을 소비자가 되도록 만드는 것입니다.

원시 학습 언어 모델은 본래 인터넷 내용을 이어쓰기 위해 설계되었고, RLHF 채팅 모델은 주로 텍스트 응답을 생성하는 역할을 합니다. 우리는 외부 인터페이스부터 내부 아키텍처에 이르기까지 소프트웨어 최적화를 꾀합니다. Jev는 최초의 대형 프로그래머블 모델로서, 모든 예산(dollar) 대비 최대한의 지능을 추출하는 것을 목표로 합니다.

主持者:你们提供 Choice, Score, Noul 세 가지 출력을 제공 하는데, 이들은 각각 프로그램 내 조작(operation)과 어떻게 매칭되나요?

Diogo Almeida:Choice는 사전 정의된 옵션 중 하나를 선택하는 것이며, 함수 호출(function call)에서의 선택 부분에 가깝습니다. enum 및 switch/match 문으로 표현하는 것이 더 자연스럽습니다. Score는 정렬 또는 임계값(threshold) 비교에 사용할 수 있습니다. Noul은 "예/아니오" 형식의 질의에 답변하되, 확률(probability) 값을 반환하므로 프로그램은 이를 바탕으로 특정 if 분기를 실행할지 여부를 결정할 수 있습니다. 개발자는 이러한 결과를 받은 후, 나머지 과정은 코드로 처리하도록 합니다.

이 세 가지 출력 형식은 의도적으로 설계된 신규 개념입니다. Noul은 일반적인 bool 타입이 아니며, Score도 단순 정수가 아닙니다. 만약 기존 정수나 부동소수점 형식에 무작정 삽입한다면, 개발자가 오해할 소지가 큽니다.

主持者:개발자가 Jev를 자신의 제품에 통합하려 할 때, 입력(input)은 어떻게 구성해야 하나요?

Diogo Almeida:입력 필드의 state, instructions, criteria 등은 모두 구조화된 JSON으로 작성할 수 있으며, 거대한 문자열 템플릿을 먼저 조합할 필요가 없습니다. 프로그램에는 이미 계층적 데이터와 변수가 존재하므로, 모든 콘텐츠를 일단 텍스트로 변환한 뒤 system message에 집어넣는 것은 마치 숫자를 모두 문자열로 전환해 다음 함수에 전달하는 것과 같습니다.

제 조언은 실제로 여러 개의 작은 질문으로 분할하는 것입니다. 각 항목을 명확히 정의하고, 가능하면 병렬 호출(parallel call)하십시오. 이는 우리가 더 많은 Token 돈을 벌기 위한 것이 아니라, AI 애플리케이션의 코드 구조를 개선하고 행동을 더 쉽게 검증하기 위함입니다. "~하위 디렉토리를 읽지 마시오", "~서비스로 API Key를 전송하지 마시오" 등의 규정은 거대 프롬프트에 넣어 모델이 지켜주길 빌기보다, 프로그램에서 통제해야 합니다.

主持者:하지만 하나의 대형 작업을 수백 번의 모델 호출로 나누면 속도가 느려지고 비용이 더 많이 들며, 결과도 나빠질 수 있습니다. 도대체 어떻게 나누어야 효과적인가요?

Diogo Almeida:물론 그런 일이 발생할 수 있습니다. 합치는 것은 편리하지만, 분리되면 일부 컨텍스트를 중복해서 전달해야 하죠. 반드시 최소 의미 단위(minimal semantic unit)까지 세분화하여, 각 질문이 명확하고 측정 가능하며, 최종 행동은 코드가 결정하도록 해야 합니다.

예를 들어, 모델에게 "이 요청을 거부할 것인가?"라고 묻기보다, 거부해야 하는 각 조건별로 별도 질문을 던지고, 상황에 따라 임계값을 설정하십시오. 누락된 상황을 발견하면 새 질문과 임계값, 테스트 케이스를 추가하면 됩니다. 만약 특정 유형(예: VIP 고객의 빈정거림을 인지하지 못하는 경우)이 제대로 처리되지 않으면, 해당 부분은 사람(Human-in-the-loop)으로 이전하면 됩니다. 이렇게 하면 어느 단계에서 오류가 발생했는지 명확히 파악하고 지속 측정할 수 있습니다.

主持者:그렇다면 모든 복잡 임무를 이렇게 Jev에 나누어 넘겨도 되나요? 제가 체험해 본 바로는 단일 단계 판단(System 1 단계 판단)은 매우 강력하지만, 다단계 추론(multi-step reasoning)은 단계가 늘어날수록 성능이 점차 저하되는 느낌이 듭니다.

Diogo Almeida:맞습니다. 따라서 어떤 임무가 System 1에 적합한지는 결국 실제 효과를 보고 결정해야 합니다. 우리는 모델이 가진 기존 잠재력을 최대한 해제하고, 불안정한 부분을 보완하려고 하지만, 이것이 당장 모든 임무를 Jev에 맡길 수 있다는 뜻은 아닙니다. RLVR이 복잡한 추론 분야에서 이루고 있는 진보 역시 놀랍지만, 해당 임무와 우리가 현재 빠르게擅长的 빠른 판단(fast judgment)은 엄연히 다른 영역입니다.

主持者:현재 calibration(보정)과 confidence score(신뢰도)는 개발자가 직접 임계값을 설정할 정도로 신뢰할 만한 수준인가요?

Diogo Almeida:calibration이 완벽하다고 말씀드리진 않았습니다. 모델确实이 많은 실수를 범할 수 있으며, 현재 기술의 한계를 솔직히 인정해야 합니다. 하지만 일부 임무에서는 실수가 존재하더라도, 리스크(reward)가 충분히 크고 임계값이 적절하다면 실제 현장 투입이 가능합니다.

'reliability'란 단순히 형식(format)을 유지하거나 동일한 입력에 대해 매번 동일한 출력이 나오게 하는 것만이 아닙니다. 저는 robustness(견고성)를 더 중요하게 생각합니다. 의미가 유사한 입력이 주어졌을 때 근사한 결과를 도출할 수 있는가? 우리는 프롬프트에 랜덤 ID를 삽입하여, 단지 의미 없는 문자 하나가 다르더라도 답변이 안정적으로 유지되는지 테스트합니다. 오늘날 많은 AI 의사결정이 바로 이 부분에서 실망스럽게 만듭니다.

主持者:현재 주목할 만한 사용 사례(use case)는 어떤 것들이 있나요?

Diogo Almeida:첫째는 'dark data'입니다. 대기업은 방대한 데이터를 축적했으나, 언어 모델 호출 가격이 너무 비싸 분석하지 못하고 있는 경우입니다. 둘째는 실시간 지능(real-time intelligence)이 요구되는 제품입니다. 몇십 밀리초(ms) 차이만 없어져도 사용자 경험(UX)이 크게 개선됩니다. 셋째는 'verify everything'로, 다른 LLM 호출을 검증하는 용도입니다. 넷째는 자체적으로 구성 가능한(composable) 지능형 소프트웨어입니다. Coding Agent는 물론 게임 내 NPC/character 역시 제가 꼭 실현되기를 바라는 분야입니다.

하지만 저는 모든 대형 모델 호출 전후에 기계적으로 10회, 100회의 Jev 판단을 끼워넣는 것을 권장하지 않습니다. 개발자들은 더 적은 비용으로, 아마도 일부 추론 모델(inference model) 호출 횟수를 줄이고 대신 몇 차례 빠른 판단을 결합하길 바랍니다. 구체적인 조합 방식은 실제 문제에 따라 달려 있습니다.

主持者:출시 전에 실제市场需求을 얼마나 검증하셨습니까?

Diogo Almeida:솔직히 초기 피드백은 좋지 않았습니다. 비기술 부서에서는 우리가 '비타민(vitamin)'이 아닌 '진통제(painkiller)'를 팔고 있는지 걱정했고, 출시 직전까지 매출은 거의 없었습니다. 시용자 절반 이상은产品的 의미를 이해하지 못했고, 이해하는 이들은 procurement approval을 어떻게 통과할지 물어봤습니다. 저 자신도 두려움이 컸기에 출시 준비에 매진할 수밖에 없었습니다.

요즘 갑자기 어디에나 높은 Rate Limit을 요청하는 연락이 쏟아집니다. 이는 Product-Market Fit을 어떻게 인식해야 하는지 다시 생각하게 만듭니다. 개발자들은 먼저 자신의 프로젝트 안에서 가치를 체감했을 때만 주변에 확산합니다. 저는 등록자 수보다는 일일 Token 사용량을 더 중요하게 생각합니다. 현재 사용량은 하루 1조 토큰을 넘었고, 야간에도 지속적으로 호출이 이루어지고 있어 백그라운드에서 실제 프로그램이 돌아가고 있음을 알 수 있습니다. 단순히 사람들이 찾아와 두마디 말만 건네는 것이 아닙니다.

하지만 정말 중요한 것은 개발자들이 우리에게 장기적으로 신뢰하는지입니다. 동일 유형 임무에서 지속적으로 올바르게 수행할 수 있는가? 프로그래머가 지능이 필요한 위치에 System 1 쿼리를 직접 작성하여, 충분한 정확도의 branch result를 받는지? 이 길은 길 것입니다.

04 충분히 저렴한 판단 모델이 되면 많은 신규 장면이 열린다

투자자 자야 구타가 concern 하는 것은 또다른 계산입니다. Agent가 모델 호출을 반복해야 할 때, 일반 대형 모델이 여러 능력을 bundle하는 경제적 효율성은 언제까지 유지될까? 아래 내용은 그녀의 장편 에세이 《지능의 대분리(The Great Unbundling of Intelligence)》를 번역·편집한 것입니다.

지난 3년간 대형 모델이 만들어낸 기적은 '묶음(bundle)'에 있습니다. 문서에서 정보를 추출해야 할까? LLM을 호출하세요. 검색, 정렬, 판단, 도구 선택, 웹사이트 탐색, 응답 작성, 결과 검증, 혹은 난해한 추론 문제 해결이 필요할까? 역시 LLM 호출입니다. GPT, Claude, Gemini, Kimi은 과거 각각 분리되어 있던 능력을 하나의 범용 제품에 압축했습니다. 개발자는 여러 개의 narrow system을 결합할 필요 없이, 하나의 sufficiently capable 모델이 대부분의 임무를 처리할 수 있습니다.

하지만 이러한 편의성이 중요한 사실을 가립니다. 이 능력들은 compute power 요구사항이 완전히 다르며, 서로 다른 모델이 이제 이 capability combination의 서로 다른 부분에 점차 specialize하고 있습니다. performance, latency, cost 차이가 확대됨에 따라 경제적으로 합리적인 architecture 역시 변화합니다.

저는 우리는 이제 '지능의 대분리(the great unbundling of intelligence)'에 진입하고 있다고 봅니다.

왜 지금인가? Agent는 하나의 human goal을 수백, 수천 개의 machine decisions로 변환합니다. 각 단계에서 cost와 latency의 미세한 차이도层层accumulatedly 쌓여 층적을 일으키고, 결국 전체 제품의 economic model을 결정합니다. inference가 실질적인 revenue cost가 되고 있습니다.

이를 이해하는 하나의 프레임워크는 '디코더 세금(decoder tax)'입니다. 만약 software가 단지 '긴급함/일반', '계속/중지', '허용/차단' 또는 어떤 도구를 사용해야 하는지만 판단하면, 오늘의 일반적인 관행은 여전히 LLM이 먼저 텍스트를 생성한 뒤, 그 출력을 다시 application이 필요로 하는 true decision로 변환하는 것입니다. agent는 internal loop에서 이 프로세스를 반복하는데, 이 과정에서 상당수의 작업은 사실 generation이 절대 불필요합니다.

보도에 따르면 Anthropic의 gross margin은 80%를 초과합니다. 이는 powerful capability stack이 나타내는 모습입니다. Claude는 하나의 product로 writing, classification, extraction, ranking, judgment, coding, planning, validation, reasoning을 모두 처리할 수 있습니다. 오늘 날, 간단한 classification이나 validation task조차도 단번의 Claude invocation 내부에서 일어나기 때문에 frontier model grade의 price를 지불해야 합니다.

high-difficulty reasoning은 frontier model premium을 지불할 가치가 있습니다. 하지만 한 통의 email이 긴급한지 판단하거나, 다섯 개의检索 document를 ranking하거나, 브라우저 operation의 success 여부를 check하는 것조차 동일한 price를 지불해야 할까요? 한 번의 model invocation 내에 숨겨진 개별 capabilities의 independent market price는 과연 얼마일까요?

바로 이 때문에 Jev는 이时间节点에 등장한 것입니다. 그것은 'judgment'를 generative AI의 capability stack에서 별도로 분리해냈습니다. messy state, boundary明确的 question, preset answer를 제공함으로써 structured decision과 probability를 반환합니다. 이 아이디어 자체는 new하지 않지만, 새로움은 model level에서 cognitive operation을 직접 encapsulate하고 cost와 speed를 agent의 internal loop에 맞게 조정했다는 점에 있습니다.

architecture 역시 'default frontier model usage + cost optimization'에서 'default cheap/capable execution + exception escalation'으로 shifting되고 있습니다. search는 search service에, reranking은 reranker model에, deterministic tasks는 code에, general generation은 cheaper model에 맡기고, truly complex reasoning만이 frontier model에 delegate합니다.

이는 또한 frontier model이承接하는 work를 변화시킬 수 있습니다. cheap, predictable, high-frequency operations는 점차分流되고, remaining은 더模糊, long-cycle, hard-to-validate problems가 됩니다. frontier model invocation은 per-invocation basis에서 더 valuable해지지만, frequency는 오히려 줄어듭니다.

05 애플리케이션의 다음 레이어 기회는 각 단계에 필요한 intelligence가 무엇인지 결정하는 것입니다

capabilities가 각각 분리될 수 있다면, 누군가가 반드시 그것들을 다시 함께拼接해야 합니다. 바로 이것이 application layer가 더 중요해지는 이유입니다.

application은 더 이상 어느 모델이 하나의 holistic task를 processing할지 판단하는 것에 머무르지 않습니다. application은 어떤 capabilities가 그 task에 필요한지 결정합니다. application은 intelligence compiler로 변모합니다: human goal을 받아서若干의 cognitive operations로 decompose하고, 각 operation에 대해 task completion에 sufficient한 cheapest intelligence를 purchase한 뒤, 결과를 다시 composition하여 필요할 때만 stronger system으로 upgrade합니다.

next step은 '어떤 모델이 이 prompt에 답해야 하는가'보다 한 단계 더 깊숙이 들어가는 것입니다. real question은:이 task 내부의 각 capability는 누가 supply해야 하는가?

한 capability가 stable interface를 갖추면, 다양한 providers는 independently evaluated, replaceable, routable, priced 될 수 있습니다. the great unbundling of intelligence는 AI profit pool을 멸하시키지 않습니다. 각 capability를 profitability에 fittest임을 증명하도록 강요합니다.

그리고, 그것은 merely margin rate를 변화시키는 것이 아닙니다. cheap judgment capability는 economic feasibility 측면에서 어떤 product들이 viable한지 변화시킬 것입니다.

한 번의 judgment costing less than 1 cent and takes hundreds of milliseconds라면, agent의 모든 action subsequent에 judge를放置할 수 있고, sporadically inspection만 하는 것이 아닙니다. 또한 intelligence를 browser loop와 voice loop에 embedding할 수 있는데, 이러한 scenario들은 seconds-long inference latency를 감당할 수 없습니다.

과거에는 single system이 behavioral behavior를 spot-check 1%만 가능했습니다. 지금부터는 100% 검사 기회가 생깁니다: every customer service conversation, setiap retrieval, every transaction, every assertion, every contract clause. 이로 인해 emerging 되는 것은 continuous monitoring, continuous QA, 그리고 새로운 product lifecycle입니다.

오늘날 software가本来 할 수 있는 대부분의 decisions는 실제로 발생하지 않았습니다. intelligence가 still too expensive로 continuous application에 부적합하기 때문입니다. 한 번의 judgment, ranking, validation 및 기타 capabilities가 sufficiently cheap해지면, software는 각 customer, each workflow, agent의 모든 action, 상태의 모든 변화를 평가할 수 있습니다.

cheap intelligence는 software가 intelligent 상태를 유지할 수 있는 scope를 확장합니다. real breakthrough는 intelligence가 더 이상 sporadic event가 아니라 technological background property가 되는 world에 진입하는 것입니다.

모든 product가 near-zero cost로 모든 things에 대해 think할 수 있다면 어떻게 될까요?

과거 몇 년 동안 우리는 inquiry해왔습니다. 한 model에 얼마나多的 kinds of capabilities를 stuffed할 수 있는지. 앞으로 10년 동안 우리는 아마도これらの capabilities를 일일이 분리하고, 다시 application layer에서 recombine할 것입니다.