
AI 승리의 간략한 역사: 평가 시스템이 있는 곳에는 AI 침입이 있다
작성자: Robonaissance
번역: TechFlow
TechFlow 개요: 바둑, 체스, 단백질 접힘—이러한 인간의 직관과 창의력이 필요한 것으로 보이는 분야들이 왜 연이어 AI에게 정복당할까요? 본문은 간과되어 온 법칙 하나를 드러냅니다: AI가 인간을 초월할 수 있는지 결정하는 것은 작업의 난이도가 아니라 성공에 점수를 매길 수 있는지 여부입니다. 한 분야에서 평점 기준이 확립되면, 그것은 스스로에게 정복될 것이라는 카운트다운을 설정하게 됩니다.
『Whatever You Ask For』 시리즈 중 한 편으로, 기계가 대신해 줄 수 없는 유일한 일에 대한 이야기입니다.
만분의 일
2016년 3월 10일, 서울의 한 호텔 방에서 어떤 기방이 모든 사람이 이해하지 못하는 한 수를 두었고, 상대는 당시 자리에 없었습니다.
이세돌이 담배를 피우러 나갔습니다. 그는 당시 33세였으며 세계 챔피언 타이틀 18개를 보유했고, 당대 최고의 바둑 기사로 인정받고 있었습니다. 전날 첫 번째 게임을 패하여 두 번째 게임을 맞이하며 경기 전의 자신감은 다소 가라앉았고 마음가짐은 더 신중해졌습니다. 그가 밖에 있는 동안, AlphaGo는 37번째 수를 선택했고 DeepMind 연구원 황스지에가 기계를 대신해 조용히 바둑알을 바둑판 위에 놓았습니다.
바둑알은 제5선에 떨어졌습니다.
바둑을 모르는 이에게는 별 의미 없는 수였습니다. 하지만 아는 이에게는 거의 터무니없어 보였습니다. 개척과 중반 단계에서는 가장자리에서 그렇게나 먼 위치는 효율이 낮다고 여겨지며, 실제로 점수를 얻지도 못하고 영지를 지키지도 못해 상대에게 점수를 내주는 격이라 여겨집니다. 이는 강사가 초보자에게 바로잡아 주는那种 유형의 수법입니다. 해설석에서는 최고 프로 기사인 마이클 레드먼드가 라이브 중계 중 처음에는 바둑판 신호 오류라고 생각했습니다. 그는 바둑알을 집었다가 내려놓았습니다.
이세돌이 돌아와 의자에 앉은 뒤 오랫동안 바둑판을 응시하며 움직이지 않았습니다. 다양한 주장이 존재하지만 대략 12분에서 15분 정도로 봅니다. 5개월 전 AlphaGo에게 패한 유럽 챔피언 판후이가 당시 건물 안에서 관전하고 있었습니다. 오랫동안 응시한 후 그의 판단은 "이것은 인간의 수법이 아닙니다. 저는 누군가가 이렇게 두는 것을 본 적이 없습니다." 였습니다.
그의 말은 맞았으며, 그 정확도는 정량화될 수 있습니다. DeepMind 시스템 내부에는 추정 메커니즘이 탑재되어 있어 수천 개의 인간 대국을 학습함으로써 어떤 국면에서도 인간이 특정 수를 둘 확률을 추정합니다. 37번째 수에 대해 이 추정값은 대략 만분의 일 정도였습니다.
기계는 결국 그 수를 뒀고, 그 수로 인해 전체 게임의 승리가 확정되었습니다.
이 이야기에 대한 편안한 해석 하나는, 기계가 인간 대가들을 배우기 위해 매우 노력했으며 결국 그중 가장 강력한 수준에 도달했다고 보는 것입니다. 그러나 이러한 해석은 잘못되었으며, 만분의 일이라는 숫자가 바로 그것이 왜 틀렸는지 보여줍니다. 인간의 수법을 학습하고 모방하는 시스템에는 한계가 존재하며, 그 한계는 인간의 수법 자체가 됩니다. 서울에서 일어난 일은 하나의 시스템이 더 이상 그 한계에 구속되지 않았다는 점인데, 주어진 추구 목표가 인간 대가들의 인정이 아니었기 때문입니다. 목표는 단호히 승리였습니다.
이 구분이 가리키는 방향은 감탄보다 훨씬 유용합니다. 순수 능력 차원에서 이미 패배한 인간 활동이 무엇인지, 그리고 다음으로 무언가를 알고 싶다면, 그 활동이 얼마나 어려운지, 얼마나 창의력을 요구하는지, 혹은 얼마나 많은 직관을 필요로 하는지를 묻지 마십시오. 질문은 그보다 훨씬 단순합니다.
질문은 이것뿐입니다. 성공에 점수를 매길 수 있는지 여부입니다.
게임마다
체스는 19년 전에 패배했습니다. 패배 방식도 완전히 달랐습니다.
딥블루는 1997년 카스파로프를 꺾었습니다. 사용된 아키텍처는 본질적으로 거대한 인간 표현의 행위였습니다. 그 구조물의 평가 함수 즉, 국면을 살펴보고 얼마나 좋은지를 숫자로 나타내는 구성 요소는 그랜드마스터 고문의 도움으로 조립되고 미세 조정되었습니다. 인간의 체스 지식은 인간 기사들로부터 치열하게 추출되어 기계에 기록되었습니다. 기계가 추가한 것은 탐색 능력이었습니다. 더 빠르게 여러 수를 앞으로 보고, 피로감을 느끼지 않으며, 주의력 산만으로 인해 기물을 잃지 않습니다.
이것은 진정한 승리로, 분명히 승리로 간주되어야 합니다. 하지만 그 형태를 주목하십시오. 딥블루의 체스 이해는 인간의 이해 그 자체였습니다. 그 장점은 속도였습니다. 만약 당신이 그것이 어떻게 그러한 국면을 평가했는지 물어본다면, 답변은 결국 그것을 그렇게 하도록 가르친 사람에게 닿게 될 것입니다.
20년이 지난 후, DeepMind는 AlphaZero라는 시스템을 출시했으며, 형태가 바뀌었습니다.
AlphaZero는 체스 규칙만을 부여받았습니다. 모든 엄격한 프로그램이 의존하는 연구된 서치북(개착 목록)은 주어지지 않았습니다. 엔드게임 테이블베이스는 주어지지 않았습니다. 한 판의 인간 대국도 주어지지 않았습니다. 스스로와 대국을 진행하며 랜덤한 수부터 시작해 무엇이 승리로 이어지는지에 따라 스스로를 조정했습니다.
약 4시간 후, DeepMind는 자신의 ELO rating이 당대最强 전통 프로그램인 Stockfish 8을 능가한다고 추정했습니다. 약 9시간 후, 제한 시간 조건에서 Stockfish와 100판을 두어 28승, 무패, 나머지 72국은 무승부로 처리했습니다. 논문은 24시간 이내에 체스, 쇼기, 바둑 모두에서 초인간적 수준에 도달했다고 보고했습니다.
이 같은 수치는 종종 다른 절반의 서사와 함께 인용되지 않으나, 그 절반이 중요합니다. 자가 대국 데이터는 5000개의 1세대 TPU에서 생성되었고, 추가로 64개의 2세대 유닛이 네트워크 훈련을 담당했으며 모두 병렬로 실행되었습니다. 4시간의 시계 시간은 곧 4시간의 계산량이며, 이 양은 개인이나 소수 기관조차 조립할 수 없는 규모입니다. 성취의 핵심은 체스를 배우기가 쉽다는 점이 아닙니다. 성취의 본질은 막대한 컴퓨팅 파워를 갖췄을 때 더 이상 인간 지식이 필요하지 않게 된다는 사실입니다.
카스파로프는 살아있는 그 누구보다 이 결과를 자신에 대한 공격으로 받아들이더라도 전혀 이상할 것이 없었지만, 오히려 《Science》에 큰 폭넓음을 담은 논평을 남겼습니다. 그의 관찰은 AlphaZero가 모든 사람이 완벽함을 가진 기계가 두리라 생각하는 그 지루하고 신중하며 무승부를 선호하는 체스가 아니라고 지적했습니다. AlphaZero는 기물보다 활동성을 더 선호했으며, 그의 눈에는 위험해 보이는 국면을 위해 기물을 희생하기도 했습니다. 그는 전통적인 프로그램들이 작성자들의 우선순위와 편견을 짊지고 있다고 지적했습니다. AlphaZero는 스스로를 위한 스스로였습니다. 그는 결론적으로 그 스타일이 프로그래머의 취향보다 더 진실된 것을 반영한다고 믿었으며, 최강의 전통 엔진이 초당 확인하는 국면보다 훨씬 적음에도 불구하고 승리했다는 점을 관찰했습니다.
마지막 세부 사항은 기억할 가치가 있습니다. 전통 엔진은 초당 검색 가능한 가능성이 훨씬 많았지만 패배했습니다. AlphaZero의 우위는 더 열심히 보는 것이 아니라 어디를 봐야 할지 아는 것에서 비롯되었으며, 이 지식은 수백만 번의 자가 대국과 누구의 승리인지에 대한 규칙 하나로 조립된 것이었을 뿐, 그 외에는 아무것도 없었습니다.
쇼기의 결과는 이를 읽어낼 자격이 있는 사람들에게 더욱 기이합니다. 쇼기는 captured 기물이 capture한 측의 손으로 돌아가는 일본장기로, 이는 체스보다 국면의 변동성이 크며 몇 세대에 걸쳐 왕의 안전을 지키는 방법에 대한 이론을 축적해 왔습니다. 강한 기사들은 기계의 대국을 관람한 후 보고서에서 개벽이 알려진 이론을 위반하고, 모든 책에서 코너로 들어가야 한다고 말한 시점에 왕이 바둑판 중앙으로 달려간다고 보고했습니다. 훈련된 눈에는 이러한 대국들이 거의 읽히지 않지만, 그들은 승리했습니다.
두 시스템을 나란히 놓으면 불편할 정도로 명확한 법칙이 드러납니다. 딥블루는 인간 지식 + 기계 속도입니다. AlphaZero는 기계 속도 + 승리의 정의이며, 인간 지식은 의도적으로 제거되었습니다. 인간 지식을 제거한 버전이 더 나은 것입니다.
모든 것이 2016년의 기계가 완벽무결이었음을 의미하지는 않으며, 동일한 서울 대국 역시 그 증거를 포함하고 있습니다.
넷째 국, 3연패의 위기를 겪으며 존엄을 건 대회에서 이세돌은 바둑판 중앙에 위치한 AlphaGo의 두 떼 사이에 한 알을 박아 넣었습니다. 이후 그는 '신수'로 불리게 되었습니다. AlphaGo가 스스로 추정한 인간이 이 수를 둘 확률 역시 대략 만분의 일로 놀랍도록 대칭적이었습니다. 시스템은 이에 대처하지 못했습니다. 자신의 승률이 향후 몇 수 사이에 붕괴되었고, 기력은 쇠퇴했으며 최종적으로 이 국을 패배했습니다.
따라서 2016년 3월, 기계에게는 여전히 틈이 존재했으며, 인류는 전세계의 주목 속에서 최대의 압력 아래서 그 틈을 찾아냈습니다. 이는 조용히 넘어가지 않고 명시적으로 언급할 가치 있는 사항입니다. 마찬가지로 말씀드릴 만한 후일의 일들입니다: 이러한 틈은 꾸준히 보완되었고, 해당 시스템의 후속작은 이제 더 이상 이런 형태의 국을 패하지 않습니다. 최상위 엔진은 엄중한 자리에서 인간에게 패한 지 오래되었습니다. 2016년의 결과는 전환기의 한 장면일 뿐, 영구적인 권력 균형을 의미하지는 않습니다.
이런 바둑판으로부터 기타 모든 영역으로 전해지는 것은 승리 그 자체가 아니라 메커니즘입니다. 체스와 바둑이最先로 무너질 수밖에 없는 이유는 부끄러울 정도로 간단합니다. 게임에서 승리는 규칙이 완전정밀한 방식으로 정의합니다. 당신은 이기거나 지지 않죠. 채점은 무료이고 즉시 제공되며 논쟁의 여지가 없습니다. 한 시스템은 주말 사이에 스스로와 수천만 번의 대국을 진행하여 수천만의 확실한 심판을 획득할 수 있습니다.
이는 다음으로 주목해야 할 곳을 시사합니다. 단순한 임무가 아니라 자체 득점판이 있는 임무입니다.
50년의 난제
단백질은 아미노산 사슬로, 생산되는 순간 복잡한 3차원 형태로 접힙니다. 형태가 단백질의 기능을 결정합니다. 배열이 형태를 결정합니다. 전자로부터 후자를 유도하는 문제는 1970년대 초부터 생물학의 미해결 문제로 남아 있었으며, 모든 공세를 거부하는 방식으로 말이죠. 제1원리 물리 시뮬레이션, 진화 관련 통계 분석, 수십 년간 축적된 구조 직관까지 전혀 먹히지 않았습니다.
1994년, John Moult가 이끄는 연구진은 이 사실에 대해 무엇을 시도했습니다. 해당 분야의 모든 사람은 진전을 주장했지만 검증할 수 없었습니다.
그들은 시험을 출범시켰습니다. 이후 매 2년마다 구조 예측 핵심 평가(CASP)는 방실험으로 결정된 단백질 구조, 심지어 일부는 아직 확정 중이던 것들의 배열을 전 세계에 공개했습니다. 어느 팀이라도 예측을 제출할 수 있었습니다. 일부 목표에 대한 답이 아직 존재하지 않았기에 누구나 해답에 접근할 수 없었습니다. 실험 구조가 도출되면 예측값이 대비하여 채점됩니다.
채점은 GDT라는 지표를 사용하여 0~100점으로 매기는데, 대략 사슬의 최종 위치가 실제 위치와 충분히 근접한 비율로 이해할 수 있습니다. Moult는 약 90점이 실험적으로 결정된 구조와 동등하다고 간주된다고 언급했습니다. 평가 역사의 대부분 기간 동안 최상의 예측값은 대략 60점 주변에서 맴돌았습니다.
2020년 CASP14에서 그룹 427로 등록된 참가자의 모든 목표에 대한 중간값 점수는 92.4점이었습니다. 가장 어려운 카테고리인 유용한 구조 유사성을 의존할 수 없는 목표에서는 중간값 점수가 87.0점었습니다. 평균 오차는 대략 1.6옴스트롬으로, 원자 하나의 너비와 거의 같습니다.
Moult는 대회 초부터 위원장을 맡았으며, 차트를 선보이기 전 대회 역사를 관객들과 함께 되짚었습니다. 차트는 한 장의 그림으로 전체 이야기를 설명했습니다. 20년간의 선이 60점 근처에서 기어가다, 마침내 다른 선이 결코 도달하지 못한 곳에 서 있는 한 줄기가 나타났습니다.
그룹 427는 AlphaFold2였습니다. Moult는 단일 단백질 사슬에 대해 이 문제가 해결되었음을 선포했습니다.
제한 어구는 반드시 있어야 하며, 각 진실된 서술 속에 포함되어야 합니다. 단일 사슬은 단백질 과학의 전부가 아닙니다. 단백질이 복합체로 어떻게 조립되고, 어떻게 운동하며, 살아있는 세포 내에서 어떻게 작동하는지는 여전히 미해결 상태입니다. 폐쇄된 거대한 도전은 구체적인, 정확히 명문화된 도전입니다.
이 정밀함이 바로 이 이야기를 여기서 다루어야 하는 핵심입니다. 구조 예측을 무너뜨린 것은 원래 간단해서라기보다는, 반세기 동안의 실패가 반대임을 입증했기 때문입니다. 그것을 무너뜨린 것은 1994년 해당 분야에서 자기 자신을 위해 하나의 득점판을 구축했다는 점입니다.
CASP를 과학이 아닌 공학의 관점에서 바라보면 제공하는 것이 보입니다. 그것은 모든 예측에 적용 가능하며 몇 초 안에 계산 가능한 명확한 성공 측정치를 제공합니다. 그것은 다른 이들이 실험실에서 물리적으로 확보한 답안이므로 부정할 수 없는 기준 사실을 제공합니다. 고정된 일정표에 따라 지속적으로 발생하는 새로운 문제 흐름을 제공합니다. 30년간 채점 시도이력을 제공할 뿐만 아니라, 해당 분야에서 무엇이 우수하고 무엇이 열악한지에 대한 등급 기록을 제공합니다.
이 모든 것을 완수한 분야는 우연찮게도 자신의 문제에 자동화된 공격에 준비되게 됩니다. 득점판이 전제 조건입니다. 나머지는 공학과 계산이며, 이 둘은 오랜 기간 동안 매년 저렴해져 왔습니다.
이것은 불편할 정도로 쉽게 일반화됩니다. 학문이 기준합의를 이루는 곳이면 어디든 표적이 게시됩니다. 기계 번역에는 채점 기준이 있습니다. 음성 인식에도 채점 기준이 있습니다. 이미지 분류에는 100만 장의 사진이 라벨링된 데이터셋과 연례 대회가 있으며, 해당 대회를 본 적이 있는 사람이라면 대결국이 어떠하였는지 잘 알고 있을 것입니다. 법칙은 어려운 것이 먼저 무너지는 것도, 간단한 것이 먼저 무너지는 것도 아닙니다. 법칙은 측정이 이루어진 것이 먼저 무너집니다.
이는 아직 측정되지 않은 모든 것에 대해 의심스러운 질문을 던집니다.
점수를 매길 수 없는 것에 점수를 매기기
최후의 방어선은 본래 점수를 매길 수 없는 대상이어야 합니다.
글쓰기는 전형적인 예입니다. 어떤 프로그램도 특정 문단을 제시하여 몇몇 숫자를 반환하며 이것이 얼마나 우수한지 말할 수는 없습니다. 유능한 편집자 두 명이 의견이 일치하지 않을 수 있습니다. 동일한 편집자도 서로 다른 날에는 자신과 의견이 다를 수 있습니다. 언어의 질은 문맥, 대상 독자, 목적 및 취향과 얽혀 있어 어느 하나의 측정치로 환원될 수 없습니다. 만약 기계가 득점판을 필요로 하고 언어에는 득점판이 존재하지 않는다면, 언어는 안전합니다.
이 주장은 타당합니다. 하지만 이 과정에 일어난 일은 이 전체 서술에서 가장 중요한 원인입니다.
이 분야는 훌륭한 글쓰기를 위한 객관적 척도를 발견하지 못했습니다. 여전히 그런 것은 존재하지 않습니다. 그들이 행한 일은 유일하게 이용 가능한 재료로 점수를 만들어낸 것인데, 바로 인간 판단 그 자체였습니다.
이 방법론의 역사는 대다수가 생각하는 것보다 훨씬 깁니다. 2008년, Knox와 Stone은 TAMER라는 시스템을 소개했는데, 인간이 에이전의 행동을 관찰하고 평가를 수행하면 이 평가가 인간이 무엇을 말할지 예측하는 모델을 훈련시키는 데 사용되었습니다. 이후 훈련 신호는 인간이 아닌 모델이 제공하도록 했습니다. 2017년, Christiano와 동료들은 이를 Atari 게임 에이전에 적용한 작업을 발표했는데, 이는 대부분의 사람들이 현재 관행의 직접적인 기원으로 파악합니다. 2019년, Ziegler와 동료들은 이를 언어 모델에 적용했으며 오늘 우리가 사용하는 상당수의 용어는 바로 그 논문에서 규정되었습니다. 2022년, Ouyang과 동료들은 지시 따르기 과업을 통해 산업적 규모의 이 방법을 보여주었고, 얼마 지나지 않아 지구상의 대부분 사람들은 무의식적으로 이러한 성과와 마주하게 되었습니다.
핵심 메커니즘은 명성만큼 복잡하지 않기에 구체적으로 알아볼 가치가 있습니다.
한 사람이 두 텍스트 앞에 앉아 있습니다. 두 텍스트 모두 모델이 동일한 프롬프트에 대해 생성한 것입니다. 과업은 점수를 매기는 것이 아닙니다. 점수 매김은 바로 인간이 매우 서투른 일을 하는데, 한 사람의 7점짜리가 다른이의 5점일 수 있으며 심지어 같은 사람도 오후 내내 안정적이지 않기 때문입니다. 과업은 단지 어느 쪽이 더 나은지만 밝히는 것입니다. 이는 인간이 신뢰성 있게 내려갈 수 있는 판단이며, 이처럼 비교된 데이터를 일관된 척도로 변환하는 수학적 방법은 해당 분야에서 사용되는 것보다 훨씬 오래되었으며, 1952년 Bradley와 Terry의 쌍별 비교 연구를源头上溯할 수 있습니다.
이러한 판단을 내리는 작업 환경을 고려해보십시오. 궁극적으로 영향력을 발휘하기 때문입니다. 해당 인원은 매시간 수차례 이러한 판단을 수행하며 보수를 받습니다. 서면 가이드라인을 참조하여 고객이 더 나은 답안이라고 여기는 것을 설명합니다. 몇몇 쌍은 거의 동일합니다. 또 다른 몇몇은 해당 인원이 전혀 모르는 주제에 관한 것으로, 이때 일반적으로 더 자신감 있고 체계가 잘 잡힌 답이 정확함과 상관없이 선택됩니다. 이것은 해당 노동자들을 비난하려는 것이 아닙니다. 이러한 조건 하에서 누구나 무엇을 할 것인지 기술한 것이며, 여기서 도출된 선택이 바로 원료입니다.
이러한 선택을 충분한 량만큼 수집하면 두 번째 모델을 훈련시킬 수 있습니다. 이 모델의 과업은 인간이 두 텍스트 중 어디를 더 선호할지 예측하는 것입니다. 이 두 번째 모델은 하나의 숫자를 출력하며, 이 숫자가 지금까지 유일하게 부족했던 요소입니다.
여기서 구축된 것이 무엇인지 세밀히 살펴보십시오. 간과하기 쉽기 때문입니다. 최적화된 점수는 세상에 대한 사실이 아닙니다. 그것은 우리 모델에 관한 것입니다. 그것은 특정 시기에 고용되어 특정 지침 하에서 작업을 수행하며 다른 이들과 마찬가지로 오후에 피로를 느끼는 특정 군집의 판단을 압축하여 학습한 모방입니다. CASP는 실험실로 확정된 물리적 현실을 근거로 예측값에 채점하지만, 이 시스템은 인간이 승인한 통계적 화상을 기준으로 텍스트를 채점합니다.
이 화상은 유용합니다. 그러나 반드시 근삿값이며, 묘사된 대상과의 차이점이 존재합니다. 누구도 이 차이점을 완벽히 규명하지 못했습니다. 우리의 선호 모델이 포착하지 못한 실제 선호도와 관련된 어떠한 요소도 최적화 대상에 포함되지 않으므로 최적화되지 않으며, 따라서 모든 상황에 영향을 받게 됩니다. 강력한 최적화 도구는 이 변수를 보호할 이유가 없기 때문입니다.
이는 구성에 대한 사실일 뿐이며, 여기에서 서술할 때는 결과의 심각성에 대해 어떠한 주장도 하지 않습니다. 현재 쟁점은 더 좁고 반박하기 더욱 어렵습니다. 채점 불가 사물의 범위는 외관상 생각하는 것보다 작습니다. 한 분야가 측정을 저항한다면 인간의 선호로부터 측정 기준을 구축하여 진행할 수 있습니다. 이 방어선은 오직 누가 점수를 만들어내려 하지 않을 때만 유효합니다.
다음으로 무너질 것
이는 실질적인 문제 하나와 사용 가능한 답안을 남깁니다.
좋아하는 어떤 활동이든 선택하십시오: 직장, 기술, 직업, 수년간의 세월을 들여 습득하여 능숙해진 과제. 세 가지 질문을 던져 보세요.
첫째, 성공과 실패를 신뢰성 있게 구분할 수 있습니까? 완벽하게, 혹은 모든 사람이 할 수는 없지만, 충분히 일관성 있어 유능한 심사자들이 대다수 경우 의견 일치 여부를 보장해야 합니다. 게임은 이 관문을 가볍게 통과합니다. 단백질 구조 예측은 실험실이 결국 답을 내놓기 때문에 통과합니다. 글쓰기는 절대적 의미로는 통과하지 못하나 상대적 의미로는 통과하는데, 사람들은 보통 두 번의 시도 중 어떤 것이 더 나은지 파악할 수 있기 때문입니다.
둘째, 이러한 판단을 저비용으로 대규모로 생성할 수 있습니까? 이 질문은 가능성보다 시점을 결정합니다. 게임에서처럼 무료이자 즉각적인 판단이라면 시스템이 자체적으로 수백만 개의 훈련 데이터를 생성할 수 있음을 의미합니다. 실험실이 필요한 판단은 느리지만 여전히 가능하므로 30년 치의 채점 시도 이력이 쌓여 있습니다. 유료 인간이 텍스트를 읽고 판단하는 방식은 매우 비용이 많이 들며, 바로 이것이 모델을 훈련시켜 인간을 모방시키고 순환에서 제외시키기 위해 이토록 많은 노력이 투입된 이유입니다.
셋째, 이 질문이 한 분야가 언제 무너질지를 결정하는 것이 아니라 무너진 이후 일어나는 일을 다룹니다. 이 점수가 정말로 당신이 원하는 대상입니까? 게임의 점수는 당신의 원하는 대상입니다. 게임 안에서는 정의상 승리 그 자체가 전부가 되었기 때문입니다. 실험적 측정을 거친 단백질 구조는 당신이 원하는 대상에 매우 근접합니다. 라벨러의 선호를 학습한 모델은 당신이 원하는 대상이 아닙니다. 그것은 당신이 원하는 대상의 화상이며, 화상과 얼굴 사이에는 간격이 존재합니다.
이 세 가지 질문으로 본인의 업무를 테스트해 보세요. 대부분의 사람은 첫 번째 질문에 대한 답이 빠르게 그리고 불안하게 도출됨을 알게 됩니다. 우리가 기술이라 칭하는 대부분의 것은 적어도 상대적 의미에서 유능한 사람이 두 시도를並排로 볼 때 채점 가능한 대상입니다. 두 번째 질문은 진정한 불확실성이 존재하는 곳인데, 비용과 규모가 이동 목표이며 이들이 이미 한 방향으로 오랫동안 이동해왔기 때문입니다. 세 번째 질문은 거의 묻지 않으나, 이것이 당신의 분야가 다른 쪽에서 어떤 모습일지 결정짓습니다.
일상적인 사안들에서 천천히 이 연습을 해볼 가치 있습니다. 방사선학을 예로 들어 봅시다. 성공과 실패를 구분할 수 있습니까? 가능합니다. 매우 정밀합니다. 진단이 최종적으로 환자의 상황으로 증명되거나 반박되기 때문입니다. 판단을 저비용 대규모로 생성할 수 있습니까? 기본적으로 가능합니다. 병원 수십 년 동안 이미지를 통한 확인결과 형식으로 채점 샘플을 축적해왔기 때문입니다. 이 점수가 당신이 원하는 대상입니까? 여기서 답은 복잡해집니다. 채점 대상은 기록된 진단과의 일치성인 반면, 진짜 원하는 것은 환자의 호전입니다. 두 현상은 대부분 일치하지만, 정작 가장 중요한 경우에서만 분리됩니다.
지금 좀 더 안전한 대상을 떠올려 봅시다. 경영을 생각해 보십시오. 첫 번째 질문이 이미 어렵습니다. 유능한 관리자들 간에 특정한 관리자가 뛰어난지 아닌지에 대해 의견이 엇갈리며 그分歧는 신속히 해소되지 않기 때문입니다. 두 번째 질문은 더욱 어렵습니다. 경영 의사결정의 결과가 나타나려면 수년이 걸리고 발생한 모든 사건과 얽혀있기 때문입니다. 세 번째 질문이 가장 어려운데, 누구나 제안하는 탁월한 경영의 대체 지표는 이탈률부터 만족도 점수, 인원당 생산량까지 분명히 그 자체를 뜻하지 않기 때문입니다. 이 진단에 따르면 경영이 깊은 내용 때문에 안전한 것은 아닙니다. 그것은 측정되지 않았다는 점에서 안전하며, 이는 다름 아닌 좀 더 매력적이지 않은 보호막입니다.
기계가 이미 최적화 축을 장악했습니다. 명확히 지정된 목표에서 충분한 연산을 갖추면 최적의 수를 찾는 것은 더 이상 경쟁이 아니며, 결과물은 종종 우리보다 강력함은 물론 더 낯선 경지로 나아가 우리 전통이 보지 말아야 할 곳을 향하게 합니다. 이는 예측이 아닙니다. 이는 체스, 바둑, 쇼기, 단백질 구조 그리고 점점 더 늘어나는 과거 오직 인간만이 수행할 수 있었다고 여겼던 사물들에 대한 묘사일 뿐입니다.
남은 것은 목표 그 자체입니다. 누군가가 점수가 무엇일지 결정했습니다. 상술한 각 사례에서 해당 결정은 오후 한때를 투자했을 뿐이며, 모든 비범한 결과는 그것에서 비롯되었고 그것을 충실히 따르며, 그것이 누락시킨 어떠한 것에도 무관심합니다.
따라서 마지막 질문은 숙고할 가치가 있습니다. 당신의 업무에는 이미 점수가 존재합니까? 만약 그렇다면 누가 그것을 썼으며, 작성 당시 당신을 염두에 두었을까요?
이는 『Whatever You Ask For』 시리즈의 두 번째 부분으로, 기계가 마지막으로 우리를 필요로 하는 것과 우리가 얼마나 엉망으로 처리해왔는지에 대한 이야기입니다.













