
거대 모델의 기억 역설: 왜 AI는 인류의 모든 지식을 기억하면서도 '어제'만은 영원히 기억하지 못할까?
작성자: Hugo, Robonaissance
번역: TechFlow
TechFlow 요약: 초기 Atari 게임 에이전트부터 수백만 개의 컨텍스트 창을 갖춘 대형 언어 모델에 이르기까지, 인공지능은 시간을 초월해 연속적인 결정을 내릴 때마다 근본적인 물리적 모순에 직면한다. 모델은 인류가 축적한 방대한 정적 지식을 쉽게 수용할 수 있지만, 역동적인 상호작용 환경에서는 과거의 모든 세부 사항을 손상 없이 휴대하고 다닐 수 없다.
제한된 연산력과 컨텍스트 창이라는 물리적 제약 하에서, 과거를 압축하면서도 미래를 결정하는 핵심 상태를 정확하게 추출하는 것은 '지각적 모호성'을 해결하는 기술적 돌파구일 뿐만 아니라, 오늘날 자율 에이전트가 진정한 지속적 기억으로 나아가기 위한 근원적인 논리이기도 하다.

정지 화면 속 상태 역설
본 글은 ‘기계의 기억, 망각, 그리고 자아’ 시리즈 제3편이다. 에이전트가 과거 전체를 휴대할 수 없을 때, 지능은 과연 어떻게 시간을 가로질러 행동을 전개할까?
클래식 팅(Pong) 게임을 임의의 한 프레임에서 정지시켜보자.
화면에는 라켓 두 개와 공 하나, 그리고 현재 점수만 보인다. 이때 공이 어디로 향하는지 말해보라고 하면 절대 불가능하다. 기계에게 동일한 정적 화면을 보여주어도 기계 역시 판단할 수 없다.
매튜 하우스넉트(Matthew Hausknecht)와 피터 스톤(Peter Stone)은 2015년 Atari 게임 플레이 학습 에이전트 관련 논문에서 단호하게 다음과 같이 지적한다. “현재의 단일 프레임 화면은 라켓과 공의 위치만 나타낼 뿐, 공의 속도는 알 수 없다.”
이어 그들은 이것이 왜 중요한지 설명한다. “공의 이동 방향을 파악하는 것이 라켓의 최적 위치를 결정하는 핵심 요소이기 때문이다.”
이 정지 화면은 정확하다. 화면상의 모든 세부 사항은 제자리를 잘 지키고 있다. 하지만 이 단일 프레임 화면만으로는 게임을 진행하기에 여전히 부족하다.
센서가 지금 이 순간 포착하는 것은 단지 하나의 ‘관측값(Observation)’에 불과하다.
반면, 에이전트의 다음 행동에 의존하는 실제 전제 조건은 ‘시스템 상태(State)’다.
Pong 게임에서 관측값과 시스템 상태는 각 단일 프레임 단위마다 서로 단절되어 있다. 공의 이동 방향은 지난 몇 순간에 걸쳐 형성된 사실임에도 불구하고, 고립된 어느 한 순간이라도 이를 단독으로 포함할 수 없기 때문이다.
현재의 실시간 입력이 의사결정에 필요한 요구를 충족시키지 못할 때, 잘 작동하는 시스템은 반드시 자신의 과거에서 현재 시점으로 어떤 정보를 전달해야 한다.
하지만 시스템이 전달할 수 있는 것은 결코 완전한 과거일 수 없다. 전달되는 것은 오직 요약본에 불과하며, 이 요약본에서 무엇을 선택하고 무엇을 버릴지는 시스템이 다음 단계에서 무엇을 예측해야 하는지에 완전히 달려 있다.
이러한 선별 과정은 이후 시점이 갖게 될 정보의 토대를 결정한다. 요약 과정에서 누락된 모든 세부 사항들은 이후 순간에 이를 기반으로 반응할 수단이 영원히 사라진다.
네 프레임 깊이의 기억 타협
하우스넉트와 스톤이 당시 응답하고자 했던 시스템은 바로 DeepMind의 볼로디미르 미닌(Volodymyr Mnih) 등이 2015년 네이처(Nature) 학술지에 발표한 DQN 에이전트다.
DQN은 오직 화면 영상만으로 수십 종의 Atari 게임을 구사할 줄 익히지만, 연구진은 개발 초기 단계부터 이미 정지 화면의 딜레마에 봉착해 있었다.
논문 방법론 부분에서 저자들은 다음과 같이 명시한다. “에이전트가 현재 화면만을 관측할 수 있기 때문에, 이 작업은 부분 관찰 가능 상태(Partially Observable State)에 속하며, 많은 시뮬레이터 상태들이 지각적 모호성(Perceptually Aliased)을 일으킨다.”
다시 말해, 단순히 현재 화면에만 의존해서는 에이전트의 전체 처지를 전혀 알려줄 수 없다.
‘지각적 혼동’은 일상에서 자주 겪는 어려움을 정확히 학문적으로 정의한 용어다. 두 가지 완전히 다른 상황(예컨대 공이 당신의 라켓을 향해 날아가거나, 혹은 라켓에서 멀어지고 있는 경우)은 정적 화면에서 완전히 동일한 이미지를 생성한다.
이미지만 보고 판단하는 시스템은 강제로 이것들을 같은 상황으로 인식하도록 강제당한다. 만약 이러한 두 상황이 완전히 반대되는 동작을 요구한다면, 시스템은 필연적으로 그중 하나의 상태에서 오류를 발생시킬 수밖에 없다.
그들의 보완 방법은 매우 직관적이다. 네트워크가 더 이상 단일 화면만 받아들인 것이 아니라, 최근의 여러 프레임을 누적시킨 것을 입력으로 사용한다.
기본 설정 값은 4 프레임으로 되어 있으며, 알고리즘 자체가 3 프레임 또는 5 프레임의 경우에도 충분히 적응 가능하다.
네 프레임의 화면을 나란히 배치하면, 공의 운동이 직접적으로 위치 변화로 드러난다. 운동 방향은 이제 추상적 기억이 필요 없는 개념에서 벗어나, 눈으로 직접 확인할 수 있는 시각적 속성이 된다.
논문은 이 적재된 화면 묶음을 '기억'이라 지칭하지 않았다. 그것은 본질적으로 단일 시간보다 조금 더 넓은 입력 채널일 뿐이다.
지각적 혼동과 물리적 경계
이러한 입력 폭에는 극도로 견고한 물리적 경계가 존재하며, 하우스넉트와 스톤은 이 경계가 어디에 있는지 명확하게 짚는다.
그들은 다음과 같이 작성한다. “DQN은 에이전트가 최근 경험한 네 상태(state)들로 구성된 입력을 사용해 학습되기 때문에, 특정 게임이 플레이어에게 과거 네 화면보다 더 긴 사건의 기억을 요구한다면 DQN은 해당 게임을 마스터할 수 없다.”
DQN 입장에서 보면, 네 번째 화면 이후의 역사는 아예 입력 영역 안에 존재하지 않는다.
고정 슬라이딩 윈도우(fixed sliding window) 기반의 이 메커니즘은 기계 지능이 시간 계열(time-series) 처리에서 직면한 핵심 모순을 여과없이 드러낸다. 아무리 창을 넓게 확장하더라도 경계 외부의 정보는 물리적으로 지워질 수밖에 없다.













