LLM 다음도 결국 LLM…AI의 다음 진화는 ‘LLM+’

LLM이 전 세계를 휩쓴 가운데 이제 AI 업계는 차세대 혁신 기술을 찾기 위해 분주하다. 이미 쉽게 얻을 수 있는 성과는 대부분 거둔 것처럼 보이지만, LLM 자체는 여전히 중심에 있으며, 이 기술에서 추가로 끌어낼 수 있는 가치가 여전히 많이 남아 있다.

2022년 말 실험용 프로토타입으로 출시된 오픈AI의 챗봇 챗GPT는 수억 명이 사용하는 일상 속 범용 앱으로 빠르게 자리 잡았다. 이런 챗GPT와 같은 LLM은 새로운 기술 패러다임으로 부상했고, 기술 업계 전반이 이 흐름에 휩쓸리며 경쟁 제품 출시 경쟁에 뛰어들었다.

기존 기술 질서의 여파가 채 가라앉기도 전에 업계는 벌써 다음 단계를 묻고 있다. 결론부터 말하면, LLM 이후의 미래 역시 LLM이다. 다만 더 발전한 형태다. 이를 ‘LLM+’라고 부르겠다.

핵심 과제는 인간이 해결하는 데 며칠 또는 몇 주가 걸리는 복잡하고 다단계적인 문제를 LLM이 처리할 수 있도록 만드는 것이다. 이를 위해서는 LLM이 더 오랜 시간 자율적으로 작동할 수 있어야 한다.

이를 실현하려면 몇 가지 조건이 필요하다. 우선 LLM의 효율성을 높이고 운영 비용을 낮춰야 한다. 이 분야에서는 이미 상당한 진전이 이루어지고 있다. 대표적인 접근방식은 ‘전문가 혼합(mixture-of-experts)’은 모델을 여러 개의 작은 모듈로 나누고 각 모듈에 특정 작업에 대한 전문성을 부여하는 방식이다. 이를 통해 필요할 때 일부 모듈만 선택적으로 작동시킬 수 있다.

또 다른 접근방식은 현재 대부분의 LLM 기반 구조인 ‘트랜스포머(transformer)’를 대체하는 것이다. 대안으로는 주로 이미지와 영상 생성에 활용되는 ‘확산 모델(diffusion model)’이 거론된다. 이 외에도 실험적인 시도가 이어지고 있다. 중국 AI 기업 딥시크는 텍스트를 이미지 형태로 인코딩해 연산 비용을 줄이는 방법을 선보이기도 했다.

또 하나의 중요한 발전 영역은 LLM의 ‘컨텍스트 윈도우(context window)’와 관련돼 있다. 이는 모델이 한 번에 처리할 수 있는 정보의 양으로, 일종의 작업 기억에 해당한다. 몇 년 전만 해도 LLM은 수천 개의 토큰, 즉 수십 페이지 분량의 텍스트를 처리하는 수준이었다. 그러나 최신 모델은 최대 100만 토큰, 즉 책 여러 권 분량까지 처리할 수 있게 됐다.

다만 컨텍스트 윈도우가 커지고 작업이 길어질수록 모델이 오류를 내거나 작업 맥락을 잃을 가능성도 함께 증가한다. 이를 해결하기 위한 연구도 진행되고 있다. MIT CSAIL 연구진은 최근 ‘재귀적 LLM(recursive LLM)’이라는 개념을 제안했다.

이 방식은 방대한 입력을 한 번에 처리하는 대신, 데이터를 여러 조각으로 나누어 각각을 모델의 복제본에 분산 처리하도록 한다. 각 복제본은 다시 입력을 더 작은 단위로 쪼개 처리할 수 있으며, 이러한 구조를 통해 복잡한 작업을 보다 안정적으로 수행할 수 있다.

결과적으로 이는 여전히 LLM이지만, 우리가 알고 있던 기존의 LLM과는 다른 형태로 진화한 모델이라 할 수 있다.

The post LLM 다음도 결국 LLM…AI의 다음 진화는 ‘LLM+’ appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.