학습 컴퓨트가 말해주는 것과 아닌 것

프론티어 AI를 둘러싼 숫자 중 학습 컴퓨트는 가장 유익하면서 가장 덜 과장된 축에 듭니다. 모델 학습에 쓰인 부동소수점 연산을 재며, 10년 넘게 연 약 4~5배 성장했습니다. GPT-4가 2023년 1e25 FLOP 규모의 첫 모델이었고, 2025년 프론티어 모델은 1e26 FLOP를 넘어(10배), 12개 개발사의 30여 모델이 GPT-4 문턱을 통과했습니다.

왜 출력이 아니라 입력을 추적할까요? 컴퓨트가 모두가 논쟁하는 역량 향상 뒤의 가장 분명하고 포장하기 어려운 동인이기 때문입니다. 챗봇이 무엇을 ‘이해’하는지는 논쟁할 수 있어도, 학습 규모는 검증 가능한 사실이고 비용과 단단히 연결됩니다 — 이제 프론티어 학습은 수억 달러에 이르며, 그래서 자본이 두둑한 소수 연구소만 참여할 수 있습니다.

2025년엔 변수가 하나 늘었습니다. 진전이 더 이상 ‘더 큰 사전학습’에서만 오지 않게 됐습니다. 추론 모델 — DeepSeek-R1, OpenAI o 시리즈, Claude의 확장 사고 — 은 학습 대신(또는 학습에 더해) 답을 낼 때 더 많은 컴퓨트를 써(‘test-time 컴퓨트’) 역량을 삽니다. 그래서 학습 FLOP 단일 숫자가 담는 이야기는 예전보다 줄었습니다. 최근 프런티어 향상의 일부는 모델이 얼마나 크게 학습됐는지가 아니라 질의당 얼마나 ‘생각’하도록 허용되는지에 있습니다.

단서가 숫자만큼 중요합니다. 컴퓨트는 지능이 아니라 입력입니다: 효율 개선·더 나은 데이터·새 알고리즘 덕에 비슷한 컴퓨트의 두 모델도 크게 다를 수 있고, 더 큰 학습이 더 나은 모델을 보장하지 않습니다. 우리는 컴퓨트가 정직하고 설명력이 있어 추적하되, 어느 한 렌즈도 홀로 서지 않도록 벤치마크 점수·투자와 함께 봅니다.