생성형 AI란? ChatGPT가 단순한 곱셈도 틀릴 수 있는 이유
ChatGPT가 단순한 곱셈도 틀릴 수 있는 이유
글도 쓰고 코딩도 하는 AI가 왜 간단한 계산에서는 실수할 때가 있을까요? 이 질문에서 생성형 AI의 원리를 시작해봅니다.
ChatGPT를 사용하다가 조금 이상한 경험을 한 적이 있습니다.
어려운 내용을 물어보면 꽤 그럴듯하게 설명합니다. 긴 글을 요약하고, 필요한 문장을 만들어주고, 코드를 작성하기도 합니다.
그런데 어느 날 곱셈을 하나 시켰는데
답이 틀렸습니다.
순간 이상했습니다.
글도 쓰고 코딩도 하는 AI가
계산기라면 틀리지 않을 계산을 틀렸기 때문입니다.
그런데 알고 보면 그렇게 이상한 일만은 아닙니다. 오히려 이 작은 경험 속에 생성형 AI를 이해하는 중요한 단서가 숨어 있습니다.
ChatGPT는 애초에
계산기로 만들어진 것이 아닙니다.
ChatGPT의 기반이 되는 언어모델은 계산기처럼 정해진 산술 연산을 수행하기 위해 만들어진 것이 아니라, 학습한 패턴과 주어진 문맥을 바탕으로 적절한 출력을 생성하는 데 초점을 둡니다.
이 차이를 이해하면 생성형 AI가 무엇인지, 그리고 우리가 사용하는 AI가 어떤 방식으로 답을 만들어내는지 훨씬 쉽게 이해할 수 있습니다.
생성형 AI는 무엇을 하는 AI일까?
생성형 AI(Generative AI)는 이름 그대로 새로운 결과물을 만들어내는 인공지능입니다.
우리가 이전부터 사용해온 AI는 주어진 데이터를 바탕으로 무언가를 분류하거나, 판별하고, 예측하는 데 많이 활용돼 왔습니다.
예를 들어 이메일이 스팸인지 아닌지 판별하거나, 사진 속 물체가 사람인지 자동차인지 구분하고, 거래 패턴을 분석해 이상 거래 가능성을 찾아내는 식입니다.
생성형 AI는 여기서 한 걸음 더 나아갑니다.
사용자가 요청하면 글을 작성하고, 이미지를 만들고, 코드를 생성하는 등 새로운 결과물을 만들어낼 수 있습니다.
ChatGPT가 질문에 맞춰 새로운 문장을 만들어내는 것도 바로 이러한 생성형 AI의 특징입니다.
계산기와 생성형 AI는 무엇이 다를까?
처음 이야기했던 곱셈 문제로 다시 돌아가 보겠습니다.
계산기에 두 숫자를 입력하고 곱셈 버튼을 누르면 계산기는 정해진 연산 규칙에 따라 결과를 계산합니다.
계산을 정확하게 수행하는 것이 계산기의 핵심 역할입니다.
계산하는 기계와 생성하는 AI
정해진 연산을 수행한다
- 숫자 입력
- 정해진 계산 규칙
- 계산 결과
문맥에 맞는 출력을 생성한다
- 사용자의 입력
- 문맥과 학습된 패턴 처리
- 다음 토큰을 예측하며 출력 생성
ChatGPT의 기반이 되는 대규모 언어모델, 즉 LLM(Large Language Model)은 기본적으로 언어의 패턴을 학습하고 입력에 이어질 출력을 생성하는 모델입니다.
따라서 언어모델 자체에 산술 문제를 맡기는 것은 계산기에 숫자를 입력하는 것과 작동 원리부터 다릅니다.
중요: 이것은 “AI는 계산을 못한다”는 뜻이 아닙니다. 현재의 AI 서비스는 모델 자체의 능력뿐 아니라 필요에 따라 계산기나 코드 실행 같은 별도의 도구를 활용해 계산을 처리할 수도 있습니다.
핵심은 생성형 언어모델의 기본 작동 방식과 계산기의 작동 방식이 같지 않다는 점입니다.
그렇다면 ChatGPT는 어떻게 문장을 만들까?
생성형 언어모델을 이해하려면 먼저 토큰(token)이라는 개념을 알아두면 좋습니다.
토큰은 AI가 텍스트를 처리하는 기본 단위입니다. 하나의 단어가 하나의 토큰이 될 수도 있지만, 단어의 일부나 문장부호 등이 별도의 토큰으로 나뉠 수도 있습니다.
입력 오늘 점심으로 김치…
이어질 수 있는 표현 찌개 · 볶음밥 · 전 …
언어모델은 지금까지 주어진 문맥과 학습 과정에서 익힌 패턴을 이용해 다음에 어떤 토큰이 이어질 가능성이 있는지를 계산합니다.
하나의 토큰을 생성하면 거기에서 끝나는 것도 아닙니다.
새롭게 생성된 토큰까지 포함한 문맥을 바탕으로 다시 다음 토큰을 예측합니다. 이런 과정이 반복되면서 하나의 문장, 나아가 긴 답변이 만들어집니다.
물론 실제 대규모 언어모델의 내부 작동은 이것보다 훨씬 복잡합니다.
하지만 생성형 AI를 처음 이해할 때는 “앞의 문맥을 바탕으로 다음 토큰을 계속 예측하며 출력을 만들어간다”는 개념부터 잡으면 충분합니다.
AI는 이런 능력을 어디서 배웠을까?
그렇다면 AI는 어떤 표현이 자연스럽게 이어지는지 어떻게 알 수 있을까요?
그 바탕에는 학습(training) 과정이 있습니다.
대규모 언어모델은 방대한 데이터를 이용한 학습을 통해 언어의 구조와 패턴, 여러 개념 사이의 관계를 모델 내부에 반영합니다.
이 과정에서 모델 내부에 존재하는 수많은 파라미터(parameter)가 조정됩니다.
여기서 파라미터를 ‘책의 내용을 그대로 저장해 놓은 서랍’처럼 생각하면 조금 오해하기 쉽습니다.
각각의 정보를 문장 그대로 보관한다기보다, 입력을 어떻게 처리하고 어떤 출력을 만들어낼지를 결정하는 수많은 수치적 관계가 학습된다고 이해하는 편이 좋습니다.
이렇게 대규모로 언어를 학습한 모델을
LLM, 대규모 언어모델이라고 합니다.
다음 단어를 예측하는데 어떻게 대화까지 할까?
여기까지 읽으면 한 가지 의문이 생길 수 있습니다.
“다음 토큰을 예측하는 것이 핵심이라면 어떻게 앞에서 했던 이야기를 이어가고, 복잡한 질문에도 긴 답변을 만들 수 있을까?”
여기에서 중요한 요소 중 하나가 문맥(context)입니다.
언어모델은 현재 처리할 수 있는 문맥 안에서 앞서 주어진 내용과 사용자의 지시 등을 함께 고려해 다음 출력을 생성합니다.
그래서 같은 내용을 질문하더라도 “초등학생도 이해할 수 있게 설명해줘”라고 했을 때와 “전문가를 대상으로 설명해줘”라고 했을 때 서로 다른 형태의 답변을 만들 수 있습니다.
우리가 AI와 대화할 때 마치 상대방이 내 말을 이해하고 있는 것처럼 느끼는 이유 중 하나도 이러한 문맥 처리 능력과 관련이 있습니다.
다만 사람이 의미를 이해하는 방식과 AI가 정보를 처리하는 방식을 완전히 같은 것으로 볼 수는 없습니다.
그래서 AI는 틀린 답도 자연스럽게 말한다
이제 처음의 곱셈 이야기로 다시 돌아와 보겠습니다.
생성형 언어모델은 문맥에 어울리는 자연스러운 출력을 만들어내는 데 매우 뛰어납니다.
하지만 자연스러운 문장을 만드는 것과 그 문장이 사실인지 검증하는 것은 서로 다른 문제입니다.
자연스러운 답변과
사실인 답변은 같은 말이 아닙니다.
그래서 생성형 AI는 때때로 실제로 존재하지 않는 정보나 잘못된 내용을 상당히 자연스러운 문장으로 만들어낼 수 있습니다.
이런 현상을 흔히 AI 환각(Hallucination)이라고 부릅니다.
생성형 AI를 잘 사용하는 데 필요한 능력은 좋은 질문을 만드는 것만이 아닙니다.
날짜, 숫자, 인물, 출처처럼 사실 확인이 필요한 내용이나 중요한 의사결정에 사용되는 정보라면 AI가 제시한 답변을 그대로 받아들이지 않고 신뢰할 수 있는 자료를 통해 다시 확인할 필요가 있습니다.
생성형 AI, 이것만 기억하세요
- 생성형 AI는 학습한 패턴을 바탕으로 새로운 결과물을 만들어냅니다.
- ChatGPT의 기반이 되는 언어모델과 계산기는 기본적인 목적과 작동 방식이 다릅니다.
- 언어모델은 문맥을 바탕으로 다음 토큰을 예측하는 과정을 반복하며 출력을 생성합니다.
- 자연스럽게 만들어진 답변이라고 해서 언제나 사실이라는 뜻은 아닙니다.
처음에는 단순한 곱셈을 틀리는 AI가 이상하게 느껴질 수 있습니다.
하지만 생성형 AI가 계산기와는 전혀 다른 원리로 만들어졌다는 사실을 알고 나면 오히려 AI의 여러 특징이 조금씩 이해되기 시작합니다.
AI가 왜 이렇게 자연스럽게 글을 만드는지, 왜 같은 질문에도 조금씩 다른 답을 할 수 있는지, 그리고 왜 때때로 틀린 내용을 자신 있게 이야기하는지도 결국 이러한 작동 방식과 연결되어 있습니다.
그리고 그 중심에는 LLM(Large Language Model), 대규모 언어모델이 있습니다.
LLM이란?
ChatGPT를 움직이는 대규모 언어모델은 무엇을 학습하고 어떻게 작동하는지 다음 글에서 알아봅니다.