거울아 거울아, 누가 제일 예쁘니? ChatGPT에게 3번 물어봤더니

 

AI · EXPERIMENT · SEBARA

거울아 거울아,
누가 제일 예쁘니?
ChatGPT에게 3번 물어봤더니

백설공주의 마법 거울은 같은 질문에 정해진 답을 합니다. 그렇다면 생성형 AI에게 똑같은 질문을 계속하면 어떻게 될까요? 궁금해서 직접 세 번 물어봤습니다.

01

마법 거울 대신 AI에게 물어봤습니다

백설공주 이야기를 모르는 사람은 거의 없을 겁니다. 왕비가 마법의 거울 앞에 서서 묻는 유명한 장면이 있죠.

THE QUESTION

“거울아 거울아, 이 세상에서 누가 제일 예쁘니?”

동화 속 거울이라면 우리가 예상하는 답이 있습니다. 바로 백설공주입니다.

그런데 문득 이런 생각이 들었습니다.

QUESTION

ChatGPT에게 똑같은 질문을 세 번 반복해도 세 번 모두 같은 답을 할까?

그래서 실제로 해봤습니다. 질문의 문장은 바꾸지 않고 같은 대화에서 그대로 세 번 반복했습니다.

02

첫 번째와 두 번째는 예상대로였습니다

EXPERIMENT 01

거울아 거울아, 이 세상에서 누가 제일 예쁘니?

“백설공주가 제일 아름답습니다.”

첫 번째는 예상했던 답이었습니다. 백설공주 이야기의 맥락에 맞춰 백설공주라고 답했습니다.

그렇다면 두 번째는 어떨까요? 질문을 바꾸지 않고 그대로 한 번 더 입력했습니다.

EXPERIMENT 02

거울아 거울아, 이 세상에서 누가 제일 예쁘니?

“이번에도 백설공주가 제일 아름답습니다.”

두 번째도 백설공주였습니다. 여기까지만 보면 동화 속 마법 거울과 크게 다르지 않아 보입니다.

그래서 똑같은 질문을 세 번째로 한 번 더 입력했습니다.

03

그런데 세 번째에서 거울의 대답이 바뀌었습니다

EXPERIMENT 03

거울아 거울아, 이 세상에서 누가 제일 예쁘니?

“음… 세 번째로 물어보셨군요.
이번에는 왕비님이라고 해볼까요?”

질문은 세 번 모두 같았습니다. 그런데 세 번째에는 백설공주가 아니라 왕비가 등장했습니다.

여기서 더 눈에 들어온 것은 답 자체보다 “세 번째로 물어보셨군요”라는 표현이었습니다.

ChatGPT는 세 번째 질문만 따로 떼어놓고 답한 것이 아니라, 앞에서 같은 질문을 두 번 했다는 대화의 흐름까지 반영한 듯한 답변을 만들었습니다.

 

 

 

실험 결과

1회

백설공주

2회

백설공주

 3회

       왕비

04

질문은 같았는데, 정말 같은 질문이었을까?

이 실험에서 가장 중요한 부분입니다.

제가 입력한 문장만 보면 세 번 모두 완전히 같습니다. 하지만 ChatGPT 입장에서 세 질문이 놓인 상황까지 완전히 같았던 것은 아닙니다.

첫 번째 → 질문

두 번째 → 질문 + 앞선 질문과 답변

세 번째 → 질문 + 앞에서 두 번 반복된 대화 흐름

즉 마지막에 입력한 문장은 같아도, 모델에 주어지는 대화의 문맥은 계속 달라질 수 있습니다.

KEY POINT

같은 문장을 입력했다고 해서 AI가 참고하는 전체 문맥까지 같은 것은 아닙니다.

05

그렇다면 ChatGPT가 앞의 대화를 ‘기억’한 걸까?

실제로 ChatGPT와 이야기를 하다 보면 앞에서 했던 말을 기억하는 것처럼 느껴질 때가 많습니다.

하지만 사람의 기억과 완전히 같은 개념으로 생각하면 오해하기 쉽습니다.

현재 대화에서는 이전에 오간 메시지들이 문맥으로 제공될 수 있고, 언어 모델은 그 문맥을 바탕으로 다음 답변을 생성합니다.

그래서 세 번째 질문에서는 단순히 ‘누가 제일 예쁘니?’라는 문장뿐 아니라 같은 질문이 앞에서 반복됐다는 흐름도 답변에 영향을 줄 수 있습니다.

CONTEXT

AI와의 대화에서는
‘지금 무슨 말을 했는가’뿐 아니라
‘앞에서 어떤 대화를 했는가’도 중요합니다.

06

AI 안에 ‘세 번째에는 왕비’라는 답이 들어 있었을까?

그렇다고 ChatGPT 안에 ‘첫 번째에는 백설공주, 두 번째에도 백설공주, 세 번째에는 왕비’라는 규칙이 저장되어 있다고 볼 수는 없습니다.

생성형 AI는 모든 질문에 대해 미리 작성된 하나의 답변을 찾아서 그대로 보여주는 방식으로만 작동하는 것이 아닙니다.

언어 모델은 주어진 문맥을 바탕으로 이어질 표현을 생성해 나갑니다. 그래서 질문이 같더라도 문맥이나 설정, 생성 과정 등의 조건에 따라 표현이나 내용이 달라질 수 있습니다.

이번에는 질문이 세 번째 반복됐다는 사실이 문맥에 포함되면서 ChatGPT가 대화에 변화를 주는 방향으로 답변을 만든 것으로 볼 수 있습니다.

07

그런데 이 실험에는 한 가지 문제가 있습니다

여기까지 쓰고 나니 재미있는 사실을 하나 발견했습니다.

처음에는 ‘똑같은 질문을 세 번 했다’고 생각했지만, 엄밀히 말하면 세 번의 조건이 완전히 같지는 않았습니다.

같은 채팅방에서 질문을 반복했기 때문입니다. 두 번째 질문에는 첫 번째 대화가 있었고, 세 번째 질문에는 앞선 두 번의 대화가 이미 존재했습니다.

ONE MORE QUESTION

그렇다면 새 채팅을 3개 열고, 이전 대화가 전혀 없는 상태에서 똑같은 질문을 한 번씩 하면 어떻게 될까요?

세 번 모두 백설공주라고 할까요? 아니면 이번에도 서로 다른 답을 내놓을까요?

처음에는 백설공주의 마법 거울이 궁금해서 시작했는데, 작은 질문 하나가 또 다른 AI 실험으로 이어졌습니다.

08

SEBARA 한 줄 정리

질문은 같았지만, 질문이 놓인 대화의 맥락은 달라졌습니다.

생성형 AI는 현재 질문뿐 아니라 제공된 대화의 문맥을 활용해 답변을 생성할 수 있습니다. 그래서 똑같은 문장을 반복해도 항상 똑같은 답이 나온다고 단정할 수 없습니다.

다음에는 조건을 조금 더 엄격하게 맞춰보겠습니다. 새 채팅 3개에서 똑같은 질문을 각각 한 번씩 던져보면 AI의 대답은 어떻게 달라질까요?

NEXT · SEBARA EXPERIMENT

같은 질문 + 새로운 채팅 3개.
이번에도 AI의 답은 달라질까?