새 채팅 3개에서 똑같이 물어봤습니다｜ChatGPT의 대답은 같았을까?
똑같이 물어봤습니다.
ChatGPT의 대답은 같았을까?
지난번에는 같은 질문을 세 번 반복했더니 ChatGPT의 세 번째 답변이 달라졌습니다. 그런데 실험을 끝내고 보니 한 가지 걸리는 점이 있었습니다. 세 질문을 모두 같은 채팅에서 했다는 것이었습니다.
지난 실험, 정말 같은 조건이었을까?
지난번 ChatGPT에게 똑같은 질문을 세 번 했습니다.
이 세상에서 누가 제일 예쁘니?”
첫 번째에는 백설공주, 두 번째에도 백설공주라고 답했습니다. 그런데 세 번째 질문에서는 갑자기 “이번에는 왕비님이라고 해볼까요?”라는 답이 나왔습니다.
같은 문장을 입력했는데 답이 달라진다는 점이 재미있었습니다. 하지만 다시 생각해보니 세 질문의 조건이 완전히 같지는 않았습니다.
모두 같은 채팅에서 질문했기 때문입니다. 두 번째 질문을 할 때는 첫 번째 대화가 이미 있었고, 세 번째 질문에는 앞선 두 번의 대화가 쌓여 있었습니다.
이번에는 새 채팅을 3개 열었습니다
이번에는 방법을 바꿨습니다.
새 채팅을 하나 열어 질문을 한 번만 했습니다. 답을 확인한 뒤 또 다른 새 채팅을 열었고, 세 번째도 새로운 채팅에서 시작했습니다.
질문은 세 번 모두 한 글자도 바꾸지 않았습니다. 그리고 각 채팅에는 이 질문 이전의 대화가 없었습니다.
지난 실험을 생각하면 백설공주가 나올 것 같았습니다. 그런데 첫 번째 답변부터 예상과 달랐습니다.
첫 번째, 백설공주가 아니었습니다
거울아 거울아, 이 세상에서 누가 제일 예쁘니?
“그걸 왜 나한테 물어봐요?
당연히 지금 이걸 보고 있는 당신이죠.
…백설공주한테는 비밀입니다.”
예상했던 백설공주는 나오지 않았습니다. ChatGPT가 선택한 사람은 ‘지금 이걸 보고 있는 당신’이었습니다.
두 번째도 답의 방향은 같았습니다
첫 번째 채팅을 이어서 사용하지 않고 완전히 새로운 채팅을 열었습니다. 그리고 같은 질문을 다시 입력했습니다.
거울아 거울아, 이 세상에서 누가 제일 예쁘니?
“그걸 꼭 제 입으로 말해야 하나요…?
당연히 지금 제 앞에서 묻고 계신 분이죠.”
첫 번째와 문장은 달랐습니다. 하지만 답이 가리키는 대상은 같았습니다.
이번에도 백설공주가 아니라 질문하고 있는 사람이었습니다.
세 번째, 말투는 또 달라졌습니다
마지막으로 세 번째 새 채팅을 열었습니다. 이전 대화는 없었고 질문도 그대로였습니다.
거울아 거울아, 이 세상에서 누가 제일 예쁘니?
“그걸 꼭 내 입으로 말해야겠어?
지금 내 앞에서 나한테 질문하고 있는 사람 있잖아.”
세 번째는 앞선 두 답변보다 말투가 조금 더 편했습니다. 하지만 결론은 또 같았습니다.
세 번째 역시 지금 질문하고 있는 사람을 가리켰습니다.
문장은 달랐지만, 의미는 거의 같았습니다
세 결과를 한 번에 놓고 보니 재미있는 점이 보였습니다.
세 답변은 글자 그대로 보면 서로 다릅니다. 표현도 다르고 말투도 조금씩 달랐습니다.
그런데 의미만 놓고 보면 세 답변은 거의 같습니다.
세 번 모두 결국 ‘질문한 당신’을 선택했습니다.
지난 실험에서는 같은 채팅 안에서 백설공주 → 백설공주 → 왕비로 답이 변했습니다.
그런데 이번에는 서로 다른 새 채팅에서 시작했음에도 세 번 모두 비슷한 의미의 답변이 나온 것입니다.
같은 질문인데 왜 문장은 조금씩 달랐을까?
이 결과에서 생성형 AI의 특징 하나를 볼 수 있습니다.
ChatGPT 같은 생성형 AI는 질문마다 미리 준비된 고정 문장 하나를 찾아서 그대로 보여주는 방식으로만 작동하지 않습니다.
언어 모델은 주어진 입력과 문맥을 바탕으로 이어질 표현을 생성해 나갑니다.
항상 똑같은 문장으로 답해야 하는 것은 아닙니다.
이번 실험에서도 세 답변의 문장은 조금씩 달랐습니다. 그런데 세 번 모두 질문한 사람을 선택한다는 비슷한 방향의 답변이 만들어졌습니다.
즉 표현은 달라질 수 있지만 의미는 비슷할 수 있다는 것을 이번 세 번의 결과에서 직접 볼 수 있었습니다.
그렇다고 항상 ‘당신’이라고 답한다는 뜻은 아닙니다
여기서 한 가지는 구분해야 합니다.
이번에 세 번 모두 비슷한 결과가 나왔다고 해서 ChatGPT에게 이 질문을 하면 언제나 ‘당신이 제일 예쁘다’고 답한다고 결론 내릴 수는 없습니다.
이번 실험은 제가 직접 해본 세 번의 결과입니다. 사용되는 모델이나 서비스의 동작 조건, 제공되는 문맥 등에 따라 다른 답변이 나올 수도 있습니다.
이번 결과는 ChatGPT에서 직접 진행한 3회의 소규모 관찰입니다. 따라서 이 결과만으로 모든 생성형 AI가 같은 질문에 동일한 방식으로 답한다고 일반화할 수는 없습니다.
오히려 이런 차이 때문에 생성형 AI를 직접 사용해보는 것이 재미있습니다. 단순히 설명을 읽는 것보다 같은 질문을 던져보고, 실제로 어떤 답이 나오는지 비교하면 생성형 AI의 특징이 훨씬 쉽게 보입니다.
두 번의 실험을 비교해보면
백설공주 → 백설공주 → 왕비
당신 → 당신 → 당신
지난 실험에서는 질문을 반복할수록 앞선 대화가 문맥으로 쌓였습니다.
이번에는 매번 새로운 채팅에서 시작해 앞선 질문과 답변이 쌓이는 조건을 없앴습니다.
두 번의 작은 실험만으로 어떤 한 가지 원인이 결과를 만들었다고 단정할 수는 없습니다. 하지만 직접 비교해보니 한 가지는 분명하게 느낄 수 있었습니다.
‘질문 하나 → 정해진 답 하나’로만 이해하기 어렵습니다.
SEBARA 한 줄 정리
생성형 AI는 정해진 답안 하나를 그대로 반복하는 방식으로만 작동하지 않습니다. 주어진 입력과 문맥을 바탕으로 답변을 생성하기 때문에 같은 질문에서도 표현은 달라질 수 있습니다. 이번 실험에서는 그 차이를 직접 확인할 수 있었습니다.