AI도 명탐정 코난처럼 추리할까?｜사진 한 장을 보여줬더니
추리할 수 있을까?
사진 한 장을 보여줬습니다
추리 만화를 보면 작은 흔적 하나에서 시작해 여러 단서를 연결하고 결국 사건의 진실에 도달하는 장면이 나옵니다. 그런데 요즘 AI도 사진을 볼 수 있습니다. 그렇다면 AI에게 사진 한 장만 보여줘도 눈앞에 보이지 않는 것까지 추리할 수 있을까요?
코난도 AI가 대신하는 시대가 올까?
명탐정 코난 같은 추리 만화를 보면 재미있는 장면이 자주 나옵니다.
다른 사람이라면 그냥 지나쳤을 작은 흔적 하나. 흐트러진 물건의 위치나 옷에 묻은 자국, 무심코 남겨진 흔적을 하나씩 연결해 사건의 진실에 다가갑니다.
그런데 문득 이런 생각이 들었습니다.
이제 이런 추리도 AI가 할 수 있을까?
사진 한 장만 보여준다면 AI는 그 안에서 어디까지 알아낼 수 있을까?
요즘 생성형 AI는 글만 처리하는 것이 아니라 사진 속 사물과 공간, 글자와 여러 시각적 단서도 분석할 수 있습니다.
그래서 직접 사진을 찍어 아무런 설명 없이 보여준 뒤 한 가지 질문을 해봤습니다.
ROUND 1｜평범한 세면대 사진 한 장
첫 번째로 보여준 것은 집에서 찍은 평범한 세면대 사진이었습니다.
특별히 AI가 알아볼 만한 단서를 준비한 것도 아니고, 사진에 대한 설명도 하지 않았습니다. 그냥 사진 한 장을 보여주고 무엇을 알 수 있는지 물었습니다.
AI는 세면대와 수도꼭지 같은 큰 물체뿐 아니라 주변에 놓인 여러 작은 물건과 공간의 상태까지 찾아내려고 했습니다.
여기까지는 사진에 실제로 보이는 것을 설명하는 ‘관찰’에 가깝습니다.
그런데 답변을 계속 읽어보니 AI는 단순히 보이는 것을 나열하는 데서 멈추지 않았습니다. 물건이 무엇인지 해석하고, 그것을 바탕으로 상황까지 추측하기 시작했습니다.
그런데 첫 번째 오답이 나왔습니다
세면대 뒤쪽에는 빨강, 초록, 파랑 등 여러 색의 작은 플라스틱 물건들이 놓여 있었습니다.
AI는 이 물체들이 있다는 것 자체는 발견했습니다. 하지만 정체를 해석하는 과정에서 다른 방향으로 갔습니다.
그 물건이 무엇인지는 틀렸습니다.
작은 색깔 물체라는 시각적 특징은 찾아냈지만, 그것을 장난감이나 어린이용 소품으로 해석하면서 실제 정체와 다른 결론에 도달했습니다.
보는 것과 알아내는 것은 달랐습니다
여기서 AI의 사진 분석을 볼 때 중요한 차이 하나가 보였습니다.
무엇이 보이는가?
그것은 무엇인가?
그렇다면 무엇을 알 수 있나?
첫 단계에서 작은 물체를 제대로 발견했더라도 두 번째 단계에서 물체의 정체를 잘못 판단하면 그다음 추론 역시 엉뚱한 방향으로 갈 수 있습니다.
반드시 추리까지 정확한 것은 아니었습니다.
ROUND 2｜이번에는 주방 사진을 보여줬습니다
두 번째로는 주방 사진 한 장을 보여줬습니다. 이번에도 사진에 대한 별도의 설명은 하지 않았습니다.
그리고 똑같이 사진에서 알 수 있는 것을 물었습니다.
AI는 냉장고, 정수기, 수납 공간 등 사진에 보이는 여러 요소를 찾아냈습니다.
그런데 이번에는 물건의 이름을 알아내는 수준을 넘어 “왜 주방이 이렇게 구성돼 있을까?”까지 이유를 추론하기 시작했습니다.
틀렸는데, 이상하게 그럴듯했습니다
AI가 주방을 분석하면서 한 설명이 특히 눈에 들어왔습니다.
처음 읽으면 꽤 그럴듯합니다. 사진 속에는 실제로 별도의 가전장 공간이 있었기 때문입니다.
그런데 실제 이유를 알고 있는 제 입장에서는 이 추론이 맞지 않았습니다.
그 결과가 생긴 이유까지 찍힌 것은 아니었습니다.
AI는 눈앞에 보이는 주방 상태에 논리적으로 자연스러워 보이는 이유를 붙였습니다. 하지만 실제 사정은 사진만으로 확인할 수 없는 정보였습니다.
왜 틀린 말도 이렇게 그럴듯할까?
이번 실험에서 가장 흥미로웠던 것은 AI가 틀렸다는 사실 자체가 아니었습니다.
틀린 추론도 상당히 자연스럽고 논리적으로 들렸다는 점이었습니다.
사진 속 가전장을 발견하고, 조리대가 비교적 정리돼 있다는 시각적 정보를 연결한 뒤, “조리대 공간을 확보하려는 의도”라는 설명으로 이어지니 실제 상황을 모르는 사람이 읽으면 충분히 납득할 만합니다.
하지만 사진은 현재 보이는 모습을 보여줄 뿐, 집을 설계하거나 물건을 배치한 사람의 이유와 의도까지 직접 보여주지는 않습니다.
그 설명이 사실이라는 것은 같은 말이 아닙니다.
그렇다면 AI는 사진을 어떻게 이해하는 걸까?
최근의 멀티모달 AI는 텍스트뿐 아니라 이미지도 입력으로 받아 이미지 안의 시각적 특징과 요소들 사이의 관계를 분석하고, 이를 언어적인 설명이나 추론으로 연결할 수 있습니다.
그래서 사진 속에 어떤 물체가 있는지 설명하거나, 글자를 읽고, 여러 물체 사이의 관계를 파악하는 등의 작업이 가능합니다.
하지만 사진 자체에 없는 과거의 원인이나 사람의 의도까지 직접 확인할 수 있는 것은 아닙니다.
그런 질문을 받으면 AI는 사진에서 얻은 단서와 학습 과정에서 익힌 다양한 패턴을 바탕으로 가능한 설명을 만들어낼 수 있습니다.
그래서 AI는 코난을 대신할 수 있었을까?
사진 두 장을 가지고 해본 작은 실험이지만 한 가지는 분명히 흥미로웠습니다.
AI는 사람이 그냥 지나칠 수 있는 작은 물체까지 찾아내고, 여러 단서를 서로 연결해 사진에 직접 적혀 있지 않은 상황까지 추론하려고 했습니다.
그런 모습만 보면 제법 탐정처럼 느껴지기도 했습니다.
하지만 결정적인 차이도 있었습니다.
단서를 발견하는 능력과
그 단서로 진실을 증명하는 능력은
같은 것이 아니었습니다.
치실을 어린이용 소품으로 해석했던 것처럼 첫 번째 단서의 의미를 잘못 이해할 수도 있습니다.
또 가전장 사례처럼 사진에는 보이지 않는 이유까지 그럴듯한 이야기로 연결할 수도 있습니다.
추리 만화 속 탐정이라면 하나의 가설을 세운 뒤 다른 증거와 맞는지 계속 확인합니다. 반면 사진 한 장만으로 AI에게 모든 것을 추측하게 하면 그 추론을 확인할 추가 정보가 부족합니다.
SEBARA 한 줄 정리
이번 실험에서 AI는 작은 물건을 발견했고, 공간의 특징도 찾아냈으며, 여러 단서를 이용해 한 단계 더 나아간 추론까지 했습니다. 하지만 물체의 정체를 잘못 판단하기도 했고, 사진에 보이지 않는 이유를 그럴듯하게 설명하기도 했습니다. 그래서 AI의 사진 분석을 사용할 때는 무엇을 실제로 관찰했고 어디서부터 추론이 시작됐는지를 함께 살펴볼 필요가 있습니다.