본문 바로가기

AI•테크

AI도 명탐정 코난처럼 추리할까?|사진 한 장을 보여줬더니

 
AI · EXPERIMENT · SEBARA
AI도 명탐정 코난처럼
추리할 수 있을까?
사진 한 장을 보여줬습니다

추리 만화를 보면 작은 흔적 하나에서 시작해 여러 단서를 연결하고 결국 사건의 진실에 도달하는 장면이 나옵니다. 그런데 요즘 AI도 사진을 볼 수 있습니다. 그렇다면 AI에게 사진 한 장만 보여줘도 눈앞에 보이지 않는 것까지 추리할 수 있을까요?

 

 

 

 

01

코난도 AI가 대신하는 시대가 올까?

명탐정 코난 같은 추리 만화를 보면 재미있는 장면이 자주 나옵니다.

다른 사람이라면 그냥 지나쳤을 작은 흔적 하나. 흐트러진 물건의 위치나 옷에 묻은 자국, 무심코 남겨진 흔적을 하나씩 연결해 사건의 진실에 다가갑니다.

그런데 문득 이런 생각이 들었습니다.

이제 이런 추리도 AI가 할 수 있을까?

사진 한 장만 보여준다면 AI는 그 안에서 어디까지 알아낼 수 있을까?

요즘 생성형 AI는 글만 처리하는 것이 아니라 사진 속 사물과 공간, 글자와 여러 시각적 단서도 분석할 수 있습니다.

그래서 직접 사진을 찍어 아무런 설명 없이 보여준 뒤 한 가지 질문을 해봤습니다.

PROMPT
“이 사진에서 알 수 있는 걸 전부 말해줘.”
02

ROUND 1|평범한 세면대 사진 한 장

첫 번째로 보여준 것은 집에서 찍은 평범한 세면대 사진이었습니다.

특별히 AI가 알아볼 만한 단서를 준비한 것도 아니고, 사진에 대한 설명도 하지 않았습니다. 그냥 사진 한 장을 보여주고 무엇을 알 수 있는지 물었습니다.

 

 

 
ROUND 1 AI는 생각보다 많은 것을 이야기했습니다

AI는 세면대와 수도꼭지 같은 큰 물체뿐 아니라 주변에 놓인 여러 작은 물건과 공간의 상태까지 찾아내려고 했습니다.

여기까지는 사진에 실제로 보이는 것을 설명하는 ‘관찰’에 가깝습니다.

그런데 답변을 계속 읽어보니 AI는 단순히 보이는 것을 나열하는 데서 멈추지 않았습니다. 물건이 무엇인지 해석하고, 그것을 바탕으로 상황까지 추측하기 시작했습니다.

03

그런데 첫 번째 오답이 나왔습니다

세면대 뒤쪽에는 빨강, 초록, 파랑 등 여러 색의 작은 플라스틱 물건들이 놓여 있었습니다.

AI는 이 물체들이 있다는 것 자체는 발견했습니다. 하지만 정체를 해석하는 과정에서 다른 방향으로 갔습니다.

AI 관찰
세면대 뒤쪽에 여러 개의 작고 밝은 색상의 플라스틱 물건이 놓여 있다.
AI 추측
작은 장난감이나 어린이용 소품처럼 보인다.
실제 정답
치실이었다.
FIRST MISS
물건이 있다는 것은 봤지만,
그 물건이 무엇인지는 틀렸습니다.

작은 색깔 물체라는 시각적 특징은 찾아냈지만, 그것을 장난감이나 어린이용 소품으로 해석하면서 실제 정체와 다른 결론에 도달했습니다.

04

보는 것과 알아내는 것은 달랐습니다

여기서 AI의 사진 분석을 볼 때 중요한 차이 하나가 보였습니다.

STEP 1
관찰
무엇이 보이는가?
→
STEP 2
해석
그것은 무엇인가?
→
STEP 3
추론
그렇다면 무엇을 알 수 있나?

첫 단계에서 작은 물체를 제대로 발견했더라도 두 번째 단계에서 물체의 정체를 잘못 판단하면 그다음 추론 역시 엉뚱한 방향으로 갈 수 있습니다.

POINT
단서를 많이 찾아낸다고 해서
반드시 추리까지 정확한 것은 아니었습니다.
05

ROUND 2|이번에는 주방 사진을 보여줬습니다

두 번째로는 주방 사진 한 장을 보여줬습니다. 이번에도 사진에 대한 별도의 설명은 하지 않았습니다.

그리고 똑같이 사진에서 알 수 있는 것을 물었습니다.

 

 

 

AI는 냉장고, 정수기, 수납 공간 등 사진에 보이는 여러 요소를 찾아냈습니다.

그런데 이번에는 물건의 이름을 알아내는 수준을 넘어 “왜 주방이 이렇게 구성돼 있을까?”까지 이유를 추론하기 시작했습니다.

06

틀렸는데, 이상하게 그럴듯했습니다

AI가 주방을 분석하면서 한 설명이 특히 눈에 들어왔습니다.

“자주 사용하는 소형가전을 조리대에 전부 올려놓지 않고 별도의 가전장에 넣어 조리대 공간을 확보하려는 설계 의도가 있었던 것으로 볼 수 있습니다.”

처음 읽으면 꽤 그럴듯합니다. 사진 속에는 실제로 별도의 가전장 공간이 있었기 때문입니다.

그런데 실제 이유를 알고 있는 제 입장에서는 이 추론이 맞지 않았습니다.

사진 속 사실
별도의 가전장 공간이 있다.
AI 추론
소형가전을 가전장에 넣어 조리대 공간을 확보하려는 의도로 보인다.
실제 상황
가전장 공간이 좁아서 들어갈 수 있는 제품 자체가 많지 않았다.
SECOND MISS
결과는 사진에 찍혔지만,
그 결과가 생긴 이유까지 찍힌 것은 아니었습니다.

AI는 눈앞에 보이는 주방 상태에 논리적으로 자연스러워 보이는 이유를 붙였습니다. 하지만 실제 사정은 사진만으로 확인할 수 없는 정보였습니다.

07

왜 틀린 말도 이렇게 그럴듯할까?

이번 실험에서 가장 흥미로웠던 것은 AI가 틀렸다는 사실 자체가 아니었습니다.

틀린 추론도 상당히 자연스럽고 논리적으로 들렸다는 점이었습니다.

사진 속 가전장을 발견하고, 조리대가 비교적 정리돼 있다는 시각적 정보를 연결한 뒤, “조리대 공간을 확보하려는 의도”라는 설명으로 이어지니 실제 상황을 모르는 사람이 읽으면 충분히 납득할 만합니다.

하지만 사진은 현재 보이는 모습을 보여줄 뿐, 집을 설계하거나 물건을 배치한 사람의 이유와 의도까지 직접 보여주지는 않습니다.

IMPORTANT
AI가 만들어낸 설명이 자연스럽다는 것과
그 설명이 사실이라는 것은 같은 말이 아닙니다.
08

그렇다면 AI는 사진을 어떻게 이해하는 걸까?

최근의 멀티모달 AI는 텍스트뿐 아니라 이미지도 입력으로 받아 이미지 안의 시각적 특징과 요소들 사이의 관계를 분석하고, 이를 언어적인 설명이나 추론으로 연결할 수 있습니다.

그래서 사진 속에 어떤 물체가 있는지 설명하거나, 글자를 읽고, 여러 물체 사이의 관계를 파악하는 등의 작업이 가능합니다.

하지만 사진 자체에 없는 과거의 원인이나 사람의 의도까지 직접 확인할 수 있는 것은 아닙니다.

그런 질문을 받으면 AI는 사진에서 얻은 단서와 학습 과정에서 익힌 다양한 패턴을 바탕으로 가능한 설명을 만들어낼 수 있습니다.

그래서 사진 분석 결과를 볼 때는 “AI가 실제로 사진에서 확인한 내용인지, 아니면 보이는 단서를 바탕으로 추론한 내용인지” 구분해서 읽는 것이 중요합니다.
09

그래서 AI는 코난을 대신할 수 있었을까?

사진 두 장을 가지고 해본 작은 실험이지만 한 가지는 분명히 흥미로웠습니다.

AI는 사람이 그냥 지나칠 수 있는 작은 물체까지 찾아내고, 여러 단서를 서로 연결해 사진에 직접 적혀 있지 않은 상황까지 추론하려고 했습니다.

그런 모습만 보면 제법 탐정처럼 느껴지기도 했습니다.

하지만 결정적인 차이도 있었습니다.

단서를 발견하는 능력과
그 단서로 진실을 증명하는 능력은
같은 것이 아니었습니다.

치실을 어린이용 소품으로 해석했던 것처럼 첫 번째 단서의 의미를 잘못 이해할 수도 있습니다.

또 가전장 사례처럼 사진에는 보이지 않는 이유까지 그럴듯한 이야기로 연결할 수도 있습니다.

추리 만화 속 탐정이라면 하나의 가설을 세운 뒤 다른 증거와 맞는지 계속 확인합니다. 반면 사진 한 장만으로 AI에게 모든 것을 추측하게 하면 그 추론을 확인할 추가 정보가 부족합니다.

10

SEBARA 한 줄 정리

SEBARA · SUMMARY
AI는 사진 한 장에서 생각보다 많은 단서를 찾아냈습니다. 하지만 단서를 찾는 것과 진실을 알아내는 것은 다른 문제였습니다.

이번 실험에서 AI는 작은 물건을 발견했고, 공간의 특징도 찾아냈으며, 여러 단서를 이용해 한 단계 더 나아간 추론까지 했습니다. 하지만 물체의 정체를 잘못 판단하기도 했고, 사진에 보이지 않는 이유를 그럴듯하게 설명하기도 했습니다. 그래서 AI의 사진 분석을 사용할 때는 무엇을 실제로 관찰했고 어디서부터 추론이 시작됐는지를 함께 살펴볼 필요가 있습니다.