제 753 호 방심하면 속는 AI 허위 정보 ‘할루시네이션’, 그 대응책은?
인공지능(AI)은 검색, 번역, 글쓰기, 이미지 생성 등 다양한 영역에서 사람들의 일상에 스며들고 있다. 그러나 AI의 활용이 확대될수록 그 부작용 역시 주목받고 있다. 최근 문제로 떠오른 것이 바로 ‘할루시네이션(hallucination)’이다. 이는 AI가 존재하지 않는 사실을 마치 사실인 것처럼 제시하는 현상으로, 사용자가 잘못된 정보를 사실로 받아들일 위험이 크다. AI 시대를 안전하게 살아가기 위해서는 할루시네이션을 경계하며, 이를 줄일 수 있는 현명한 사용법을 익히는 것이 무엇보다 중요하다.
▲글의 내용과 관련해 Chat GPT가 생성한 일러스트 이미지 (사진: Chat GPT)
할루시네이션의 발생 원인
할루시네이션은 AI가 학습 데이터의 오류, 편향, 맥락 이해 부족 등으로 잘못된 정보를 내놓는 기술적 오류 때문에 발생한다. AI가 제한된 정보만을 받아들이게 되어 편향적이거나 부정확한 오픈 데이터를 학습할 경우, 잘못된 정보가 생성되는 위험이 커진다. 지난 8일 발표한 테크크런치의 연구에서 할루시네이션은 언어모델의 학습 구조에서 비롯된다고 설명하고 있다. 현재 AI 모델은 참/거짓 라벨 없이 방대한 텍스트를 기반으로 다음 단어를 예측하는 방식으로 학습한다. 맞춤법이나 문장 구조와 같은 단순한 패턴은 대규모 학습을 통해 개선될 수 있어도, 특정 사실에 대한 판단은 AI의 예측에서 벗어날 수 있다. 사실 판단은 저빈도 패턴이기 때문에 기술적인 오류가 많다는 것이다.
신뢰를 흔드는 AI의 허위 정보
지난 8월 19일, 중국 관영매체 차이나데일리가 보도한 교육컨설팅업체 마이코스(MyCOS) 조사에 따르면, 대학생의 79.2%가 인공지능이 허위 사실을 제시한 경험이 있다고 응답했다. 실제로 챗GPT에 특정 키워드를 입력해 논문을 검색하면, 존재하지 않는 자료나 사실과 다른 내용을 제시하는 경우가 빈번하다. 이로 인해 생성형 인공지능의 답변을 그대로 신뢰하기 어려우며, 자료 활용 과정에서 추가적인 검증은 필수적이다.
이 같은 문제는 단순한 오류를 넘어 사회적 파장을 일으키기도 했다. 국내 주요 선거와 미국 대선을 앞두고 정치적 쟁점, 후보자 관련 정보, 기업 평판과 같은 민감한 사안에서 생성형 인공지능을 통해 가짜 뉴스를 확산한 사례도 많았다. 나아가 정치인이나 연예인과 같은 공인의 이미지를 조작한 ‘딥페이크’ 콘텐츠가 생성되면서 개인의 명예와 인권을 침해하는 AI 할루시네이션 문제점이 크게 부각 되었다.
AI의 할루시네이션은 인공지능에 대한 사회 전반의 신뢰 체계를 흔드는 문제로 이어지고 있다. 허위 정보가 여론 형성 과정에 개입할 경우 민주적 의사결정이 왜곡될 수 있고, 개인은 사실 확인에 드는 추가적 노력과 불신으로 인해 오히려 일의 효율성을 잃게 되는 일이 빈번해진다.
할루시네이션에 속지 않으려면?
사람들은 AI가 제공하는 정보를 맹신하는 경향이 있다. 그러나 AI, 특히 언어 모델 AI는 아직 완벽한 기술이 아니며 학습 데이터의 한계로 인해 할루시네이션이 발생할 수 있다. 따라서 우리는 AI가 제공하는 정보가 사실이 아닐 가능성을 항상 염두에 두고 사용해야 한다. AI 사용자는 웹 검색과 논문 검색, 공식 사이트 등을 이용하여 AI가 제공한 정보의 사실성을 확인하고, 할루시네이션이 의심된다면 AI에 출처를 요구하여 정확한 정보인지를 확인하여야 한다.
Chat GPT 같은 언어 모델 AI는 할루시네이션이 의심되는 정형화된 패턴이 있다. 2022년부터 현재까지 진행된 LMM (Large Multimodal Model) 신뢰성 연구 결과 AI가 정보 전달 과정에서 너무 자신감 있게 설명하거나 모호한 질문에 길게 답한다면 틀린 정보를 지어내서 단정적으로 말하고 있을 가능성이 있다. 논문, 책, 인물 이름이 생소하고 날씨, 수치, 통계가 부정확 할 경우에도 할루시네이션이 발생한다.
▲RAG 기술을 사용한 AI의 답변 과정 (출처 : How to Build a RAG Pipeline with LlamaIndex)
AI 자체적으로 할루시네이션을 줄이는 방법도 있다. 언어 모델 AI는 최신 모델일수록 정확도가 높으므로 가능한 한 최신 모델을 사용하는 것이 할루시네이션을 방지하기 좋다. 그리고 웹 검색 기능이 있는 AI를 사용하면 웹에서 실시간으로 정보를 가져오기 때문에 더욱 정확한 정보를 얻을 수 있다. 기업이나 학교에서는 RAG (Retrieval-Augmented Generation, 검색 기반 생성)라는 기술이 적용된 AI를 사용하기도 하는데, RAG (Retrieval-Augmented Generation)는 ‘검색 기반 생성 모델’로 AI가 질문에 대답하기 전에 먼저 실제 자료를 찾아보고 답하는 방식이다. 이러한 방식이 적용된 AI는 기존 AI에 비해 정확도가 높고 정보 반영이 빠르며 할루시네이션 위험이 적다.
올바른 AI 사용을 위해서는?
AI 제작자 역시 할루시네이션의 발생을 인지하고 이를 막기 위해 지속적으로 AI를 업데이트하고 있지만, 언어 모델 AI 기술이 아직은 완벽하지 못하다. 사용자는 AI의 답변이 항상 옳은 것이 아님을 알고 있어야 하며, 할루시네이션이 의심되는 경우 다양한 방법을 통해 AI가 제공한 정보를 검증해야 한다. 다방면에서의 AI 사용이 증가하고 있는 요즘, 할루시네이션은 정보를 쉽고 정확하게 얻기 위한 AI 사용 의도를 저해할 수 있다. 확실한 검증을 통해 할루시네이션을 막고 AI를 올바르게 사용할 때다.
이윤진 기자, 박찬웅 기자
