AI가 만든 가짜 판례에 속지 않으려면 — 법률 AI 환각을 걸러내는 검증법

"AI 가짜 판례"나 "AI 환각 법률"을 찾아보게 되는 건 대개 한 번쯤 놀란 뒤입니다. AI가 사건번호와 판시사항까지 갖춘 판례를 제시했는데, 찾아보니 존재하지 않았다. 실제로 해외에서는 AI가 지어낸 가짜 판례를 그대로 법원에 제출해 제재를 받은 사례가 여러 건 있었습니다. 왜 이런 일이 생기고, 어떻게 걸러낼 수 있는지 정리합니다.

AI는 왜 없는 판례를 만들어내나

생성형 모델은 근본적으로 "다음에 올 법한 그럴듯한 문장"을 예측하는 도구입니다. 진위를 검증하는 장치가 아닙니다. 그래서 판례번호의 형식, 법원의 어투, 판시사항의 문체를 학습한 대로 자연스럽게 재현하지만, 그 조합이 실재하는지는 보장하지 못합니다. 형식이 자연스러울수록 오히려 더 위험한 이유입니다. 사람은 형식이 갖춰진 인용을 진짜로 착각하기 쉽습니다.

환각이 특히 잘 나오는 상황

• 근거가 부족한 질문: 실제 판례가 드문 쟁점을 물으면, 모델은 "없다"고 하기보다 빈칸을 채우려 합니다.
• 단정을 요구하는 프롬프트: "관련 판례를 들어줘"처럼 답을 강하게 요구하면 없는 것도 만들어냅니다.
• 출처를 제시하지 않는 도구: 근거 문서를 연결하지 않고 결론만 내놓는 답변은 환각을 걸러낼 단서를 주지 않습니다.

환각을 걸러내는 검증 절차

• 모든 인용을 원문으로 대조: AI가 든 판례·조문은 예외 없이 법원·법령 원전에서 직접 확인합니다. 사건번호가 실재하는지, 판시 내용이 맞는지, 우리 사건에 적용 가능한지를 따로 봅니다.
• 출처를 제시하는 도구를 우선: 실재하는 검색 결과 안에서만 인용하고, 각 인용을 클릭해 원문을 바로 확인할 수 있는 도구는 검증 시간을 크게 줄입니다. 출처 없는 단정형 답변은 그 자체로 경고 신호입니다.
• "없으면 없다"고 하는지 보기: 근거가 없을 때 단정하지 않고 보류하는 도구가, 빈칸을 지어내는 도구보다 안전합니다.
• 교차 확인: 중요한 인용은 서로 다른 경로로 한 번 더 대조합니다.

도구 설계로 환각을 줄이는 방법

환각은 사용자의 주의만으로 막기 어렵습니다. 도구 자체가 실재하는 검색 결과 안에서만 인용하도록 설계되어 있고, 근거가 없으면 답을 보류하며, 인용마다 원문 링크를 함께 제시하면 위험이 구조적으로 줄어듭니다. 여기에 사건(매터) 단위로 검색·인용·검토가 묶이면, 어떤 근거로 어떤 결론에 이르렀는지 추적이 쉬워 검증 부담이 더 낮아집니다.

정리

AI의 환각은 모델의 특성이지 예외적 오류가 아닙니다. 그래서 방어는 "AI가 든 인용은 근거가 아니라 확인할 후보"라는 원칙에서 시작합니다. 모든 인용을 원문으로 검증하고, 출처를 제시하며 근거 없으면 보류하는 도구를 고르면, 가짜 판례에 속지 않으면서 AI의 속도를 안전하게 쓸 수 있습니다.