AI / Data / Business

기업 AI의 진짜 병목은 모델이 아니라 ‘온톨로지’다

환각을 줄이고, 에이전트가 사고 치지 않게 만드는 AI 시대의 데이터 운영체제

LLM을 도입한 기업들이 가장 먼저 부딪히는 문제는 대개 비슷합니다. 처음에는 “우리 회사 데이터만 넣으면 AI가 알아서 잘 답하겠지”라고 기대합니다. 그런데 막상 써보면 답이 그럴듯하긴 한데, 결정적인 순간에 틀립니다. 더 큰 문제는 틀린 답을 아주 자신 있게 말한다는 거예요.

이 문제를 우리는 보통 환각 hallucination이라고 부릅니다.

그런데 에이전틱 AI와 피지컬 AI의 시대에는 환각이 단순한 불편함으로 끝나지 않습니다. 챗봇이 잘못 답하는 정도가 아니라, AI가 실제 업무를 실행하고, 장비를 움직이고, 의사결정을 자동화하는 순간부터는 잘못된 데이터 하나가 재앙으로 이어질 수 있습니다.

예전에는 이렇게 말했죠. Garbage in, garbage out. 쓰레기를 넣으면 쓰레기가 나온다. 하지만 에이전틱 AI 시대에는 이 문장이 조금 더 무거워집니다.

바로 여기서 다시 주목받는 개념이 있습니다. 온톨로지 Ontology입니다. 온톨로지는 AI의 성능을 마법처럼 올려주는 비법 재료가 아닙니다. 오히려 더 정확히 말하면, 기업 AI가 위험한 결정을 하지 않도록 만드는 데이터의 가드레일에 가깝습니다.

온톨로지는 AI가 이해할 수 있는 ‘개념 지도’다

Q. 온톨로지라는 단어부터 어렵습니다. 쉽게 말하면 뭔가요?

온톨로지는 원래 철학에서 온 단어입니다. 뜻은 존재론입니다. 무엇이 존재하는지, 그것이 어떤 성격을 갖는지, 서로 어떤 관계를 맺는지를 다루는 영역이죠.

하지만 AI와 정보 시스템의 관점에서 보면 조금 더 실용적으로 설명할 수 있습니다.

예를 들어 “서울”이라는 단어를 생각해봅시다. 사람은 서울이라는 말을 들으면 자연스럽게 서울은 도시이고, 대한민국의 수도이며, 인구와 행정구역과 교통망을 가진다는 맥락을 떠올립니다. 하지만 컴퓨터에게 서울은 그냥 문자열일 수 있습니다.

서울은 도시다.
도시는 사람이 사는 공간이다.
도시는 인구를 가진다.
도시는 행정구역을 가진다.
서울은 대한민국의 수도다.

즉, 온톨로지는 단어를 저장하는 것이 아니라 단어가 의미하는 개념과 관계를 저장합니다.

Q. 그럼 LLM도 이런 걸 이미 알고 있지 않나요?

어느 정도는 알고 있습니다. 요즘 LLM은 “서울은 대한민국의 수도다” 같은 질문에 잘 답합니다. 하지만 중요한 차이가 있습니다. LLM은 답을 확률적으로 생성합니다. 온톨로지는 개념과 관계를 명시적으로 정의합니다.

쉽게 말해, LLM이 말 잘하는 사람이라면 온톨로지는 그 사람이 참고해야 하는 사내 업무 규정, 용어 사전, 판단 기준, 관계도에 가깝습니다.

지식 그래프는 빵이고, 온톨로지는 빵틀이다

Q. 온톨로지와 지식 그래프는 같은 말인가요?

비슷하게 쓰이지만 엄격히 보면 다릅니다. 김학래 교수는 이 차이를 “빵틀과 빵”으로 설명합니다.

온톨로지 = 빵틀
지식 그래프 = 빵

예를 들어 전 세계 도시 정보를 정리한다고 해봅시다. 먼저 “도시란 무엇인가”를 정의해야 합니다. 도시는 이름을 가지고, 국가에 속하며, 인구와 면적을 가집니다. 이런 틀이 온톨로지입니다.

그다음 이 틀에 실제 데이터를 넣습니다. 서울, 런던, 뉴욕 같은 실제 도시와 그 속성들이 연결되면 그것이 지식 그래프가 됩니다.

Q. 구글 검색의 오른쪽 정보 패널도 이런 원리인가요?

맞습니다. 구글에서 어떤 인물이나 도시를 검색하면 오른쪽에 별도의 정보 박스가 뜹니다. 이걸 Knowledge Panel이라고 부릅니다. 예전 검색이 문자열을 찾는 방식이었다면, 지식 그래프 이후의 검색은 그 문자열이 가리키는 실제 대상과 의미를 파악하는 방향으로 바뀌었습니다.

구글이 말했던 “string이 아니라 thing을 검색한다”는 표현도 이 맥락입니다.

기업 AI에 필요한 것은 더 큰 모델이 아니라 더 명확한 맥락이다

Q. 기업들이 LLM을 도입했는데 성능이 잘 안 나오는 이유도 온톨로지 때문인가요?

많은 경우 그렇습니다. 기업에서 쓰는 단어는 일반 상식과 다릅니다. 같은 단어라도 회사마다 의미가 다릅니다.

예를 들어 “재고 부족”이라는 표현을 생각해봅시다. A기업에서는 현재 재고가 7일치 미만이면 재고 부족일 수 있고, B기업에서는 현재 재고가 3일치 미만이면서 다음 입고 예정이 48시간 이후일 때만 재고 부족일 수 있습니다.

이런 기준은 LLM이 학습으로 알아서 추론하면 안 됩니다. 기업의 업무 기준은 명시적으로 정의되어 있어야 합니다. 온톨로지는 바로 이 기준을 제공합니다.

Q. 그럼 범용 챗봇에 온톨로지를 붙이면 되는 건가요?

현실적으로 온톨로지는 범용 상식 전체에 적용되기보다, 특정 도메인이나 기업 환경에서 더 큰 효과를 냅니다. 전 세계의 모든 상식과 개념을 하나의 온톨로지로 정리하는 것은 거의 불가능에 가깝기 때문입니다.

기업 AI에 필요한 것은 모든 것을 아는 AI가 아닙니다. 우리 회사의 언어와 기준을 정확히 이해하는 AI입니다.

RAG 다음은 Graph RAG다

Q. RAG를 쓰면 환각이 줄어든다고 하잖아요. 온톨로지는 RAG와 어떤 관계인가요?

RAG는 LLM이 답을 만들기 전에 외부 문서를 검색해서 참고하게 만드는 방식입니다. 이 방식은 환각을 줄이는 데 도움이 됩니다. 하지만 일반적인 RAG에도 한계가 있습니다.

문서를 그냥 검색해서 넣어주는 방식은 여전히 “문서 조각” 중심입니다. 문서 안의 개념과 관계를 정확히 이해하는 것은 별개의 문제입니다.

기업 AI가 단순 질의응답을 넘어 실제 업무 판단을 하려면, 문서 검색보다 한 단계 더 깊은 구조가 필요합니다. 그 구조가 지식 그래프이고, 그 지식 그래프의 틀이 온톨로지입니다.

팔란티어가 말하는 온톨로지는 단순한 데이터 사전이 아니다

Q. 팔란티어가 온톨로지로 유명한 이유는 뭔가요?

팔란티어는 온톨로지를 단순히 데이터를 정리하는 도구로 보지 않습니다. 기업의 실제 의사결정과 실행을 연결하는 운영 레이어로 봅니다.

1. Semantic Layer  — 개념을 정의한다
2. Kinetic Layer   — 개념들이 시스템 안에서 어떻게 움직이는지 본다
3. Dynamics Layer  — 실제 액션과 의사결정을 가능하게 한다

이 레이어가 있으면 온톨로지는 정적인 데이터 사전이 아니라, 기업 운영을 움직이는 동적 시스템이 됩니다. ERP, CRM, SCM 같은 기업 시스템을 연결하고, 그 위에서 의사결정과 실행이 이어지도록 만드는 것이 핵심입니다.

온톨로지는 성능 향상 도구가 아니라 리스크 보험이다

Q. 온톨로지를 도입하면 AI 성능이 좋아지나요?

좋아질 수 있습니다. 하지만 그게 핵심은 아닙니다. 진짜 가치는 리스크를 줄이는 것에 있습니다.

기업 AI에서 가장 위험한 상황은 AI가 잘못된 데이터를 읽고, 잘못된 맥락으로 판단하고, 그 판단을 바탕으로 실제 업무를 실행하는 것입니다. 과거에는 데이터가 잘못되면 잘못된 보고서가 나왔습니다. 하지만 에이전틱 AI 시대에는 잘못된 데이터가 잘못된 실행으로 이어집니다.

Q. 실제 사례로 보면 어떤 문제가 생길 수 있나요?

영상에서는 미국 유통기업 Target의 캐나다 진출 실패 사례가 언급됩니다. 시스템 자체는 강력했지만, 짧은 시간 안에 많은 사람이 데이터를 입력하면서 단위와 규격이 뒤섞였습니다. 그 결과 매장에는 재고가 없는데 시스템에는 재고가 많다고 표시되는 문제가 생겼습니다.

기존 ERP 환경에서도 이런 데이터 오류는 큰 손실을 만들었습니다. 그런데 AI 에이전트가 자동으로 발주, 가격 조정, 고객 안내, 물류 배정을 실행한다면 오류는 더 빠르게, 더 크게 증폭됩니다.

기업은 온톨로지를 어디서부터 시작해야 하나

Q. 온톨로지가 중요하다는 건 알겠는데, 구축 비용이 너무 크지 않나요?

맞습니다. 온톨로지는 쉽게 만들 수 있는 것이 아닙니다. 도메인 전문가와 온톨로지 전문가가 함께 들어가서 개념을 정의하고, 관계를 설계하고, 데이터를 태깅해야 합니다.

온톨로지 프로젝트가 실패하는 가장 큰 이유는 기술이 어려워서만이 아닙니다. 기업 데이터가 이미 사일로로 쪼개져 있기 때문입니다.

Q. 그러면 현실적인 시작점은 뭔가요?

처음부터 회사 전체를 온톨로지화하려고 하면 실패할 가능성이 높습니다. 대신 가장 먼저 봐야 할 것은 참조성이 높은 골든 데이터입니다.

고객 마스터 데이터
제품 마스터 데이터
재고 기준 데이터
계약 조건 데이터
설비/부품 데이터
가격 정책 데이터
리스크 판단 기준

기업이 처음 해야 할 질문은 이것입니다. 우리 회사에서 AI가 반드시 정확히 이해해야 하는 개념은 무엇인가?

지금 당장 시작할 수 있는 체크리스트

기업에서 온톨로지를 거창하게 시작할 필요는 없습니다. 먼저 아래 질문부터 던져볼 수 있습니다.

• 우리 회사에서 가장 자주 쓰는 핵심 개념 20개는 무엇인가?
• 부서마다 다르게 쓰는 용어는 무엇인가?
• AI가 잘못 이해하면 가장 큰 사고가 나는 데이터는 무엇인가?
• 여러 시스템에서 반복적으로 참조되는 골든 데이터는 무엇인가?
• 제품, 고객, 재고, 계약, 설비 같은 핵심 객체의 관계가 명시되어 있는가?
• RAG에 넣는 문서들이 단순 텍스트인지, 구조화된 지식인지 확인했는가?
• AI가 답할 때 반드시 따라야 하는 회사의 판단 기준은 어디에 정의되어 있는가?

AI 네이티브 기업은 모델을 많이 쓰는 회사가 아닙니다. AI가 읽을 수 있는 회사를 만드는 조직입니다. 온톨로지는 그 출발점입니다.