[한국공공정책신문=김유리 기자] 설명 가능한 AI(XAI, Explainable Artificial Intelligence)란 AI의 의사결정 프로세스를 이해하기 쉽게 하기 위한 기술이나 기법을 말한다. AI가 어떻게 결과를 도출하고 있는지 명시함으로써 사용자나 개발자가 그 판단을 신뢰하고 적절하게 활용할 수 있도록 한다.
◇ XAI의 필요성
AI 시스템이 점점 더 많은 분야에서 이용되면서 그 판단 근거가 불분명한 ‘블랙박스’ 문제가 두드러지고 있다.
① 신뢰성 향상이다. AI가 어떻게 결정을 내렸는지 이해함으로써 그 결과에 대한 신뢰가 높아진다.
② 오류 검출이다. 판단 과정이 명확하면 AI의 오류나 바이어스를 검출하기 쉬워진다.
③ 규제 대응이다. 특히 의료나 금융 등의 분야에서는 AI의 결정 과정을 설명하는 것이 법적으로 요구될 수 있다.
◇ XAI의 주요 기술
설명 가능한 AI를 구현하기 위해서는 몇 가지 접근법과 기술이 사용된다.
① 모델 해석 기술이다. AI 모델이 어떻게 판단했는지 설명하기 위한 기술이다. 예컨대, 특성량의 중요도를 나타내는 ‘LIME’과 ‘SHAP’이 있다.
② 시각화 도구이다. AI의 내부 처리 및 판단 과정을 시각적으로 보여주는 도구이다. 이를 통해 사용자가 직관적으로 이해하기 쉬워진다.
③ 설명 생성 기술이다. AI가 생성하는 자연어에 대한 설명을 제공하는 기술이다. 이를 통해 비전문가도 AI의 판단을 이해하기 쉽다.
◇ XAI의 과제
① 해석의 한계다. 복잡한 모델이나 심층학습 모델로는 완전한 설명이 어려울 수 있다.
② 사용성 문제다. 제공되는 설명이 사용자가 이해하기 쉬운 것이 아니라면 실제 신뢰성 향상으로 이어지지 않는다.
③ 퍼포먼스와의 트레이드오프(trade-off)다. 높은 설명성을 가진 모델이 반드시 고성능이라고는 할 수 없으며, 퍼포먼스(performance)와 균형이 요구된다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}
