직접 환자를 진단하는 것은 물론, 왜 그런 진단을 했는지 설명까지 하도록 만드는 의료 인공지능(AI)을 만드는 과학자가 있다. 전산생물학 전문가이자 설명가능AI(XAI) 연구의 선구자, 이수인 미국 워싱턴대 컴퓨터 과학∙공학부 교수다. AI는 내부 작동 방식이 알려져 있지 않아 ‘블랙박스’라고도 불린다. 이 교수는 그 블랙박스 안을 들여다보고자 한다.

Q. 반갑습니다! 자기소개 부탁드립니다. 어떻게 AI 연구를 시작하셨나요?

A. 저는 미국 워싱턴대학교 컴퓨터 과학∙공학부에서 인공지능(AI)을 연구하는 이수인입니다. KAIST 학부 3학년 때부터 인공지능(AI) 연구를 시작했어요. 당시 AI 연구는 대부분 규칙 기반(rule-based) 접근 방식이었어요. 규칙 기반이란 말 그대로 사람이 직접 규칙을 하나하나 입력해서 컴퓨터를 작동하는 방식입니다. 지금의 거대언어모델(LLM)에 비하면 구조가 단순해 해석은 쉬웠지만 복잡한 문제를 해결하는 데는 한계가 있었죠.

반면 저는 인공신경망에 매료됐습니다. 인공신경망은 사람 뇌의 뉴런이 서로 신호를 주고받는 방식을 수학적으로 구현한 AI 모델입니다. 사람이 규칙을 직접 입력하는 대신 데이터를 통해 컴퓨터가 스스로 패턴을 학습하는 방식이죠. 오늘날 챗GPT나 클로드 같은 AI도 모두 인공신경망을 기반으로 하고 있습니다. 

하지만 제가 연구를 시작하던 당시만 해도 인공신경망은 학계에서 비주류였습니다. 지금처럼 뛰어난 성능을 내지 못했고, 계산량도 너무 많아 비효율적이라는 평가를 받았죠. 그럼에도 저는 컴퓨터가 사람처럼 학습하고 문제를 풀 수 있다는 점에 끌렸습니다. 사람이 이미지를 인식하는 방식을 인공신경망에 적용했을 때 이미지 인식 성능이 좋아진다는 논문을 썼고, 삼성 휴먼테크 논문대상 학부생 부문에서 대상을 수상했습니다. 그게 제 연구 커리어의 첫 시작이었어요.

​

Q. 주 연구 분야인 ‘설명 가능한 AI(Explainable AI, XAI)’가 무엇인지 알려주십시오.

A.오늘날 AI는 금융과 채용, 의료 등 사회적으로 중요한 의사결정에 점점 더 많이 활용되고 있지만, AI가 어떤 결론에 이르는 과정은 사용자가 알지 못합니다. 때로 AI는 개발자조차 내부 작동 원리를 이해하지 못해 ‘블랙박스’에 비유되고 있죠. 사람들이 AI의 결과를 신뢰하려면 그 판단 과정도 설명할 수 있어야 합니다. 

그래서 제가 주로 연구하는 ‘설명 가능한 AI(Explainable AI, XAI)’라는 분야가 탄생했습니다. AI의 판단 과정을 설명하고 사람이 그 결과를 검증할 수 있도록 하는 게 목표죠. 저희 연구실은 설명 가능한 AI 분야를 선도하고 있습니다. 더 나아가 설명 가능한 AI를 생물학과 의학 분야에도 적용하고 있습니다. AI가 질병을 진단하는 것은 물론, 왜 그런 진단을 했는지도 설명할 수 있도록 하고 있죠.

Q. ‘설명 가능한 AI’라는 분야에 관심을 갖게 된 계기는 무엇인가요?

A.  2016년 의사들과 함께 수술 중 환자의 저산소증을 예측하는 AI 시스템을 개발했어요. 마취 중인 환자는 호흡 기능에 문제가 생기면서 저산소증에 빠질 수 있는데, 이 상태가 4~5분 이상 지속되면 뇌 손상과 같은 심각한 문제가 발생할 수 있습니다. 저희 AI는 환자의 의료 데이터를 실시간으로 분석해 저산소증 발생 가능성을 예측했고, 상당히 높은 정확도를 보였습니다.

그런데 의사들의 반응은 예상과 달랐습니다. AI의 예측 결과만 가지고는 실제 의료 현장에 서는 사용할 수 없다는 거였죠. 예를 들어 AI가 “이 환자는 5분 후 저산소증에 이를 가능성이 높습니다”라고 예측했다면, 의료진은 ‘왜 그런가?’를 알아야 합니다. 산소 포화도 때문인지, 호흡 상태 때문인지, 환자의 기저 질환 때문인지 원인을 알아야 적절한 조치를 취할 수 있기 때문입니다. 

AI 연구자였던 제게 이 반응은 일종의 문화 충격이었습니다. 그전까지는 예측의 정확도를 높이는 것이 가장 중요하다고 생각했는데, 사람의 생명을 다루는 현장에서는 정확도만큼이나 판단의 근거가 중요하다는 사실을 깨달았죠.

​이 경험을 계기로 AI의 예측 결과를 사람이 이해할 수 있도록 설명하는 방법을 연구하기 시작했고, 그 과정에서 개발한 것이 바로 ‘SHAP’입니다. SHAP은 AI의 예측에 어떤 요소가 얼마나 영향을 미쳤는지 정량적으로 보여주는 방법입니다. 이 기술을 저산소증 예측 AI에 적용하자, AI는 어떤 요인이 저산소증 위험 증가에 기여하고 있는지 설명할 수 있게 되었습니다. 현재 SHAP은 의료 분야는 물론 금융, 산업 분석 등 AI가 활용되는 거의 모든 영역에서 사용되고 활용되고 있습니다.

Q. 교수님이 개발하신 SHAP 방법론은 어떤 원리인가요?

​A. 은행에서 대출을 심사하는 AI가 있다고 가정해 보겠습니다. AI는 나이와 직업, 연봉, 신용 점수 같은 다양한 정보를 바탕으로 이 사람이 대출금을 갚을 수 있는지 예측합니다. AI가 단순히 ‘대출 불가’라는 결과만 내놓고 이유를 설명하지 못한다면, 이용자는 AI의 판단을 신뢰하기 어렵겠죠.

​SHAP은 그 이유를 수치로 보여주는 방법입니다. 신용점수 때문인지, 소득 수준 때문인지, 각 항목이 최종 결과에 얼마나 영향을 미쳤는지 계산해 보여줍니다. 기여도를 계산하기 위해서는 경제학의 게임 이론을 가져왔어요. 2012년 노벨경제학상을 수상한 로이드 섀플리의 게임 이론은 여러 사람이 함께 성과를 냈을 때 각자의 기여도에 따라 성과를 공정하게 나누기 위해 개발됐습니다. 저는 AI의 예측 결과를 여러 변수들이 협력해서 만든 결과로 보고, 게임 이론을 이용해 각 변수의 기여도를 계산할 수 있다고 생각했어요.

SHAP은 어떤 변수를 추가하거나 제거했을 때 예측 결과가 얼마나 변하는지를 모든 경우의 수에서 계산해 각 변수의 평균적인 기여도를 측정합니다. 예를 들어 어떤 사람의 대출 승인 확률이 평균보다 낮게 나왔다면, SHAP은 ‘신용 점수는 승인 가능성을 높였고, 소득 수준은 승인 가능성을 조금 낮췄으며, 기존 부채는 크게 낮췄다’와 같이, 각 요인이 결과에 얼마나 기여했는지 정량적으로 보여줍니다.

좋은 연구는 종종 서로 다른 분야의 아이디어가 만날 때 탄생합니다. 돌이켜보면 게임 이론과 AI의 만남도 그런 사례였던 것 같습니다. AI 역시 수많은 요소가 만들어내는 의사결정 시스템이라는 점에서, 게임 이론은 각 요소의 기여도를 설명하는 강력한 이론적 토대가 되어 주었습니다. 

Q. 설명 가능한 AI가 또 어떻게 쓰일 수 있나요?

​A. AI가 어떤 근거로 판단을 내렸는지 보여줌으로써 모델이 왜 잘못된 결론에 도달했는지 밝혀낼 수 있습니다. 쉽게 말해 AI의 실수를 찾아내고 개선하는 데 중요한 역할을 하는 거죠. 

​실제로 설명 가능한 AI로 기존 AI의 문제를 발견한 사례가 있습니다. 코로나19 팬데믹 당시 전 세계적으로 흉부 엑스레이 사진으로 감염 여부를 판별하는 AI 모델들이 쏟아져 나왔어요. 많은 AI가 95% 이상의 정확도를 보인다고 논문으로 보고됐죠. 그런데 저희가 설명 가능한 AI 기법으로 이 모델들을 분석해 보니 예상과 다른 결과가 나왔습니다. 대부분의 모델이 영상의 구석에 있는 글자나 환자의 어깨 위치 등 의학적으로 타당하지 않은 부분을 보고 판단을 내리고 있었던 겁니다. 이 연구는 학계에서 큰 주목을 받았어요. 국제학술지 네이처는 이 연구를 소개하며 “설명 가능한 AI는 이제 사치가 아니라 필수”라고 평가했습니다. 저는 이 말에 깊이 공감합니다. 앞으로 AI가 경제, 기술, 국가 안보의 핵심이 될수록 그 AI의 판단을 검증하는 과정은 더욱 중요해질 것입니다.

Q.지금은 어떤 연구를 하고 계신가요? 연구자로서의 최종 목표도 궁금합니다.

A. 저는 제 연구를 'ABC'라는 세 글자로 설명해요. A는 AI, B는 생물학(Biology), C는 임상의학(Clinical Medicine)이죠. AI 분야에서는 에이전트형 AI에 적합한 설명 기법을 연구하고 있습니다. 여러 에이전트가 역할을 나눠서 함께 작업을 수행하는데, 뭔가 잘못됐을 때 어떤 에이전트의 잘못인지 진단하는 일이 굉장히 어려운 문제예요. 거대 언어 모델 하나만 해도 수천억 개의 파라미터가 있는데, 에이전트가 여럿이면 그 복잡도가 몇 배가 되니까요. B인 생물학 분야에서는 노화 연구에 집중하고 있어요. 사람, 쥐, 파리 같은 여러 종의 데이터를 통합해서 노화를 유도하는 유전자를 찾고, 그 유전자를 억제했을 때 실제로 수명이 연장되는지 실험으로 증명하는 연구를 진행하고 있죠. 

궁극적으로는 AI를 활용해 암이나 알츠하이머병처럼 인류가 아직 완전히 이해하지 못한 질병의 원인을 밝히고 환자의 삶을 바꿀 수 있는 새로운 치료법을 발견하고 싶습니다. AI가 의사에게 예측만 해주는 게 아니라, 이 환자의 어떤 유전자 경로에 문제가 있어서 이런 결과가 나왔다는 설명까지 해줄 수 있는 시스템을 만들고 싶어요.

이수인 교수 사진: credit 이수인

*일부 ai,게티 이미지 사용

​