미국 캘리포니아 실리콘밸리. 글로벌 테크 기업 메타(Meta)의 인공지능(AI) 및 증강 현실 연구 부서인 메타AI엔 13년 전 대학수학능력시험에서 영어, 수학 8등급을 받았던 이가 근무하고 있다. 문지혜 연구원이다. 20살, 인공와우 수술로 처음 듣게 된 소리로 세상을 보는 감각을 얻은 그는 AI가 누군가에게도 새로운 기회와 가능성을 선사할 것을 기대한다.

 

 

 

 

 

Q. 연구원님 안녕하세요, 자기 소개 부탁드립니다.

 

A. 안녕하세요. 저는 메타 AI에서 멀티모달 비전 AI를 연구하고 있는 문지혜입니다. 쉽게 말하면 AI가 사람처럼 이미지와 영상을 이해하고, 그것을 언어로 설명할 수 있도록 만드는 연구를 하고 있어요. 예를 들어 영상 속 사람이 무엇을 하고 있는지, 어떤 상황이 벌어지고 있는지, 어떤 장면이 중요한지를 AI가 이해하고 텍스트로 표현하도록 만드는 일이죠.

 

​

 

 

멀티모달 AI는 단순히 글만 이해하는 AI와는 조금 달라요. 사람은 세상을 이해할 때 눈으로 보이는 정보만 사용하는 게 아니라 소리와 표정, 몸짓, 주변 맥락까지 함께 종합해서 이해하잖아요. 멀티모달 AI도 이미지와 영상, 음성, 언어처럼 서로 다른 형태의 정보를 함께 이해하려는 인공지능입니다. 저는 그중에서도 이미지와 비디오를 이해하고 그것을 언어로 연결하는 연구를 하고 있습니다.

 

 

 

 

Q. 멀티모달 AI 연구에서 어려운 점은 뭐가 있나요?

 

 

멀티모달에서 어려운 문제 중 하나는 AI가 정말 이미지를 보고 답을 하고 있는지, 아니면 학습 과정에서 자주 본 표현을 바탕으로 그럴듯하게 추측하고 있는지를 구분하는 일이에요. 또 같은 이미지나 영상이라도 질문과 상황이 달라지면 의미가 달라질 수 있다는 부분도 어려운 점이죠. 같은 장면을 보고도, ‘위험한 점이 있나요?’라고 물을 때와 ‘무엇을 개선하면 좋을까요?’를 물을 때 AI가 주목해야 하는 부분이 달라지거든요. AI가 이미지와 영상 그 자체뿐만 아니라, 사용자의 질문과 상황 맥락을 함께 이해해야 해요.

 

그래서 저는 AI가 이미지나 영상 안의 세부 단서와 사용자의 질문을 더 잘 연결하도록 만드는 데 초점을 두고 있어요. 또 음성, 영상, 언어가 함께 있는 상황에서는 각각의 정보를 서로 연결하고 어떤 관계를 맺는지를 AI가 이해하게 만들고자 하죠.

 

 

Q. 멀티모달 AI 연구는 연구원님께 어떤 의미를 가지고 있나요?

 

​사실 제게 이 연구는 개인적으로 굉장히 의미가 커요. 저는 청각장애가 있어서 어릴 때부터 소리만으로 세상을 이해하기 어려웠어요. 대신 입모양이나 표정, 상황 같은 시각적인 단서들을 함께 보며 사람들과 소통해왔죠. 그래서 저는 멀티모달 AI를 단순한 기술 연구라고 생각하지 않아요. 사람이 세상을 이해하는 방식을 AI가 조금 더 닮아가게 만드는 연구라고 느끼고, 제 삶의 경험과도 굉장히 자연스럽게 연결돼 있다고 생각합니다.

 

 

 

Q. 메타에 입사하시게 된 과정도 궁금해요. 어떻게 하면 입사할 수 있나요?

 

 

A. 제가 13년 전에 수능(대학수학검정능력시험)을 봤는데 당시 영어가 8등급이었어요(9등급이 최하). 그래서 어렸을 때 제가 미국 유학이나 글로벌 빅테크 기업에서 일하게 될 거라고는 정말 상상하지 못했어요.

 

석사과정 때 미국 박사과정을 준비하면서도 가장 큰 장벽 중 하나가 영어였어요. 특히 미국 대학들은 토플 듣기와 말하기 점수를 중요하게 보는데, 청각장애가 있는 저에게는 굉장히 어려운 과정이었거든요. 그래도 포기하지 않고 계속 공부했어요. 영어 자체도 열심히 준비했지만, 동시에 제가 어떤 연구를 하고 싶은 사람인지, 어떤 문제를 풀고 싶은지를 더 잘 설명하려고 노력했습니다.

 

​

 메타 합격 소식을 들었을 때는 정말 기뻤어요. 제가 열심히 공부하고 연구했던 시간들을 인정받는 느낌이었거든요. 상상도 못한 곳에서 일한 곳에서 일하게 돼서 더 신기했고, 동시에 여기서 어떻게 더 잘 배우고 성장할 수 있을지에 대한 기대도 컸습니다.

 

 

 

Q. 박사학위는 어떤 연구로 받으신건가요? 

 

멀티모달 AI와는 어떤 접점이 있는지 궁금해요.

 

A. 제 박사 전공은 의생명공학(Biomedical Engineering)이었습니다. 의생명공학은 의학과 생명공학에 공학 기술을 접목해 질병의 진단, 치료, 예방을 연구하는 분야예요. 박사과정에서는 음성이나 생체신호, 웨어러블 센서처럼 사람의 몸과 감각에서 나오는 신호를 AI로 이해하는 연구를 했어요. 예를 들어 사람의 음성을 텍스트로 바꾸거나, 건강 정보를 언어로 표현하는 연구들이었죠. 

 

메타에는 박사과정 동안 했던 연구 경험들이 많이 도움이 됐어요. 멀티모달 AI도 다양한 정보를 함께 이해하는 AI를 연구하는 곳이다 보니, 제가 해왔던 문제의식과 자연스럽게 이어졌거든요. 의생명공학에서는 음성이나 심전도, 생체신호 같은 데이터를 다뤘다면, 지금은 이미지와 영상 같은 시각 정보를 다루고 있는 거죠.

 

 

Q. 메타와 같은 글로벌 IT 기업의 업무 환경도 궁금해요.

 

A. 메타에서 일하면서 가장 크게 느끼는 건, 굉장히 뛰어난 사람들이 함께 협력하면서 큰 문제를 푼다는 점이에요. 흔히 빅테크 기업이라고 하면 경쟁이 굉장히 치열하고 개인주의적일 거라고 상상하기 쉬운데, 실제로는 오히려 서로의 장단점을 굉장히 잘 보완해 주는 문화가 강하다고 느껴요.

​

또 저는 청각장애가 있어서 복잡한 논의에서는 문서 중심으로 소통하는 편이에요. 다행히 메타 같은 글로벌 기업은 중요한 아이디어를 문서로 정리하고 여러 사람의 피드백을 받아 발전시키는 문화가 잘 자리 잡혀 있어요. 그래서 저에게도 굉장히 잘 맞는 환경이라고 느꼈습니다. 실제로 연구에서도 문서화가 굉장히 중요해요. 어떤 가설을 세웠는지, 왜 이런 실험을 했는지, 어떤 결과가 나왔는지를 계속 기록하고 공유해야 하거든요. 저는 이런 과정이 단순한 사무 업무라기보다, 연구를 더 명확하게 만들고 협업을 가능하게 하는 중요한 과정이라고 생각합니다.

 

또 하나 인상적이었던 건 기대치가 굉장히 높다는 점이에요. 글로벌 연구 환경에서는 단순히 “열심히 했다”보다 “실제로 어떤 임팩트를 만들었는가”를 계속 증명해야 하거든요. 그래서 도전적인 환경이긴 하지만, 동시에 연구자로서 굉장히 빠르게 성장할 수 있는 곳이라고 느끼고 있습니다.

 

 

Q. 10년 뒤의 연구원님을 상상해본다면 어떤 모습인가요? 연구원님의 목표가 궁금해요.

 

v

​A. 10년 뒤에는 사람의 감각과 잠재력을 확장하는 AI를 연구하는 것을 넘어, 그것을 실제 제품과 사회적 변화로 연결하는 사람이 되어 있고 싶어요. 저는 AI의 미래가 단순히 더 똑똑한 모델을 만드는 데서 끝난다고 생각하지 않거든요. AI가 주변 상황을 이해하고, 필요한 정보를 적절한 방식으로 전달하고, 사람의 소통과 이해를 도와줄 수 있다면 기술은 단순한 도구를 넘어 인간의 감각과 의사소통 능력을 확장하는 존재가 될 수 있다고 생각합니다.

 

저는 청각장애인으로 살아오면서 기술이 단순히 편리함을 주는 수준을 넘어, 한 사람의 삶의 기회 자체를 바꿀 수 있다는 걸 직접 경험했어요. 인공와우를 통해 이전에는 닿기 어려웠던 정보와 소통에 접근할 수 있게 됐고, 그것이 지금의 저를 만들었다고 생각하거든요. 그래서 제가 만들고 싶은 AI도 결국 사람을 대체하는 기술이 아니라, 누군가가 더 잘 배우고, 더 잘 표현하고, 더 자유롭게 세상과 연결될 수 있도록 돕는 기술이에요.

 

특히 앞으로의 AI는 단순한 정보 제공을 넘어 사람 곁에서 상황과 맥락을 이해하는 개인 맞춤형 지능형 에이전트로 발전할 거라고 생각해요. 예를 들어 청각장애인에게는 주변의 위험한 소리나 대화 분위기를 알려주는 새로운 감각이 될 수도 있고, 시각장애인에게는 주변 환경과 사람들의 행동을 설명해주는 기술이 될 수도 있겠죠. 저는 그런 방향의 AI를 실제 세상 속에 구현하는 연구자가 되고 싶습니다.

 

 

 

​일러스트: credit 김연정

문지혜 박사 사진: credit 문지혜

*일부 ai,게티 이미지 사용