영상에서 3D까지, 2차원 이미지의 한계를 넘어서다 

<사진출처-엔디비아>

지난해 그래픽 반도체 기업 엔비디아(NVIDIA)는 자체 아바타 클라우드 엔진(ACE, Avatar Cloud Engine)을 공개했다. 이 기술은 게임 캐릭터의 배경이나 성격을 설정하면, 설정값에 맞는 NPC의 대사와 음성, 표정을 생성하는 프로그램이다. 자연스러운 대화가 어려웠던 기존 NPC와 달리 사용자와 상호작용이 가능한 NPC를 만들어 업계에서 큰 화제를 끌었다. 

지금까지 NPC는 미리 정해진 반응과 얼굴 애니메이션으로 제작됐다. 이로 인해 플레이어와 상호작용은 거래적이고 짧은 경향이 있어 제한적이었고, 그 결과 대다수의 플레이어가 이를 건너뛰는 경우가 많았다. 엔비디아의 개발자 및 성능 기술 부문 부사장 존 스피처(John Spitzer)는 “생성형 AI는 플레이어가 게임 캐릭터와 가질 수 있는 상호 작용을 혁신하고 게임 몰입도를 극적으로 높일 수 있는 잠재력을 가지고 있다.”라고 전했다. 

많은 게임 개발자와 스타트업 기업들이 엔비디아의 생성형 인공지능 소프트웨어를 사용하고 있다. 우크라이나의 게임 개발사 GSC 게임 월드(GSC Game World)는 ‘스토커 2: 초르노빌의 심장부’에서 엔비디아의 ‘오디오투페이스(Audio2Face)’를 사용해 이용자의 오디오 명령으로 실시간 얼굴 애니메이션을 생성했다. 또한 인공지능을 통해 가상 캐릭터를 구현하는 개발사 카리스마.ai (Charisma.ai)는 ‘오디오투페이스’를 활용하여 NPC 대화 엔진을 강화했다. 이 외에도 유비소프트(Ubisoft), 미호요(miHoYo), 넷이즈 게임즈(NetEase Games) 등 거대 개발사들이 ACE를 도입했다. 

생성형 인공지능은 창작 분야에서 시, 소설, 대화문 등 다양한 형식의 수준 높은 글을 쉽고 빠르게 생성한다. 인공지능은 기존 인력과 시간 등 비용을 절감해 생산성을 높이고, 이는 이용자로 하여금 양질의 콘텐츠를 누릴 수 있게 한다. 현재 생성형 인공지능은 단순한 글과 이미지를 생성하는 단계에서 벗어나 이용자와 실시간으로 대화, 연속적인 이미지의 흐름인 동영상을 제작하기에 이르렀다.



영상에서 3D까지, 2차원 이미지의 한계를 넘어서다 

<사진출처-조선일보>

​영상업계에서 생성형 인공지능을 활용해 놀라운 도전을 보여줬다. 영화 <아이리시 맨, The Irishman, 2019>은 인공지능을 사용해 주연 로버트 드 니로의 젊은 시절의 얼굴을 재현하는 데 성공했다. 한국에서도 넷플릭스(Netflix) 시리즈 <살인자ᄋ난감, 2024>속 주연 손석구 배우의 아역 시절 얼굴을 딥페이크 기술로 구현해 시청자들에게 놀라움을 줬다. 딥페이크(Deep fake)란 딥러닝 알고리즘을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나 특정한 부위를 합성하는 기술이다.

오픈AI가 올해 2월 발표한 생성형 인공지능 모델 ‘소라(Sora)’는 기존 데이터에 합성 이미지를 덧씌우는 데 불과한 딥페이크에서 한발 더 나아간 기술이다. 사용자가 입력한 메시지를 기반으로 최대 1분 길이의 동영상을 생성할 수 있다. 기존 인공지능 동영상 생성에서 부족한 일관성(Long-range coherence)을 높였고, 정지된 이미지에 동작 부여, 기존 영상 늘리기 등이 가능해졌다. 오픈AI는 폭력, 혐오, 저작권 침해, 성적 콘텐츠 요청, 유명인과 유사한 이미지 생성 요청 거절 등의 기능을 추가하여 기존 딥페이크 문제를 해소한 후 정식 출시 예정임을 밝혔다.

생성형 인공지능은 더 이상 이미지에만 국한되지 않는다. 오늘날의 인공지능은 영상, 아바타, 3D 모델 등 다양한 콘텐츠를 생성하는 데 사용된다. 이를 통해 엔터테인먼트 등의 분야에서 새로운 가능성이 열리고 있다.



<사진출처-인텔>

지난해 6월 인텔 내 선행 기술 연구 조직인 인텔 랩스가 문장으로 360도 3D 이미지를 만드는 생성형 모델인 'LDM3D'를 공개했다. 대부분의 생성형 인공지능은 텍스트 프롬프트를 해석한 다음 2차원 이미지만 생성할 수 있다. LDM3D는 2차원 생성 모델과 비슷한 매개변수로 3차원 이미지를 생성할 수 있다. LDM3D는 인텔 제온 프로세서와 하바나 가우디 AI 가속기를 통해 360도 공간을 생성한다. 인텔 랩스는 "LDM3D는 콘텐츠 제작과 메타버스 응용프로그램, 디지털 경험을 혁신하고 엔터테인먼트와 게임, 건축과 설계 등 전방위 산업을 변화시킬 잠재력을 지녔다"라고 밝혔다.

3D 모델링은 물리적 또는 가상의 객체를 3D 공간에서 표현함으로써 게임, 영화, 가상현실, 증강현실의 캐릭터와 환경을 구축하기 위한 필수적 요소이다. 특히 3D 모델링 영역은 엄청난 양과 복잡성을 가진 그래픽 작업을 포함하고 있으므로 컴퓨터의 도움이 필수적이다. 최근 등장한 3D 생성형 인공지능 기술은 3D 모델링 및 애니메이션의 제작 작업을 쉽고 효율적으로 향상하는 데 결정적 역할을 할 것이다.

건축에서는 스케치, 사진, 도면, 텍스트 등의 전통적인 방법들이 건축 디자인을 표현하기 위해 사용됐다. 그중에서도 평면도는 건물의 구조와 형태를 정확하게 표현하는 중요한 시각적 수단 중 하나다. 한국공간디자인학회는 최근 3D 모델을 생성하는 인공지능의 발전으로 인해 건축가들과 연구자들 사이에서 인공지능 기술의 활용에 큰 관심이 있다고 전했다.

​기술적 혁신과 윤리적 고민의 새 지평



생성형 인공지능은 문서 작성, 콘텐츠 생성, 예술 창작, 고객 서비스 등의 영역에서 새로운 기회를 창출하고, 개인화된 경험을 제공하여 사용자와 기업 모두에게 가치를 제공한다. 이러한 혁신은 빠르게 산업 환경을 변화시키고 생산성을 높인다.

경기대학교 권동현 교수는 한 저널에서 “다양한 인공지능 모델들이 서로의 장점을 학습하면서 시너지를 내고 있어 그 발전 속도가 점차 가속하고 있다”라고 전했다. 아직 이미지 생성 인공지능의 작업물은 기형적인 신체를 생성하기도 하고 원하는 레이아웃을 표현하기 위해서 반복해서 생성해야 하지만, 권 교수는 “생성형 인공지능의 문화적 충격을 겪은 지 2년이 지나지 않았음을 돌아볼 때 이러한 문제는 분명히 해결할 것”이라 예상했다.

한편 인공지능의 발전이 영상, 음악, 설계 등의 분야에서 혁신을 불러일으키고 있지만, 동시에 사회적 문제도 함께 발생했다. 딥페이크 기술의 등장은 영상 분야에 큰 가능성과 논란을 불러일으켰다. 생성형 인공지능으로 제작된 성 착취물이나 허위조작정보(일명 ‘가짜뉴스’)가 소셜 미디어를 통해 빠르게 확산됐다. 젤렌스키(Volodymyr Zelensky) 우크라이나 대통령의 항복선언 가짜 영상, 미 국방성 폭발 가짜 영상, 트럼프 전 대통령 등 유명정치인에 대해 악의적으로 생성된 가짜 영상 등이 사회에 충격을 줬다.

인공지능 데이터에는 인간의 편견이나 오류가 반영되어 있어, 인공지능의 결과값이 때로는 차별과 편견을 확대한다는 우려도 있다. 실제로 지난 3월 미국 앨런인공지능연구소, 스탠퍼드대 소속 연구원 등이 ‘방언에 대한 편견으로 사람의 성격, 고용 가능성, 범죄 예측에 대한 인공지능의 판단 예측’이라는 제목으로 발표한 연구 결과, 인공지능이 흑인 영어를 사용하는 화자를 ‘의심스럽다’, ‘과격하다’라고 판단해 충격을 줬다.

이에 따라 국가적인 차원에서 생성형 인공지능에 대처하기 위한 움직임이 일어나고 있다. 영국 런던에서 인공지능을 주제로 한 첫 정상회의가 지난해 11월 1일(현지시각) 개최했다. 이 회의에는 국제사회가 처음으로 인공지능의 기술, 사회, 윤리적 위험에 관해 공동 대응 방안을 모색하는 자리였다. 회의에는 테슬라의 일론 머스크 최고경영자, 마이크로소프트 부회장, 오픈AI의 샘 올트먼 최고경영자, 구글 딥마인드의 데미스 허사비스 최고경영자 등 AI 관련 대표 기업인들이 참석했다. G7의 조르자 멜로니 이탈리아 총리, 미국의 커밀라 해리스 부통령, 유럽연합과 유엔의 주요 인사들도 회의에 참여했다.

이번 'AI 안전 정상회의'에서 인공지능 기술 안전에 관한 국제 협력을 강화한다는 취지의 '블레츨리 선언'이 28개국의 동참으로 발표됐다. 블레츨리 선언에는 위험에 대한 경고와 규제의 필요성이 강조됐다. 리시 수낵 영국 총리는 기술 이해를 동반한 정부의 적절한 규제 필요성을 언급하면서, 성급한 규제를 삼가해야 한다고 전했다. 인공지능 개발 경쟁의 중재자를 자처한 영국 정부는 다음 회의가 한국과 프랑스에서 각각 6개월 간격으로 열릴 것으로 발표했다.

생성형 인공지능이 제작하는 콘텐츠는 2차원을 벗어나 3차원 데이터도 형성하기 시작했다. 점점 더 정교해지는 인공지능 기술로 제작된 결과물들을 둘러싼 사회적·법적 문제가 야기될 수 있다. 따라서 생성형 인공지능을 창작의 도구로서의 활용에 대한 개념을 정립하고, 꾸준한 관심과 사회적 합의를 거쳐 무분별한 사용 및 악용하는 사례를 막기 위한 우리의 노력이 필요한 시점이다.

[참고기사]

은행권, 생성형 AI로 업무 혁신 돌입.. 직원용 챗봇, 콜센터 적용 나서

https://www.etnews.com/20230926000198

어도비, 영상 편집 앱 ‘프리미어 프로’에 생성 AI ‘파이어플라이’ 통합

https://www.aitimes.com/news/articleView.html?idxno=150591

AI의 인종차별은 사람보다 더 은밀하고 견고하다

https://www.hani.co.kr/arti/economy/it/1138499.html

인텔 랩, 텍스트로 360도 이미지 생성 가능한 AI 확산 모델 공개

https://www.intel.co.kr/content/www/kr/ko/newsroom/news/intel-introduces-3d-generative-ai-model.html

'당신은 정말 진짜인가?' 우리 곁에 다가온 딥페이크 범죄

https://star.ohmynews.com/NWS_Web/OhmyStar/at_pg.aspx?CNTN_CD=A0003023462

게임용 NVIDIA ACE 소개

https://www.nvidia.com/ko-kr/geforce/news/nvidia-ace-for-games-generative-ai-npcs/





[참고자료]

고객 경험을 강화하는 생성형 AI 활용 사례

https://www.samsungsds.com/kr/insights/generative-ai-for-customer-experience.html 

 

생성형 AI가 쓴 생성형 AI 최신 트렌드

https://www.samsungsds.com/kr/insights/generative-ai-trends.html 

 

What CEOs talked about in Q1/2023: Economic uncertainty, layoffs, and the rise of ChatGPT

 

세계 각국의 AI 규제 관련 입법동향

https://world.moleg.go.kr/web/dta/lgslTrendReadPage.do?CTS_SEQ=50807&AST_SEQ=3891&ETC=2 

 

 

[참고문헌] 

권동현. (2024). 이미지 생성 AI 발전 동향에 따른 교육 방향 모색 -인터페이스와 이미지 퀄리티를 중심으로-. 만화애니메이션 연구,, 471-513, 10.7230/KOSCAS.2024.74.471

한혜진. (2024). 애니메이션 제작을 위한 생성형 AI 기술. 조형미디어학, 27(1), 12-21, 10.35280/KOTPM.2024.27.1.2

최수형, 남태식 and 이진국. (2023). Gen AI 기반 3D 렌더링 그래픽 평면도 자동 생성. 한국공간디자인학회 논문집, 18(7), 263-272.

전응준. (2021). 인공지능 관련 저작권 침해에 관한 시론. 경영법률, 31(4), 259-294.

윤지영. (2024). 생성형 AI 시대의 사이버범죄와 형사법적 대응. 법학연구, 34(1), 373-399.

European Commission, “Digital Services Act: Commission designates first set of Very Large Online Platforms and Search Engines,” Apr. 2023.