인간이 창조한 신경망 ‘딥러닝(Deep Learning)’의 등장

​

인공지능과 인간의 대결로 큰 화제를 모은 알파고(AlphaGo)는 인간과의 대국에서 승리를 거두면서 AI 시대의 서막을 열었다. 이 일은 단순히 게임의 승패를 넘어, 기계가 인간의 직관과 창의성을 모방할 수 있는 능력을 세계에 입증한 순간으로 과학기술의 미래에 대한 토론을 촉발했다. 현재 인공지능 기술은 단순히 연구실의 이론에서 벗어나 우리 생활 속 깊숙이 영향을 미치는 혁신적인 도구로 자리 잡기 시작했다. 알파고의 학습 과정에 사용된 딥러닝(Deep Learning, 심층학습)은 인간의 뇌 작동 원리를 모방한 인공신경망을 토대로 학습과 데이터 처리를 수행하는 기술이다. 딥러닝은 프랭크 로젠블랫(Frank Rosenblatt)이 1958년 최초의 인공신경망 퍼셉트론(Perceptron)을 개발한 것에서 시작되었다. 한때 기술의 한계로 폐기됐으나, 2010년 이후 컴퓨터 기술과 빅데이터의 발전으로 다시 빛을 발하게 됐다. 특히, 딥러닝은 하드웨어의 발전으로 대규모 데이터셋을 처리할 수 있게 됐고 이로써 기존의 인공신경망 기법을 뛰어넘는 발전을 이루었다.

딥러닝은 인공지능 분야 중 머신러닝에 속한다. 딥러닝과 머신러닝은 모두 데이터를 기반으로 문제를 해결하고 패턴을 학습하는 기술이라는 공통점이 있지만, 몇 가지 주요한 차이가 있다. 먼저, 구조의 복잡성에 차이가 있다. 전통적인 머신러닝은 설계된 모델 의존하여 문제를 해결하지만, 딥러닝은 인공신경망을 기반으로 여러 겹의 은닉층을 통해 데이터의 추상적인 표현을 학습한다. 이처럼 딥러닝은 다층 구조로 이뤄진 데이터의 복잡한 패턴을 자동으로 학습하는 데 용이하다. 두 번째는 데이터 규모와 성능에 있다. 머신러닝은 상대적으로 간단한 모델 구조로 적은 데이터셋과 계산 성능으로도 작동하지만, 딥러닝은 복잡한 심층 구조로 대규모 데이터셋과 높은 계산 성능이 필요하다. 마지막으로 학습 방법에 차이가 있다. 딥러닝 기술은 기본적으로 기존의 머신러닝에서도 쓰이는 지도학습, 비지도학습, 강화학습 등 모든 학습 방법을 적용할 수 있지만, 대규모 데이터셋에서 높은 수준의 특성을 자동으로 추출하고 학습하여 예측을 수행하는 특성으로 특히 지도학습에서 뛰어난 성능을 보인다.

 

딥러닝, 데이터와 알고리즘의 혁신을 이끌다 

 

딥러닝을 비롯한 데이터 러닝 기술은 학습 목표와 형태에 따라 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 강화학습(Reinforcement Learning)으로 분류된다. 지도학습은 입력 데이터와 정답 간의 매핑(Mapping, 각각 키(Key)와 값(Value) 역할을 하는 데이터를 짝지어 저장하는 데이터 구조)을 학습하며 분류, 회귀, 객체 감지, 자연어 처리 등 다양한 문제에 적용된다. 비지도학습은 입력 데이터에 대한 라벨이나 타깃이 주어지지 않은 상태에서 데이터의 구조나 패턴을 발견하고 이해하는 방법론으로, 사전 정보 없이 데이터의 구조를 파악하고 정보를 추출하는데 용이하기 때문에 데이터 탐색과 시각화, 특성 추출, 이상치 탐지 등에 이용된다. 강화학습은 행동하는 에이전트(Agent)가 환경(Environment)과 상호작용을 하며 작업을 수행하는 학습 방법론이다. 알파고를 학습할 때 사용한 방식이 바로 강화학습이다. 강화학습은 시행착오 과정을 거쳐 보상의 극대화에 초점을 맞추고 최상의 결과를 얻기 위해 행동한다.

 

한편, 알고리즘이란 주어진 문제를 해결하기 위한 명확한 절차나 규칙의 집합으로, 딥러닝에서 주어진 작업을 수행하는 방법을 나타낸다. 알고리즘은 인공지능 기술에서 핵심적인 개념으로 다양한 문제에 맞춰 수많은 알고리즘이 개발되고 있다. 가장 일반적인 알고리즘으로는 선형 회귀, 로지스틱 회귀(이진 분류) , 선형 판별 분석(다중 범주 분류) , 결정 트리(분류와 회귀), 나이브 베이즈, K-최근접 이웃(K-NN, K-Nearest Neighbors) 등이 있다. 

 

딥러닝의 경우 앞서 말한 복잡한 구조와 대규모 데이터셋, 고성능 GPU가 필요하므로 이러한 일반적인 알고리즘뿐만 아니라 비교적 단순한 알고리즘에는 맞지 않는 이미지 분류, 음성 인식과 같은 특수한 문제를 해결하는 데 사용한다. 딥러닝 기술 중에서도 합성곱 신경망(CNN, Convolutional Neural Networks)은 이미지 인식 및 분류에 주로 활용된다. 자율 주행 자동차, 의료 영상 분석, 보안 시스템 등 합성곱 신경망은 우리 일상생활에 많은 영향을 미치고 있다. 최근 몇 년간 합성곱 신경망에 관한 연구 수준이 점점 발전하는 추세를 보인다.

적대적 생성 신경망(GAN, Generative Adversarial Networks)은 비지도 학습에 주로 사용되며, 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현된다. 이 기술은 이미지 생성, 음악 생성, 영상 변환 등 다양한 분야에서 창의적인 결과물을 얻어내는 데 사용되고 있다. 

순환 신경망(RNN, Recurrent Neural Network)은 순차 데이터 입력을 처리하고 특정 순차 데이터 출력으로 변환하는 데 사용된다. 예를 들어, 언어 번역이나 텍스트 생성과 같은 작업에 활용되며, 이는 사람이 순차적인 데이터 변환을 수행하는 방식을 모방한다. 하지만 순환 신경망은 다른 최신 모델의 등장으로 활용도가 점점 떨어지는 추세다. 

대형 언어 모델(LLM, Large Language Model)은 수많은 파라미터를 가진 인공 신경망으로 구성되어 자기 지도 학습이나 반자기지도학습을 통해 훈련된다. 최근에는 대형 언어 모델이나 트랜스포머와 같은 최신 모델이 기존 모델을 대체하는 경향이 있으며, 이는 딥러닝 분야의 지속적인 발전을 시사한다. 

​세계를 움직이는 딥러닝 산업 동향 

세계적으로 AI 분야에 대한 투자와 연구가 활발하게 이루어지고 있다. 미국은 정부와 대학들이 막대한 자금을 AI 연구에 투자하고 있다. 정부 차원에서 실리콘밸리의 IT 기업들과 협력을 통해 방대한 데이터를 확보하고 있다. 특히 '브레인 이니셔티브(BRAIN Initiative)'와 같은 두뇌 메커니즘 연구 계획을 통해 AI 분야에 대한 연구와 투자를 지속적으로 확대하고 있다.

중국은 AI를 국가전략 산업으로 지정하고 대규모 투자와 인력 개발을 추진하고 있으며, 베이징 AI 연구소를 세계 최고의 인공지능 혁신 거점으로 만들기 위한 계획을 세웠다. 중국 정부는 AI 관련 정책을 적극적으로 수립해 저작권 및 모델 개발에 대한 규제를 완화하여 기업들의 성장을 지원하고 있다. 

일본 또한 정부는 AI 기술을 국가전략 기술로 지정하여 관련 인력 양성과 AI 전문기업 역량 강화를 지원하고 있으며, 최대급 혁신 지능통합연구센터(AIP) 설립 및 AI 첨단 기술개발에 대한 대규모 투자를 계획하고 있다. 특히 로봇 공학과 헬스 테크와 같은 AI 주도 부문에서 눈에 띄는 성장을 보인다. 일본 ‘소프트뱅크(SoftBank Corp.)’사는 고성능 생성형 AI와 대형언어모델을 개발하고 있으며, AI 사업 확대 계획을 밝혔다. 

한국의 경우, 기획재정부 예산 계획에 따르면 올해 국내 첨단 서비스 분야 예산은 4조 5000억 원이다. 지난해보다 25% 증가한 규모로 첨단 서비스는 정부가 신성장동력이 될 혁신 기술로 평가한 분야다. 이 중 AI 예산은 지난해 7051억 원에서 올해 7,772억 원까지 확대했다. AI 기술을 국가전략 기술로 지정해 인력 양성과 AI 전문기업 역량 강화도 함께 지원한다. 

 

딥러닝이 나아가야 할 방향 

딥러닝은 지금까지 많은 혁신을 이루어 왔지만, 여전히 극복해야 할 과제들이 존재한다. 딥러닝 모델이 내놓는 결과는 결국 학습에 활용된 데이터에 의하여 좌우되기 때문에 ‘저적합’ (underfitting) 또는 ‘과적합’(overfitting) 문제가 발생한다. 저적합은 모델의 층(layer)이 데이터양에 비해 충분히 쌓이지 않았을 경우에 발생하는 문제로, 모델이 너무 단순해 데이터에 내재한 패턴을 제대로 학습하지 못한 것이다. 예를 들어 ‘둥근 것은 공이다.’라는 층만을 이용하면 인공지능은 둥근 것에 대한 데이터를 모두 공으로 분류하는 오류가 생기게 된다. 과적합은 반대로 모델의 층이 데이터양에 비해 너무 깊을 때 발생한다. ‘공은 가죽으로 만든 둥근 구형의 물체이다.’라는 층을 과하게 학습시키면 플라스틱 재질의 탁구공과 타원형의 럭비공은 배제해 버리게 된다.

올해 3월 글로벌 시장조사기관 ‘마켓츠앤마켓츠(Markets & Markets)’의 조사 결과에 따르면 대규모 언어 모델(LLM) 시장 규모는 2023년 45억 달러, 2024년 64억 달러로 성장했다. 이는 인공지능 기술이 일부 산업에 적용되는 단계를 지나 다양한 산업에 접목되면서 서로 상승효과를 일으키고 있기 때문이다. 대형 언어 모델의 등장 이후 의료, 금융, 법률 등 분야별로 특화된 데이터를 훈련받은 기업 맞춤형 모델에 대한 수요는 점점 높아지고 있다. 프랑스와 미국 등 선진국에서는 ‘리걸 테크’와 비슷한 AI 모델이 개발되고 있다. 국내에서도 업스테이지와 로앤컴퍼니가 한국 법률에 특화된 거대언어모델 ‘솔라 리걸(Solar-Legal)’ 공동 개발을 위한 협약을 체결했다고 지난달 12일 발표했다. 스트리밍 플랫폼, 소셜 미디어 및 디지털 문화 콘텐츠 영역에서도 AI의 콘텐츠 생성, 추천 시스템, 정서 분석 등의 기능이 소비자와의 상호 작용에도 AI 기반 최적화 솔루션에 대한 수요가 지속적으로 증가하고 있다. 이렇듯 대규모 언어 모델을 중심으로 한 딥러닝 기술은 현대 산업의 성장을 주도할 것으로 예상된다. 

[기사]

“The Neural Network Zoo" 

https://www.asimovinstitute.org/neural-network-zoo/ 

 

(2) 현대 인공지능의 원리와 한계

https://www.lawtimes.co.kr/opinion/193984 



정부, 올해 첨단 서비스 예산 중에서도 AI에 힘줬다

https://www.etnews.com/20240207000201 

 

AI 변호사 나올까…한국 법률서비스 특화 LLM 만든다

https://mobile.newsis.com/view.html?ar_id=NISX20240312_0002657265 

 

일본판 챗GPT 나올까…소프트뱅크, AI에 1.3조원 추가 투자

https://www.seoul.co.kr/news/international/2024/04/22/20240422500224 

 

​[참고자료]

인공지능·머신러닝·딥러닝 차이점은?ㅣ개념부터 차이점까지 총 정리

https://www.codestates.com/blog/content/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B0%9C%EB%85%90

“Large Language Model(LLM) Marcket Global Forecast to 2023”. MarketsandMarkets
​https://www.marketsandmarkets.com/Market-Reports/large-language-model-llm-market-102137956.html

 

[참고문헌]

박용병. (2021). "인공지능 딥러닝 소개와 보안 동향." 국내석사학위논문 공주대학교 일반대학원, 충청남도

김민승 외. (2021). 딥러닝 기반 지능형 기술가치평가에 관한 연구: 심층신경망 학습을 통한 정성평가 지표 예측 모형. 기술혁신학회지, 24(6), 1141-1162, 10.35978/ jktis.2021.12.24.6.1141

김민호. (2023). 딥러닝 이해. (87p~151p). e퍼플.

박대우. (2022-05-26). 인공지능 머신러닝 딥러닝 알고리즘의 활용 대상과 범위 시스템 연구. 한국정보통신학회 종합학술대회 논문집, 부산.

최동인 and 임정수. (2023). 딥러닝과 강화학습의 연구 동향 분석. 한국컴퓨터정보학회논문지, 28(10), 55-65.