심화 학습 기반 이동통신기술 연구 동향

ITU-T 연구그룹 13은 2017년 11월 5G를 포함 한 미래 네트워크를 위한 기계 학습에 대해 권고안 작성을 위하여 ITU-T FG-ML5G(Focus Group Machine Learning for future networks including 5G)을 설립하였다. 이 그룹의 목적은 기계 학습에 대한 기술 보고서 및 사양으로서 인터페이스, 망 아키텍처, 프로토콜, 알고리즘 및 데이터 형식을 작성하는 것이다.

2019년 1월 ‘5G와 미래 네트워크에서 기계 학습을 위한 통합 아키텍처’ 기술 사양을 마무리하다 [4]. 기계 학습을 5G 및 미래 네트워크에 통합하는 방법으로 계층 또는 strata 또는 네트워크 함수의 어디든지 기계 학습을 위해 기계 학습을 돕는 데이터 소스나 기계 학습 결정을 구현하는 제어 메커니즘의 목표로서 연결점으로 동작한다. 다양한 아키텍처 변형을 분석한 결과로 기술과 무관한 요구사항을 반한 통합된 논리 아키텍처를 만들었다. 이 논리 아키텍처를 3GPP, MEC, EdgeX 또는 전송 네트워크와 같은 특정 기술에 적용(또는 중첩)함으로써 해당 기술별로 실현할 수 있다. 또한 기계 학습 오버레이 아키텍처에 대한 요구사항을 서술하고, 이 요구사항에 따라 통합 논리 아키텍처를 설명하였다. 상위 논리 아키텍처는 관리 서브시스템, 다중 레벨 기계 학습 파이프 라인 및 폐루프 서브시스템 세 가지 요소로 구성된다.

5G 및 미래 네트워크에서 기계 학습과 관련 제기된 다음의 주요 문제들은 미래 네트워크를 지원하기 위해 새로운 연구 영역으로서 현 표준을 확장시킬 수 있다.

• 5G에서 기계 학습을 사용하는 유즈 케이스의 ‘의도’를 지정하기 위해 상호 운용 가능한 선언 메커니즘을 제공하기 위해 기계 학습 간 연결

• 기존 네트워크를 미래 기계 학습 기반 네트 워크로 전환하는 맥락에서 미래 네트워크에 대한 기능 노출 메커니즘 특성 연구가 필요

• 클라우드 간 기계 학습 부하 분리를 위한 연구와 네트워크 기능 가상화 오케스트레이터 간 인터페이스와 다중 레벨 기계 학습 인터 페이스 구현 방안 연구

• 향후 네트워크에서 기계 학습 파이프 라인 노드를 모니터링하고 관리(예, 압축, 스케일링, 체이닝, 갱신, 최적화)하는 데 사용할 수 있는 기계 학습 기능 오케스트레이터

ETSI 표준 이니셔티브에서는 2017년 2월 인공지능을 사용하여 사업자 경험을 향상시키는 표준개발을 위해 산업 사양 그룹(ISG: Industry Specification Group)으로 ‘Experiential Network Intelligence (ENI)’ 구성하였다. 이 그룹의 목적은 “관찰-방향-결정-동작” 제어 모델 기반으로 인지 네트워크 관리 아키텍처를 정의하는 것으로 인공지능 기술과 상황 인식 정책을 사용하여 사용자 요구, 환경 조건 및 비즈니스 목표의 변화에 따라 제공된 서비스를 조정하자는 것이다. 이 시스템은 작동 방식은 운영자가 미래에 어떻게 행동해야 하는지에 대한 지식을 향상시키기 위해 운영자가 내린 결정에서 학습한다는 점에서 경험적이라는 것이다. 이를 통해 운영자는 네트워크 구성 및 모니터링 프로세스를 자동화하여 운영 비용을 줄이고 네트워크 사용 및 유지 관리를 개선할 수 있다는 것이다.

ISG ENI에서는 표준 기반 지능형 정책 엔진의 메트릭을 사용하여 비즈니스 서비스를 조정하고 구성하는 기능적 블록 아키텍처를 정의하고, 폐루프 기계 학습 및 인공지능 기반으로 ‘자동 네트워크 작동’을 개발하고 있다[5]. 사업자 경험 향상을 위해 네트워크 지능이 미래 진화의 단계적 연구목표로 표 1과 같이 우선 사건-조건-행동 정책 기반의 의사결정을, 두 번째 단계는 선언적 정책 기반의 의사결정을 최종 단계는 지능 기반으로 자기 의사결정을 고려하고 있다.

에릭슨은 2019년 3월 6G Wireless summit에서 5G의 진화는 연결성과 에지 컴퓨팅이 통합되고, 제로 터치와 신뢰할 수 있는 네트워킹을 하는 인프라라고 전망하였다. 그리고 미래에는 인공지능이 어디든지 존재하며, 통신 인프라에 인공지능이 적용되기 위해서 실시간 인공지능, 분산 인공지능, 책임지는 인공지능을 제시하였다. 실시간 인공지능은 라이브 데이터 기반으로 지능적 결정과 실시간 예측과 온라인 학습을 하는 것이라 하였다. 데이터센터, 네트워크 에지, 디바이스에 있는 분산 인공지능은 통신 인프라의 구조적 특성으로 분산된 데이터 기반으로 로벌 그리고 국부적 의사결정을 하는 것이라 하였다. 마지막으로 책임지는 인공지능은 안전과 신뢰 보장과 투명성을 제공하는 것이라고 하였다[6].

노키아는 EUCNC 2019에서 B5G(Beyond 5G) 인프라에는 유무선망의 최적화와 예측, 효율적인 인간-기계 간 인터페이스와 제로 터치로 망 구성 및 최적화를 위해 네트워크 자동화 기능이 필요하다고 하다[7]. 구체적으로는 RAN과 에지 클라우드를 포함하여 크로스-레이어 최적화를 위한 인터페이스, 워크 플로우, 훈련과 검증하는 인공지능과 기계 학습 오케스트레이션과 플랫폼을 제안하였다.

B5G 인프라에서는 다중 연결성과 품질 예측이 필요한 고도 네트워크, 기계 학습으로 인에이블된 물리-MAC 계층, 능동적인 네트워크 슬라이싱, 인공지능과 기계 학습이 도처에 존재하는 것이 될 것이라 예상하였다. 이 B5G 인프라 자동화를 위해 분산된 데이터, 기계 학습과 컴퓨팅, 에너지 소비를 고려하여 종단 관리 복잡성에 대응하고, 망 기능 관리, 빔 구성과 예측, 기계 학습 모델 배분과 관리 등 기능이 필요하다고 하였다. 이 자동화를 위해서 오토인코더와 LSTM(Long Short-Term Memory), RNN(Recurrent Neural Network), 강화 학습, 분산 학습과 전이 학습, 설명 가능한 모델, 그리고 오케스트레이션 등을 담당하는 기계 학습 플 랫폼이 필요하다고 하였다.

6G Wireless Summit 2019에서 화웨이[8]는 데이터가 폭발적으로 증가함에 따라 2020~2030년까지 5G는 대부분 기계 학습 기반으로 진화 발전하여 학습 네트워크라는 지능형 네트워크의 첫 번째 시대가 될 것이고, 2030~2040년경 6G는 지능형 네트워크의 두 번째 시대로 생각하는 네트워크가 될 것이라고 전망하였다. 인공지능 기술의 발전으로 장치, 에지, 클라우드 등 어디에나 인공지능이 탑재될 것이므로 각각의 장치에 로컬 심화 인공신경망이 있다는 가정하에 화웨이 모바일 인공지능 기술 비전으로 디바이스 내 인공지능과 클라우드 인공지능이 협력 작동하는 것이라고 제시하였다. 심화 학습 기반 통신을 하는 이유는 데이터 기반의 모델을 얻는 데 비용이 많이 들고, 종단 간 목적 함수는 수학적으로 정의될 수 없으며, 매개 변수가 많은 고차원 공간이기 때문이라고 하였다. 표 2에 인공지능 기반 알고리즘과 이동통신 알고리즘을 비교하였다.

6G Wireless Summit 2019에서 화웨이[9]는 이동통신에서 채널 발견(무선 채널의 내부 구조 이해), 지능형 무선 자원 관리, 지능형 네트워킹 등 모든 영역에서 매우 복잡한 문제가 인공지능으로 해결할 과제라고 하였다. 이 글로벌 문제 해결에 지각 인공지능만으로는 충분하지 않고, 기계가 새로운 상황과 환경을 인식하고 적응할 수 있는 능력과 함께 인간과 유사한 의사소통 및 추론 기능을 얻는 방법을 탐구해야 한다고 하였다.

한편, DARPA는 인공지능의 진화를 세 단계로 정의하였다. 인공지능의 첫 번째 물결은 ‘좁게 정의된 문제에 대한 추론’을 가능하게 하지만 확실성이 낮은 것이고, 두 번째 물결은 최소한의 추론이기는 하지만 ‘빅데이터로 훈련하고 통계 모델을 생성’을 가능하게 하는 것으로 센싱한 데이터를 통한 학습하는 전처리하는 것이다. 현재 우리는 이 단계에 있으나 새로운 연구 방향으로서 인공지능의 세 번째 물결로 센싱과 전처리한 후 데이터로부터 추론하는 것이라 하였다.

이 세 번째 물결을 실현하기 위해 현 기계 학습에서 누락된 것, 특히 심화 학습에서 누락된 것으로 깊은 이해, 장기적인 종속성을 처리하기 위한 다중 시간 규모로서 더 나은 비지도 학습과 근본 원인을 발견하는 것이라 하였다. 오늘날 기계는 상황에 맞는 추론하는 기능이 없으므로 훈련은 궁극점에 도달하기 위해 비용이 많이 들며, 결국 불가능하므로 실제 세계에서 배우는 것이 필요하다. 이 기계 학습 모델은 피상적인 통계 규칙에만 의존하므로 이 모델은 분포를 벗어난 예에 취약하지만, 인간은 다른 동물보다 근본적인 인과 관계에 대한 보다 정확한 내부 모델 덕분에 더 잘 일반화할 수 있다. 즉, 이전의 상황에서 멀리 떨어진 미래 상황을 예측하려면 추론이라는 필수 요소가 필요하다. 지각 프레임워크를 뛰어넘어 지각과 일부 마스터-제자 훈련을 사용하여 학습하는 프레임워크로 Grothendieck Topos라는 위상 수학의 도입을 제안하였다.

EUCNC 2019에서 화웨이[10]는 2020년경 연결된 사물에서 2030년경에는 연결된 지능을 실현하는 차세대 이동통신의 신 패러다임을 주도하는 것으로 클라우드/에지/디바이스로 광범위하게 퍼진 인공지능, 인공지능을 위한 기계 학습과 통신을 위한 기계 학습 등을 제시하였다. 최근에 이동통신에 인공지능 기술을 적용하는 연구가 진행되었으며, 상위 계층, 네트워크 계층과 정보 보호에 비해 PHY-MAC계층에는 상대적으로 연구 실적이 적다는 분석 결과를 제시하였다. 인공지능 기술을 이동통신에 적용 시 달성할 지표로는 재현성, 강건성, 합리성과 예측성을, 이 지표 달성을 위한 향후 도전 사항으로 알고리즘 일반화, 실제 망에서 강건성과 생존성, 새로운 기계 학습 기반의 알고리즘과 시스템의 상한 성능, 상용 구현과 저 비용, 다중 노드 간 협조적 학습과 지식의 공유, 전통적 그리고 인공지능 기반 알고리즘과의 공존, 극한의 저전력 소모 등을 제시하였다. 이 실현을 위해 우선은 공통의 훈련 및 시험 데이터 세트를 만들고, 표준화된 평가 방법론과 주요 성능 지표, 그리고 기본적인 기계 학습 이론의 연구 필요성을 언급하였다.

EUCNC 2019에서 Fraunhofer[11]는 통신에 기계 학습을 적용하면 부정확하거나 복잡한 모델로 인한 복잡성, 비효율적인 컴퓨팅과 느린 수렴의 개선을 시작으로 높은 복잡도에 대처하고 많은 측정을 줄일 수 있으며, 자기 조직화를 용이하게 하며, 강건한 예측을 제공하는 잠재적인 이득이 있다고 언급하였다. 그리고 지금까지 통상의 기계 학습에서 무시한 에너지 효율을 통신에 접목 시 핵심 이슈를 지적하였다. 특히 상위 계층에서는 대규모 데이터 세트가 가능하지만 불완전한 데이터, 에러가 있는 데이터, 시간적 오류가 있는 데이터 등 문제가 있으며, 물리-MAC 계층 훈련 데이터의 수집은 제한적인 점, 빠른 시변 채널과 간섭, 짧은 변화가 없는 구간, 분산된 데이터, 계산을 위한 전력과 에너지의 제한 문제도 해결해야 한다고 제시하였다. 따라서 이동통신용 기계 학습의 요구사항으로 다음과 같이 제시하였다.

첫 번째, 적은 불확실한 데이터 세트로 기계 학습을 실현할 수 있는 좋은 추적 기능을 가진 강건한 온라인 기계 학습이다.

두 번째, 이동통신 영역의 지식을 이용하고 통신 데이터를 기반으로 기계 학습 모델을 결합한 하이브리드 기계 학습, 주파수와 시간 등에서 느리게 변화하는 기능을 학습하면서 중요한 기능 특성을 보존하는 기능이다.

세 번째, 희소성 있는 자원을 효율적으로 이용하는 분산 학습으로 빅데이터 해석을 위한 새로운 아키텍처이다.

네 번째, 저복잡도와 저지연 구현이 가능하도록 새로운 알고리즘이 필요하다.

마지막으로 통신 인프라 특성상 신뢰할 수 있으며 안심할 수 있는 기계 학습이다.

6G Wireless Summit 2019에서 오울루대학[12]은 5G는 미래의 연결성 요구사항을 위한 혁신 플랫폼으로 지속적인 역할을 할 것이지만, 연결성만으로는 5G의 완전한 잠재력 실현을 위해 충분하지 않다고 하였다. 그 이유로 주변 환경과 통신, 감지 및 행동을 하는 새로운 자율 디바이스가 확산되면, 이 디바이스들이 생산하는 대규모의 데이터를 훈련 및 추론을 위해서 클라우드로 전송할 수 없다. 따라서 개인 정보 보호, 에너지, 지연과 신뢰의 대규모 도전을 해결하기 위해서 지능이 더 이상 중앙 클라우드로 국한되면 안 되고, 무선 에지 지능을 주도하는 디바이스로 분산되어야 하고, 이 에지 지능은 중앙화된 클라우드 기반의 훈련·추론·제어 접근법과는 다른 방법이 필요한 새로운 연구 분야라고 하였다. 즉 에지 디바이스는 지연·신뢰·정확도·프라이버시 제한, 메모리·컴퓨팅·전력 제한 그리고 제한된 데이터와 채널·네트워크 변동에 따라 공유된 학습 모델을 훈련·구축을 위해 그들의 학습된 모델을 상호 교환하는 시스템 설계가 필요하다. 분산된 에지 지능은 5G와 B5G의 완전한 잠재력을 실현시킬 수 있다는 초기 연구 결과로 연합 학습에 대한 연구결과는 참고문헌 [13]에 상세히 언급하였다.

이 무선 에지 지능에 대한 향후 연구항목으로 심화 신경망을 넘어서 데이터 분리 혹은 모델 분리의 아키텍처 연구, 신뢰할 수 있는 저지연 기계 학습을 위해 수학적 툴이라는 알고리즘의 적용 연구, 그리고 하드웨어와 알고리즘의 공동 설계를 제안하였다.

입력 레이어, 히든 레이어, 출력 레이어, 그리고 가중치와 바이어스로 구성되는 인공신경망은 관찰된 데이터로부터 복잡한 입력-출력 관계와 통계 구조를 직접 학습하는 능력 때문에 심화 학습이 가능하다. 하나의 히든 레이어가 있으면 얕은 신경망, 둘 이상의 히든 레이어가 있으면 심화 신경망 혹은 심화 학습이라 한다. 이 신경망에서 뉴런 간 연결 강도를 모델링하는 것이 가중치 및 바이어스 항이다. 심화 학습은 기본적으로 기계 학습의 일부분이지만, 알고리즘을 통해 명시적으로 프로그래밍하지 않고도 데이터 기반으로 예측, 분류 또는 결정을 내릴 수 있어서 도메인 전문가가 정의하는 기능에 크게 의존하는 기계 학습과 달리 심화 학습은 여러 대상의 목표에 따라 예측하거나 조치를 취하기 위해 여러 계층의 비선형 처리 장치를 통해 원시 데이터에서 지식을 계층적으로 추출한다는 것이다.

기계 학습의 주요 이슈는 이전에 보지 못했던 입력에 대해 어떻게 일반화하는지 방법을 배우게 하는 것이고, 이 일반화 오류를 줄이려면 더 많은 양의 데이터로 알고리즘을 훈련시켜야 하며, 실제로 훈련 세트의 크기를 늘리면 도움은 되지만, 계산 및 저장 용량 측면에서 처리할 수 있는 데이터의 양에는 한계가 있다. 또한 필수적으로 고려할 기능은 훈련 세트 크기가 커짐에 따라 기계 학습 알고리즘 성능이 향상되는 속도인데, 심화 학습은 개념적으로 훈련 데이터의 차원이 증가함에 따라 다른 기계 학습보다 훨씬 빠른 속도로 성능을 향상시킬 수 있다.

심층 학습의 주요 목표는 히든 레이어의 간단하게 미리 정의된 연산 구성을 통해 복잡한 함수를 근사화하는 것이다. 심화 학습은 데이터가 계층적 순서를 가진 요소 구성에 의해 생성되었다고 가정하고, 기본 분포의 구조를 자동으로 이해할 수 있는 학습 방법을 개발하여 데이터에서 올바른 매핑 함수를 도출 시 중요한 특징을 직접 추출한다. 즉, 심화 학습은 작업 별로 가정 없이도 기본 분포의 구조를 이해할 수 있으므로 보다 일반적인 알고리즘을 사용할 수 있다. 따라서 최근 통신 연구자들도 심화 학습의 효과와 중요성을 인식하기 시작하였으며, 이동통신 영역과 관련된 문제를 해결할 수 있는 연구들이 진행되고 있다.

주요 심화 학습 아키텍처로는 Multilayer Perceptron(MLP), Restricted Boltzmann Machine(RBM), Auto-Encoder(AE), Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Generative Adversarial Network(GAN), Deep Re-enforcement Learning(DRL)이 있다. MLP는 초기 구조로서 지도, 비지도 그리고 강화 학습 시나리오가 있으며, 간단한 상관을 갖는 데이터의 모델링에 적합하다. RBM은 원래 비지도 학습 시나리오로 설계되었으며, 강력한 특징을 추출하는 문제에 적합하다. AE는 비지도 학습 시나리오로 설계되었으며 입력을 출력으로 복사하는 것을 시도하는 것으로 차원 감소를 위해 데이터의 희박하고 간결한 특징으로 만드는 문제에 적합하다. CNN은 지도-비지도-강화 학습 시나리오가 가능한 구조이며, 다른 영역 간 상관관계 추출을 하는 공간 데이터 모델 문제에 적합하다. RNN은 지도-비지도-강화 학습 시나리오가 가능한 구조이며, 데이터 간 순차적 상관이 있는 순차적 데이터 모델 문제에 적합하다. GAN은 비지도 학습 시나리오 구조로서, 적대적 프로세스를 사용하여 발생기 모델을 훈련하는 프레임워크로서 데이터 발생 문제에 적합하다. DRL은 강화 학습 시나리오가 가능한 구조로서 가치 함수 혹은 정책 함수의 근사화 방법 들로서 에이전트는 지속적으로 환경과 상호작용하고 보상 신호를 피드백으로 받으며, 에이전트는 각 단계에서 작업을 선택하여 환경 상태를 변경한다. 이 DRL은 고차 입력을 갖는 제어 문제에 적합하며, 특히 강화 학습이 중요한 역할을 수행할 수 있는 Markov Decision Processes(MDP)로 공식화되는 많은 모바일 네트워킹 문제에 활용되고 있다[3].

현 이동통신의 다양성과 복잡성을 고려한 설계에서 수학적 모델링의 한계 극복을 위한 인공신경망 기반의 심화 학습 효과는 다음의 네 가지 사항에 기반한다.

첫 번째, 더 크고 복잡한 모델을 훨씬 빠르게 훈련시킬 수 있는 병렬 컴퓨팅 기술의 발전. NVIDIA가 개발한 Compute Unified Device Architecture (CUDA)와 CUDA Deep Neural Network library (cuDNN), 구글의 Recent advanced Tensor Processing Units(TPUs) 등 덕분에 심화 학습의 복잡한 계산을 실시간으로 처리할 수 있다.

두 번째, 모바일 데이터는 다양한 장치로부터 수집되고 복수의 분산된 데이터 센터에 저장되는 분산 이동통신망을 위한 분산 기계 학습을 위해 모든 장치 간 모델 파라미터와 계산 프로세스의 일관성 유지, 분산 시스템에서 장치 장애의 결함 허용, 노드 간 통신 최적화, 효율적인 분선 데이터 저장, 부하의 적절한 분산을 위한 자원 관리와 복수의 프로그래밍 언어를 지원하는 프로그래밍 인터페이스 문제 등을 해소하는 연구가 진행되고 있다.

세 번째, 엔지니어들이 심화 학습 모델 구축을 용이하게 하기 위해 Tensorflow, Theano, Caffe(2) 등 심화 학습 전용 라이브러리를 다양한 언어로 활용할 수 있다.

네 번째, 최근 인공신경망 기반의 심화 학습과 강화 학습 기술 개발로 기계 학습 알고리즘이 발전하였다. 심화 학습에서 최적화되어야 할 복잡한 목적 함수를 빠르게 최적화할 알고리즘 등이 개발되어, 기존 수학적 기법의 수행 시간 제한을 극복하면서 높은 정확도로 적시에 네트워크 분석 및 관리를 용이하게 할 수 있게 되었다.

이동통신 심화 학습의 적용 시 장점은 다음 다섯 가지로 정리할 수 있다.

첫 번째, 복잡한 구조와 내부 상관 관계가 있는 데이터로부터 고급 기능을 자동 추출할 수 있다. 즉 학습 과정을 사람이 설계할 필요가 없으며, 시스템에서 발생된 데이터는 일반적으로 이기종 디바이스에 의해 생성되고, 잡음이 포함되어 있으며, 사소한 공간적·시간적 패턴을 나타내므로 심화 학습을 적용하는 것이 유리하다.

두 번째, 빠른 속도로 다양한 유형의 데이터를 생성하는 이동통신에서 심화 학습 알고리즘 훈련을 위해 사용하는 SGC(Stochastic Gradient Descent)등은 각 훈련 단계마다 하위 세트의 데이터만 필요하므로 빅데이터를 통한 심화 학습의 확장성을 보장한다. 반면 기계 학습 알고리즘 훈련을 하려면 모든 데이터를 메모리에 저장해야 하므로 빅데이터 시나리오에서는 계산할 수 없고, 기계 학습의 성능은 많은 양의 데이터에서 비교적 빠른 속도로 크게 증가하지 않는다.

세 번째, 대부분의 이동통신시스템은 레이블이 없거나 세미-레이블 데이터를 생성하는데, 심화 학습은 레이블이 없는 데이터를 활용하여 비지도 방식으로 유용한 패턴을 학습하는 다양한 방법을 제공하고 있다.

네 번째, 심화 학습으로 압축된 표현은 다른 작업에서도 공유할 수 있다. 따라서 여러 작업에 대한 완전한 모델 재교육 없이도 단일 모델을 교육하여 여러 목표를 달성할 수 있다. 이는 멀티 태스킹 학습 응용을 수행 시 계산 및 메모리 요구를 감소시키므로 이동통신시스템 엔지니어링에 필수적이다.

다섯 번째, 심화 학습은 기하학적인 이동통신 데이터를 학습하고 분석하는 데 효과적이지만, 기계 학습으로는 어렵다. 기하학적 데이터는 좌표, 토폴로지, 메트릭 및 차수로 표시되는 다변수 데이터를 의미하며, 이동 사용자 위치 및 네트워크 연결과 같은 데이터는 중요한 기하학적 특성을 갖는 점 클라우드 구조를 그래프로 자연스럽게 표현될 수 있다.

이동통신에 심화 학습을 적용 시 단점은 다음 다섯 가지로 정리할 수 있다.

첫 번째, 일반적으로 심화 학습은 적대적 샘플에 취약하다. 이 샘플은 공격자가 기계 학습 모델을 속여서 실수를 저지르도록 의도적으로 설계된 인공적인 입력 샘플을 의미하며, 실제 샘플과 구별하기 어려워서 잘못된 학습 모델을 초래하여 시스템에 잘못된 조정을 야기할 수 있다. 특히 CNN은 이러한 유형의 공격에 취약하다.

두 번째, 심화 학습 알고리즘은 주로 블랙박스이므로 해석 가능성이 낮다. 즉, 심화 학습은 특정 작업에서 정확도가 높은 ‘기계’를 만들 수 있지만 신경망이 특정한 결정을 내리는 이유에 대한 지식은 여전히 제한적이어서 심화 학습의 적용 가능성에 제한 요소가 된다.

세 번째, 심화 학습은 데이터에 크게 의존하며 때로는 모델 자체보다 데이터가 더 중요할 수 있다. 심화 학습 모델은 데이터 보강 훈련으로 더 많은 이점을 얻을 수 있지만, 데이터 수집 비용이 많이 들고 개인 정보 보호 문제가 발생할 수 있으므로 모델 교육을 위한 충분한 정보를 얻는 것이 어려울 수 있다.

네 번째, 심화 학습은 계산상 까다로울 수 있다. 깊은 신경망은 일반적으로 만족스러운 정확도 성능을 얻기 위해 복잡한 구조를 요구하지만, 이동통신 디바이스에 적용 시 에너지 및 기능 제약을 고려해야 한다.

다섯 번째, 심화 신경망에는 일반적으로 많은 하이퍼-파라미터가 있으며, 최적의 구성을 찾는 것이 어려울 수 있다. 이 하이퍼-파라미터의 수는 모델의 깊이에 따라 기하 급수적으로 증가하며 성능에 큰 영향을 줄 수 있으며, 좋은 하이퍼-파라미터 세트를 찾는 것은 건초 더미에서 바늘을 찾는 것과 유사할 수 있으나, AutoML 플랫폼[14]은 점진적 신경 구조 검색을 사용하여 솔루션을 제공할 수 있지만, 이 작업은 비용이 많이 든다.

한편, 이동통신 설계는 수학적 모델의 분석뿐만 아니라 이동통신망에서 발생되는 데이터의 연구 및 처리에서도 나올 수 있으므로, 현재 이동통신의 자원(예, 용량, 스펙트럼, 에너지 부족)부족 문제 해결과 미래 이동통신에서 복잡성 극복을 위해 설계 과정에서 데이터 중심 패러다임에 의존하는 연구가 진행되고 있다. 이 방향으로 가기 위한 프레임워크는 기계 학습 프레임워크이지만, 기계 학습을 사용하는 주된 이유는 수학적 모델에 대한 네트워크 설계 및 운영의 의존도를 낮추자는 것이지, 수학적 모델링 및 분석을 완전히 대체하는 것은 아직 시기상조이다. 심화 학습을 이동통신에 접목한 주요 사례는 다음과 같다.

• 네트워크 내에서 수집 된 모바일 빅데이터로부터 심화 학습 기반 네트워크 레벨에서 트래픽 예측, 트래픽 분류 및 CDR(Call Detail Record) 마이닝 등 모바일 데이터 분석

• 심화 학습 기반 에지 디바이스에서 앱 수준 모바일 데이터 분석

• 심화 학습 기반 그룹 또는 개별 수준에서 모바일 사용자의 이동 패턴 분석

• 무선 채널에서 수신 된 다른 신호 기반으로 실내외 환경에서 심화 학습 기반 사용자 측위

• 심화 학습 기반 네트워크 최적화, 라우팅, 스케줄링, 자원 할당 및 무선 제어 등 네트워크 제어

• 심화 학습 기반 네트워크 정보 보호 개선

• 심화 학습 기반으로 MIMO(Multi Input Multi Output), 변조, 채널 추정과 데이터 검출, 채널 부화 등 물리 계층 설계

본 논문에서는 심화 학습 기술을 물리 계층과 네트워크 제어에 적용한 사례를 분석 정리하였다.

이동통신 물리 계층에서 다양한 작업을 위한 도구로서 심화 학습은 최근 몇 년 동안 가장 큰 관심을 끌기 시작하여 연구가 적지만, 현재 주요 연구 방향은 다음 두 가지이다. 첫 번째는 데이터 검출, 디코딩, 채널 추정, 측위 등 물리 계층 자체 동작을 구현하는 심화 학습이고, 두 번째는 무선 자원 할당에서 복잡도 최소화와 부가적인 정보를 단순화 등 물리 계층을 관리를 실현하는 심화 학습이다.

심화 학습 기반 물리 계층 최적화의 유망한 접근법은 최적화할 문제에 대한 사전 지식을 데이터 기반 심화 학습 방식에 포함시키는 것이다. 이는 대량의 필수 데이터 및 관련된 복잡한 처리로 인해 대규모 응용 프로그램에서는 순전히 데이터 중심 접근 방식으로 구현하기가 매우 복잡하다는 점을 고려한 것이다. 구체적으로는 다음 네 가지 경우로 생각할 수 있다[2].

(1) 정확하고 다루기 쉬운 이론 모델이 있는 경우: 점대점 채널 용량과 비트 에러율 등

(2) 정확하지만 다루기 어려운 이론 모델이 있는 경우: 간섭으로 제한된 환경에서 달성 가능한 총 전송 속도 등

(3) 다루기 쉽지만 부정확한 이론 모델이 있는 경우: 밀집한 망 배치, 에너지 소모, 하드웨어 구현 등

(4) 부정확하고 다루기 어려운 이론 모델이 있는 경우: 분자 통신, 종단간 무선통신 등

(1)과 (4)는 각각 전통적인 시스템 설계 방식과 데이터 중심 기술에 의해 처리할 수 있으나, (2)와 (3)은 모델이 정확하지 않거나 번거롭더라도 모델을 이용할 수 있다는 사실 때문에 모델과 데이터 중심 접근법을 함께 이용할 가능성이 있다. (2)와 (3)에 대한 구체적인 방법론으로 다음 두 가지가 제안되었다[2].

첫 번째는 모델 최적화로서 (2)의 경우 최적화할 성능 지표의 해석적 표현식이 가용하므로, 이 지표 기반으로 발생된 데이터로 심화 학습 모델을 훈련시키는 것, 즉 시스템 파라미터와 해당 최적 자원 할당 사이의 매핑하는 학습 모델을 훈련시켜 최적화하는 것이다.

두 번째는 (3)과 같이 이론적 모델이 부정확한 경우에 적용하는 모델 다듬기로서 우선 근사 해석 모델 기반으로 생성된 합성 데이터로 훈련된 심화 학습 모델로 근사 시스템 설계를 하고 이를 심화 학습 모델에 적용한 후 실제 측정된 실제 데이터를 기반으로 훈련을 통해 심화 학습 구조를 개선하는 것이다. 모델 다듬기의 구체적 구현 방안으로 모델 기반 및 데이터 기반 접근 방식의 한계를 극복하는 네트워크 기반 전이 학습 최적화가 제안되었다. 아이디어는 먼저 모델 기반 접근 방식을 사용하여 인경신경망을 학습하고 최적화한 다음 일부 경험적 데이터(데이터 기반 접근 방식)를 사용하여 획득된 인공신경망을 수정하는 것이다. 우선 모델 기반 인공신경망이 확보된다는 것은 경험적 데이터 기반으로 수정될 초기 인공신경망의 레이어 수, 뉴런, 가중치 및 바이어스 수가 선정된 초기 모델을 확보한다는 것이다.

상기 두 접근법은 순전히 모델 기반 방법에 비해 복잡성을 크게 줄이므로 거의 최적의 성능으로 실시간 자원 할당이 가능하며, 순전히 데이터 중심 방식에 비해 필요한 데이터의 양을 획기적으로 줄이므로 비싸고 실용적이지 않은 측정 캠페인이 필요하지 않는 장점이 있다(그림 1).

그림 1

심화 학습 모델 최적화: (a) 모델 최적화, (b) 모델 다듬기

심화 학습 기반의 MIMO 연구는 MIMO 채널에서 송신된 벡터의 추정, 셀룰라 망에서 massive MIMO 채널 측정, Auto-encoder 기반의 물리 계층 설계 등이 있다. 심화 학습 기반 변조 연구는 변조 식별, 그 정확도 개선 등에 대한 것이다. 심화 학습 기반 물리 계층 설계는 최근에 시작된 분야로서 초기 연구 단계이지만, 연구 결과가 성능, 복잡성, 일반화 기능 등이 입증되고 있으므로 향후 통신신호처리 분야에서 중요한 역할을 담당할 것으로 전망된다.

이동통신에서 자원 관리 목표는 하나 이상의 성능 지표 최대화를 위해 사용 가능한 망 자원을 할당하는 것이다. 즉 대기 시간, 에너지 효율성, 동시에 모든 최종 사용자가 보장된 서비스 품질 경험을 보장하기 위해 네트워크 처리량, 통신 최적화를 위한 트래픽 요구, 전파 채널 조건, 터미널 요구사항 등을 고려하여 전송 전력, 빔 포밍 벡터, 수신 필터, 주파수 대역, 컴퓨팅 전력, 메모리 공간 등을 디바이스별로 스케줄링하는 것이다.

그러나 자원 관리에 대한 기존 접근 방식은 전통적인 최적화 이론 기술을 사용하지만, 문제에 대한 적절한 수학적 모델, 즉 다루기 쉽지만 정확한 공식을 생각해낼 수 있는 경우에만 작동한다. 또한 이것이 가능하다고 가정하더라도, 최적의 자원 할당은 필연적으로 사용자 위치, 연결된 사용자 수, 느린 페이딩 또는 빠른 페이딩 채널 등 시스템 파라미터에 종속된다. 실제 이동통신 환경에서 자주 발생하는 이 파라미터 중 하나가 변경될 때마다 최적화 문제를 새로 해결해야 한다. 이로 인해 특히 미래 이동통신과 같은 크고 복잡한 시스템에서 사용 가능한 최적화 프레임워크의 실시간 구현을 제한하는 상당한 복잡성 오버 헤드가 발생한다.

심화 학습을 사용하면 이 문제를 해결하고 이동통신에서 진정한 온라인 자원 관리를 가능케 하는 새로운 접근 방식을 제공할 수 있다. 일반적인 자원 할당 문제는 관심있는 모든 네트워크 매개 변수의 앙상블을 해당 최적의 자원 할당으로 알 수 없는 함수 매핑으로 고려하자는 문제를 심화 학습이 처리할 수 있는 과제, 즉 알지 못하는 것을 학습하는 문제로 전환시킨다. 심화 학습은 제대로 훈련되면 시스템 파라미터와 사용할 자원 할당 사이의 입력-출력 관계를 배우는 보편적 근사화 기술이므로 어떤 최적화 문제를 명시적으로 해결할 필요 없이 주어진 시스템 파라미터에 대해 원하는 성능 함수를 최적화할 수 있다.

이 최적화 실현을 위해서 심화 학습 기반 자원 관리를 이동통신 토폴로지 및 아키텍처에 어떻게 통합하고, 망 자원 관리 업무를 수행하는 심화 학습에 필요한 데이터를 어디에 저장하고, 그리고 관련된 계산을 어디에서 실행하는가 하는 문제를 해결해야 한다, 이상적으로는 중앙의 클라우드 기반으로 처리하는 것이 좋지만, 지연 보장, 프라이버시 보호, 클라우드와 연결이 열악한 상황에서도 동작의 세 가지 이유에서 미래 이동통신망에서 심화 학습 기능은 중앙화된 클라우드에만 있는 것이 아니라, 모바일 디바이스에서 존재하는 새로운 인공지능 패러다임이 되어야 한다. 이 모바일 패러다임을 실현 방법으로 다음 두 가지로 제안되고 있다.

첫 번째, 네트워크의 각 디바이스를 합리적이고 독립적인 의사결정자로 간주하여 자체 로컬 데이터 세트를 획득하고 이를 사용하여 자체 로컬 심화 학습 모델을 구축하는 것이다. 이 기술은 데이터 공유 및 처리와 관련하여 네트워크 인프라와 에지 사용자 간의 상호작용이 필요하지 않으며 분산된 자체 관리 네트워크 비전을 실현할 수 있는 잠재력을 가지고 있습니다. 반면, 저장 및 처리 기능이 제한 때문에 모바일 디바이스는 스스로 정확한 모델을 개발하지 못할 수 있으며, 그로 인한 성능 차이를 야기한다. 또한 디바이스만으로 안정적인 네트워크 작동 지점에 도달하는 것과 그 지점의 효율성에 관한 의문이 제기되고 있다.

두 번째 방법은 연합 학습을 사용하는 것이다. 연합 학습 아이디어는 중앙 서버에 의해 조정되는 로컬 장치 간 연합으로 데이터 및 계산 작업을 수행하는 것이다. 서버는 로컬 데이터 세트를 기반으로 개발된 디바이스의 로컬 모델을 통합하여 구축되는 글로벌 심화 학습 모델을 개발 보유한다. 따라서, 서버에 업로드되는 것은 글로벌 모델에 대한 업데이트일 뿐 로컬 데이터 세트는 아니다. 이 방법을 사용하면 각 장치가 소유한 개별 지능은 서버가 유지 관리하는 전체 장치 연합에 대한 집단 지능에 기여할 수 있다.

네트워크 제어에 사용된 심화 학습으로는 강화 학습, 모방 학습, 해석 기반 제어가 있다. 모방 학습은 ‘시연에 의한 학습’이라는 학습 패러다임으로, 이는 에이전트가 훈련 중에 특정 관찰 조건에서 무슨 행동을 수행해야 할지를 알려주는 ‘교사’에 의존한다는 것이다. 충분한 시연 후에는 에이전트는 교사의 행동을 모방하는 정책을 배우고, 감독없이 독립적으로 운영할 수 있다. 해석 기반 제어는 네트워크 데이터 분석을 위해 기계 학습 모델을 사용해서 결과적으로 네트워크 제어를 돕기 위해 그 결과를 활용하게 한다. 강화·모방 학습과 달리 해석 기반 제어는 동작할 결과를 직접 출력하지 않는 대신 유용한 정보를 추출하여 에이전트에 전달하여 작업을 실행하게 한다[3]. 상기 기법을 이용하여 이동통신 네트워크에서 최적화, 라우팅, 스케줄링, 자원 할당, 무선 제어 등이 연구되고 있다.

심화 학습 기반 네트워크 최적화는 네트워크 성능 향상을 목표로 특정 환경에서 네트워크 자원과 기능을 관리하는 것이다. 최근 주요 연구로 RBN모델을 이용하여 해석 기반 제어로 다중 상품 흐름 수요 정보와 이동통신망에서 링크 사용 간 상관 관계 예측 모델기반으로 에너지 소모 최소화를 위한 데이터 크기 축소, 이동통신망에서 캐싱 및 간섭 정렬 문제 해결을 위해 시변 채널을 유한 상태의 Markov 채널로 가정하고 심화 Q-학습을 적용하여 최상의 사용자 선택 정책을 학습시켜 더 높은 총합 전송율과 에너지 효율을 제공하는 것이 있다.

라우팅에 심화 학습을 적용하면 라우팅 규칙의 효율성을 향상시킬 수 있다. MLP 모델 기반의 해석 기반 제어로 가상의 루트 할당에 대한 연구, RBN 모델 기반의 모방 학습을 통한 제어로 소프트웨어 정의 라우팅에 대한 연구, Tensor·RBN 모델 기반의 모방 학습을 통한 제어로 지능적 패킷 라우팅에 대한 연구 등이 있다.

심화 학습 기반의 네트워크 제어의 세 가지 방식에 대한 연구 결과를 종합하면 다음과 같이 정리할 수 있다.

강화 학습은 환경과 상호작용하고 개선하기 위해 다양한 행동을 시도하고 피드백을 얻어야 하는데, 에이전트가 훈련 중에 실수할 수 있고, 이 실수는 네트워크에 심각한 결과를 초래할 수 있으므로 대부분의 작업은 실제 인프라에서 에이전트를 교육하는 대신 실제 네트워크 환경을 모방하는 시뮬레이터가 구축하여 에이전트를 오프라인으로 훈련시킨다. 그러나 에이전트가 훈련에 사용 된 환경과 다른 환경에서 적절하게 작동할 수 없으므로 시뮬레이터가 실제 상황을 충실하게 반영될 필요가 있으며, 반영된 후에는 에이전트 교육에 상당한 시간과 컴퓨팅 자원이 필요하다.

반대로 모방 학습 메커니즘은 ‘시연으로 학습’하는 것으로 특정 상황에서 에이전트가 해야 할 일을 알려주는 레이블을 제공하는 교사 역할이 있어야 한다. 네트워킹 맥락에서, 특히 일부 네트워크 응용(예, 라우팅)에서, 최적 솔루션 계산에 시간 소모가 많으면, 모바일 네트워크의 지연 제약을 만족시킬 수 없으므로. 이를 완화하기 위해 오프라인에서 큰 데이터 세트를 생성하고 에이전트를 사용하여 최적의 조치를 학습시킬 수 있다.

분석 기반 제어는 네트워크 환경 상태만을 기반으로 결정을 내릴 수 없는 문제에 적합하므로 신경망을 사용하여 추가 정보를 추출할 수 있으며, 이로 인해 의사결정에 도움이 된다.

이동통신망의 유지 관리 및 운영은 사용자의 지역화, 채널 추정, 서비스 품질 모니터링, 오류 및 이상 탐지, 핸드 오버 실행, 침입 탐지 등과 같은 다양한 작업을 포함하는 광범위한 분야이다. 이 모든 작업은 다른 임의의 벡터 y의 관찰에 기반하여 임의의 벡터 x의 실현을 추측하는 작업으로 공식화될 수 있다. 이 문제는 고전적인 결정 및 추정 이론의 틀에 해결될 수 있지만, 고전적 검출 및 추정 방법은 조건부 분포 함수 f(x|y)와 사전 분포 함수 f(x)가 필요하며, 이 함수들의 가용성은 현재의 특정 문제에 대한 다루기 쉬운 모델의 가용성 여부와 밀접하게 관련된다. 대신 기계 학습에는 이 가정이 필요하지 않으며 심지어 분포 자체가 알려지지 않았더라도 내포되어 있는 분포의 일부 실현만으로 작동할 수 있다.

미래의 이동통신망에서 예상되는 증가된 복잡도로 통계적 접근법은 점점 실용적이지 않을 것이다. 랜덤 벡터 x 및 y에 대한 모델 및 통계 정보의 부족에 대처하는 적절한 방법은 기계 학습이 될 수밖에 없다. 여러 문헌에서 유지 관리 작업을 위해서 통계 분포 정보 없이도 기계 학습 방법이 어떻게 잘 수행되는지 보여주고 있다. 네트워크 유지 관리를 위한 심화 학습을 미래의 이동통신 아키텍처에 통합하는 경우 자원 관리 시나리오보다 중앙집중식 접근으로 수행할 수 있다. 실제로, 대부분의 운영 및 유지 관리 작업(예, 결함 및 이상 탐지, 핸드 오버, 침입 탐지)은 모든 계산이 네트워크 인프라 노드에서 실행되며 에지 사용자와 특정 정보 교환이 필요하지 않다는 의미에서 본질적으로 중앙집중화라 할 수 있다. 반면에 매우 큰 데이터 세트와 수행해야 하는 계산이 매우 까다로운 경우 분산 또는 연합 방식을 사용하지만 전용 네트워크 노드 중 하나만 사용하는 것이 적절하다.

이동통신 환경은 한 지역에 걸친 모바일 데이터 트래픽의 공간적 분포는 하루 중 시간대별로 크게 변하는, 즉 시간 흐름에 따라 변화하는 패턴을 보인다. 이 이동통신 환경에 심화 학습 모델을 적용하려면 오래되었지만 필수적인 패턴을 잊지 않고 새로운 기능을 지속적으로 흡수할 수 있는 평생 학습 기능이 필요하다.

또한 스마트 폰을 대상으로 하는 바이러스는 이동통신망을 통해 빠르게 확산되므로 제한된 정보를 사용하여 적시에 새로운 위협에 대응해야 할 필요가 있다. 심화 학습 모델에 전이 학습 기능이 있어야 사전 훈련된 모델에서 다른 작업 또는 데이터 세트로 지식을 빠르게 전송할 수 있고, 이를 통해 모델은 제한된 위협 샘플(원 샷 학습) 또는 새로운 위협에 대한 제한된 메타 데이터 설명(제로 샷 학습)에서 잘 작동할 수 있다. 따라서 평생 학습과 전이 학습은 끊임없이 변화하는 이동통신 환경의 응용에 필수적이다.

심화 평생 학습은 인간의 행동을 모방하며 새로운 환경에 지속적으로 적응하고 이전 학습 경험에서 최대한 많은 지식을 보유할 수 있는 기계를 구축하자는 것이다. 평생 학습에 전통적인 심화 학습에 적용한 기술로 이중 메모리 심화 학습 아키텍처, 메모리 모듈 대신에 시변 패턴 처리를 위해 RNN을 갖는 자체 구성 아키텍처, 유명한 컴퓨터 게임 Minecraft에서 학습된 기술을 유지하는 심화 Q 학습 아키텍처 등이 있다.

이중 메모리 심화 학습은 사전 훈련된 모델이 새로운 데이터로 훈련하는 동안 오래된 지식을 유지하도록 깊은 메모리와 고속 메모리라는 두 개 메모리 버퍼를 사용하는 것으로, 깊은 메모리는 보이지 않는 분포의 데이터 양이 누적되어 임계 값에 도달할 때 구축되는 것이고, 고속 메모리는 작은 신경망으로 새로운 데이터 샘플을 발견하면 즉시 업데이트한다.

RNN을 갖는 자체 구성 아키텍처는 요구되는 망이 각 계층에 필요할 때 이전 네트워크 계층으로부터 신경 활성화 시퀀스를 예측하는 성장 네트워크의 변형이다. 이를 통해 클래스의 사전 정의된 수 없이 입력과 레이블 간의 시간에 따른 상관 관계를 학습할 수 있다.

학습된 기술을 유지하는 심화 Q-학습 에이전트는 사전 훈련된 모델인 Deep Skill Network가 포함되어, 새로운 과제를 배울 때, Deep Skill Network 배열과 다중 기술 증류 네트워크로 구성된 DeepSkill 모듈을 통해 재사용 가능한 기술을 통합하여 기존 지식을 유지한다.

평생 학습과 달리 심화 전이 학습은 특정 도메인의 지식만 사용하여 대상 도메인에서 학습을 지원한다. 새로운 과제는 처음부터 배울 필요가 없기 때문에 전이 학습을 적용하면 새로운 학습 프로세스를 가속화할 수 있다. 원 샷 학습과 제로 샷 학습이라는 두 가지 전이 학습 패러다임이 있다. 원 샷 학습은 사전 훈련된 모델이 주어진 경우 하나 또는 소수의 샘플에서만 범주에 대해 가능한 많은 정보를 얻는 학습 방법이고, 제로 샷 학습에는 그 영역의 샘플이 필요하지 않으며, 새로운 범주에 대한 메타 설명과 기존 교육 데이터와의 상관 관계를 고려하여 새로운 분포를 학습하는 것을 목표로 한다. 심화 원 샷 학습 및 심화 제로 샷 학습에 대한 연구는 아직 초기 단계이지만 이동통신망에서 새로운 위협이나 트래픽 패턴을 탐지하는 데 매우 유망하다.