시맨틱 통신 연구 동향

Trend of Semantic Communication

저자
권동승지능형스몰셀연구실
나지현지능형스몰셀연구실
권호
37권 6호 (통권 199)
논문구분
일반논문
페이지
74-83
발행일자
2022.12.01
DOI
10.22648/ETRI.2022.J.370608
본 저작물은 공공누리 제4유형: 출처표시 + 상업적이용금지 + 변경금지 조건에 따라 이용할 수 있습니다.
초록
Shannon and Weaver‘s semantic communication has been actively studied in recent years as a new communication method to provide intelligent mobile services without requiring more capacity, infrastructure, and energy, even with limited radio resources. Considered a breakthrough beyond the Shannon paradigm, semantic communication aims at successfully transmitting semantic information conveyed by a source rather than accurately receiving each symbol or bit, regardless of meaning. Thus, semantic communication can lead to knowledgeable systems that significantly reduce data traffic because the transmitter only transmits the necessary information related to a specific task. This study describes essential differences between existing and semantic communication, research trends related to semantic communication principles and theory, performance metrics of semantic communication, semantic communication system framework, and future research and development issues.
   1587 Downloaded 2270 Viewed
목록

Ⅰ. 서론

1948년 Shannon은 잡음 채널에서 일련의 심벌을 안정적으로 전송할 수 있는 조건에 대해 수학적 통신 이론의 기초를 확립했다[1]. 이후 지난 70년 동안이 Shannon 이론을 바탕으로 특히 이동통신 분야에서 MIMO(Multiple Input Multiple Output), 새로운 파형 설계, 업링크와 다운링크 채널에서 다중 사용자 간섭 완화 등 많은 중요한 기술적 발전을 가져왔다. 5G까지 이동통신은 일반인에게 기본 필수품이었으며, 기술적인 핵심 과제는 더 높은 용량과 신뢰성, 더 낮은 지연을 목표로 하며, 동시에 교환된 데이터의 정확한 수신과 관련된 불확실성을 줄이는 것이었다. 따라서 Shannon 이론에 따라 더 넓은 대역폭에 대한 끊임없는 경쟁을 촉발하였고, 더 높은 주파수 대역을 탐색했다.

5G 망이 아직 초기 구축 단계에 있지만, 가상현실, 자율 주행, IoT 등 다양한 서비스를 가능하게 하는 단일 플랫폼으로서 인식되고 있다. 그럼에도 불구하고 기술, 응용 프로그램과 서비스의 미래의 유스 케이스와 2030년대에 예상되는 신기술에 대한 최근 예측을 살펴보면, 6G 이후에는 개인과 사회의 모든 영역에서 미래 요구를 충족시키기 위한 연결-컴퓨팅 네트워크[2]가 예상되며, 이를 위해 새로운 기술적 인에이블러가 요구될 것이다. 즉 6G는 알고, 배우고, 추측하고, 발견하는 새로운 목표 달성을 위해 기존의 이동통신 개념에 더 큰 변화를 가져올 것이다. 이런 맥락에서 정보는 자연적이든 인공 적이든 지능에 의해 필터링되고, 전송되고, 처리되어 더 빠른 속도로 시스템 내에 축적될 것이다. 이를 수용하기 위해 통신과 컴퓨팅 인프라에 대한 혁신적 발전이 필요하며, 지식과 의사결정이 차세대 네트워크의 필수 요구사항이 될 것이다.

최근 6G 연구가 시작되면서 Shannon의 레거시에서 패러다임 전환의 필요성이 구체화되기 시작했다. 현 추세를 살펴보면 2030년대에는 가상 세계와 현실 세계가 매끄럽게 혼합되는 시나리오가 예측되고, 가상현실, 완전 자율 주행 등 고도화된 서비스 수용을 위해 점점 더 빠른 전송 속도의 요구가 증가함에 따라 더 넓은 대역폭이 요구되고 있다. 그러나 이 끝없는 대역폭 요청을 수용하려면 스펙트럼과 에너지 자원의 부족이라는 병목 현상에 언젠가 직면할 것이다. 그럼에도 불구하고 아마도 6G에서도 여전히 밀리미터파 기술에 의존하고, THz와 VLC(Visual Light Communication)로 이를 보완할 것이지만, 이 병목 문제는 더 넓은 대역폭을 활용하여 더 빠른 전송 속도에만 의존해서는 효율적으로 처리할 수 없을 것이다.

그런데 새로운 해결 방향으로 자원을 늘리기 위한 끝없는 경쟁이 아니라 자원을 보다 지능적으로 사용하는 방법으로 통신망 자체를 질적으로 더 효율적으로 활용할 수 있도록 만드는 것이다. 가용한 무선자원의 불가피한 제한을 염두에 두고 6G에서 해결해야 할 과제는 탈성장 원칙을 존중하면서도 새로운 차세대 네트워크를 설계하는 것이다. 즉 더 많은 용량, 더 많은 인프라(통신, 컴퓨팅, 스토리지), 더 많은 에너지를 요구하지 않고도 더 지능적인 모바일 서비스를 제공할 수 있는가의 문제를 해결하면 된다. 그런데 이미 이 해결 방향에 참고할 사항으로 1953년 Shannon과 Weaver는 통신의 광범위한 주제를 다음 세 가지 레벨로 구분 제안했다[3]:

● 첫 번째 레벨은 심벌을 전송하는 기술적 문제이다. 통신의 심벌을 얼마나 정확하게 송신할 수 있는가? 이 레벨은 Shannon의 정보 이론으로 해소되었다.

● 두 번째 레벨은 전송된 심벌의 의미를 전달하는 시맨틱 문제이다. 전송된 심벌이 원하는 의미를 얼마나 정확하게 전달하는가?

● 세 번째 레벨은 수신된 의미가 원하는 행동에 영향을 미치는 효과성 문제이다. 수신된 의미가 원하는 방식으로 행동에 얼마나 효과적으로 영향을 미치는가?

향후 통신이 인간과 다양한 수준의 지능(자연적이든 인공적이든)을 가진 기계를 연결하고 다양한 새로운 서비스를 가능하게 하는 상품이 되면서 두 번째 레벨인 시맨틱과 세 번째 레벨인 효과성 측면을 적극적으로 고민할 수밖에 없게 되었다. 전달할 ‘방법’을 생각하는 것 외에 ‘무엇을 전달할 것인가’에 초점을 맞추어 새로운 통신 방식을 고민해야 한다. 6G에서는 Shannon과 Weaver가 제시한 세 가지 레벨을 모두 통합하도록 진화하는 것도 바람직하지만, 여기서는 진화적 관점에서 시맨틱 레벨을 고려하는 것이 우선이다.

2030년대의 6G와 AI 시대의 많은 애플리케이션에서 스마트 단말기, 로봇, 스마트 감시와 같은 에이전트는 장면을 이해하고 명령을 자동으로 실행할 수 있을 것으로 예상한다. 이를 실현할 수 있는 시맨틱 통신은 산업 인터넷, 스마트 교통, 화상 회의, 온라인 교육, 증강현실과 가상현실 등 여러 응용 분야에서 널리 사용될 것이므로, 6G에서는 시맨틱 측면이 설계의 중심이 되어야 한다. 이런 맥락에서 시맨틱에 초점을 맞추고 통신의 목표를 명확하게 식별하면 소스에서 의도한 정보를 전달하는 데 엄격하게 관련된 데이터를 추출하는 데 도움이 된다. 그러면 관련 없는 데이터를 무시할 수 있고, 이것이 전송하거나 복구할 데이터의 양을 크게 줄여 대역폭, 지연 및 에너지를 절약하는 핵심이 될 수 있다. 이런 관점에서 Shannon 패러다임을 넘어선 돌파구로 여겨지는 시맨틱 통신은 의미에 상관없이 각각의 심벌이나 비트를 정확하게 수신하기보다는 소스가 전달하는 의미 정보의 성공적인 전송을 목표로 한다. 즉, Shannon 패러다임과 대조적으로 시맨틱 통신은 수신기에서 특정 작업과 관련된 필요한 정보만 전송하므로 데이터 트래픽을 매우 감소시키는 차세대 통신시스템으로 이어질 수 있다[4].

본고에서는 Shannon 이론을 간략하게 정리하였고, 기존 통신과 시맨틱 통신의 중요 차이점을 기술하였다. 그리고 시맨틱 통신의 원리와 이론 관련 연구 동향, 시맨틱 통신의 성능 메트릭, 시맨틱 통신 시스템 프레임워크와 향후 연구개발 이슈를 정리하였다.

Ⅱ. 정보 이론에서 시맨틱 이론

1. 정보 이론

1948년 Shannon은 정보를 비트 단위로 측정하기 위해 불확실성을 이용하는 정보 엔트로피[4] 개념을 정의하였고, 채널 용량에 대한 정리를 만들었다. 소스가 { p ( x i ) } i = 1 n 확률의 X { x 1 ,   x 2 ,   ,   x n } 로 주어졌을 때, 소스 엔트로피를 심벌당 평균 비트 수로 측정하는 다음 수식으로 정보 엔트로피를 정의하였다.

(1)
H ( X ) = - i = 1 n p ( x i ) l o g 2 p ( x i ) .

그리고 왜곡이 없는 잡음 채널에서 채널 용량에 대한 정리는 다음 수식과 같다.

(2)
C = m a x p ( x ) I ( X ; Y ) .

여기서, I(X;Y)=H(X)-H(X|Y)는 입력 X와 출력 Y간의 상호 정보량(Mutual Information)이고, H ( X | Y ) = - j = 1 p ( y i ) i = 1 p ( x i | y i ) l o g 2 p ( x i | y i ) Y가 주어졌을 때 X의 조건부 엔트로피이다.

이 채널 용량을 가지고 Shannon은 소스-채널 분리 이론을 개발하였고, 전형적인 통신시스템은 다음 두 단계를 포함하는 Shannon의 소스-채널 분리 정리를 기반으로 만들어졌다. 첫 번째는 소스 데이터를 가장 효율적인 형식으로 압축하는 것이고, 두 번째는 소스 인코딩된 시퀀스를 채널 인코딩으로 매핑하는 것이다.

그리고 왜곡이 주어진 경우 최소 정보 전송률은 손실 소스 코딩 정리라고 알려진 다음의 전송률 왜곡 이론을 도출하였다. 최대평균 왜곡 D*가 주어졌을 때, 전송률 왜곡 함수 R(D*)는 다음 수식과 같이 전송률의 하한값이다.

(3)
R ( D * ) = m i n D D * I ( X ; Y ) .

여기서, D = x , y p ( x ) p ( y | x ) d ( x , y ) 는 왜곡이고, d(x,y)는 x=y이면 d(x,y)=0인 왜곡 메트릭이다.

2. 시맨틱 이론

시맨틱 통신에 관한 연구는 초기 단계라서 시맨틱 통신에 대한 일관된 정의는 아직 없지만, 그림 1에 기존 통신과 시맨틱 통신을 개념적으로 비교했다[5]. 기존 통신은 정보를 비트 시퀀스로 변환하여 처리하고, 수신기에서 정보를 나타내는 비트 시퀀스가 정확하게 복구하는 것이며, 이 통신시스템에서 비트/심벌 전송 속도는 Shannon 용량으로 제한된다. 그런데 시맨틱 통신은 정보의 시맨틱을 전송하므로, 중요한 차이점 중 하나는 수신기에서 실행될 작업이나 동작에 따라서 시맨틱 특징을 포착하는 시맨틱 코딩의 도입이다. 실용적인 측면에서 시맨틱 코딩의 설계 방법으로 다음 두 가지가 고려되고 있다. 첫 번째는 지식 그래프 기반 시맨틱 인코딩으로서 우선 지식 그래프 형태로 통신 당사자 간의 공통 지식 배경에 대한 적절한 표현을 찾은 다음 지식 그래프를 사용하여 데이터를 인코딩하는 것이다. 두 번째는 기계학습을 이용하여 통합된 시맨틱과 채널(즉, 정보 이론) 인코딩의 학습 기반 접근 방식이다.

그림 1.

전형적 통신시스템과 시맨틱 통신시스템의 비교: (a) 전형적 통신시스템, (b) 시맨틱 통신시스템

출처 Reproduced with permission from [5].

images_1/2022/v37n6/HJTODO_2022_v37n6_74f1.jpg

Shannon에 의해 입증된 소스-채널 분리 이론은 유한 코드 길이 영역에서 준최적으로, 즉 제한된 비트 길이(예: 짧은 패킷 전송)가 주어지면 종단 간 신호 왜곡 또는 전송된 정보의 재구성 품질은 소스와 채널 디코딩 오류 사이의 복잡한 절충이 필요하다. 이 이슈는 시맨틱 인코딩으로 유한한 코드 길이를 전송하는 시맨틱 통신에서도 특히 문제가 된다. 따라서 시맨틱 통신에서 유한한 코드 길이의 시맨틱 특징을 효율적으로 전송하기 위한 JSCC(Joint Source-Channel Coding)가 연구되었다[6,7]. 이 JSCC는 멀티미디어 콘텐츠, 음성과 텍스트 전송과 같은 실제 시맨틱 통신의 응용 프로그램에서 소스-채널 분리보다 더 간단하고 잠재적으로 더 효과적인 것으로 나타났다. 특히 소스 인코더(디코더)와 채널 인코더(디코더) 모두 DNN(Deep Neural Network)으로 구현하는 Deep JSCC 개념이 연구되고 있다.

이 시맨틱 코딩으로 시맨틱 특징만 전송되므로 필요한 통신 자원이 크게 줄어들지만, 반면에 수신기에서 작업은 데이터 재구성 또는 이미지 분류와 언어 번역과 같은 좀 더 지능적인 작업이 필요하다. 따라서 시맨틱 통신에서 데이터는 비트 레벨에서 처리되지 않고 시맨틱 레벨에서 처리된다는 점에서 시맨틱 통신은 정보 이론이 아니라 시맨틱 이론으로 설명되어야 한다.

Shannon의 정보 이론에서 엔트로피는 소스의 불확실성으로 정보 내용을 측정한다. 그러나 시맨틱 통신에서 특정 전송 작업에 대한 시맨틱 정보의 양이나 혹은 정보의 중요성 측정 방법은 아직 결정되지 않았지만, 지금까지 연구 현황을 정리하면 다음과 같다.

전송 작업 V가 주어지고 시맨틱 정보 Z는 소스X에서 V와 관련된 정보라고 정의하면, Z의 불확실성은 다음 수식과 같이 X의 불확실성보다 작거나 같게 된다.

(4)
H ( V ) H ( Z ) H ( X )

시맨틱 정보 ZX의 손실 압축으로 간주될 수 있는 X에서 추출되지만, V관점에서 Z는 작업 V가 완전히 제공될 수 있기 때문에 X의 무손실 압축이 된다. 그런데 다른 작업을 사용하면 필요한 시맨틱 표현 Z가 달라진다. 전송 작업 V를 사용하면 시맨틱 정보와 같은 정보의 중요성을 측정할 수 있다. 예를 들어, 이미지 분류 작업의 경우 수신기는 원본 이미지가 아닌 이미지의 객체에만 관심이 있으므로 객체는 필수 정보로 간주하고, 나머지는 필수적이지 않은 정보로 간주한다. 마찬가지로, 텍스트 전송을 위해 수신자는 무손실의 텍스트 복구 대신 텍스트의 의미를 요구한다.

지난 수십 년 동안 연구자들은 Shannon이 개발한 정보 엔트로피 경로를 따라 시맨틱 엔트로피를 정량화하는 방법을 찾기 위해 연구했지만, 아직 연구할 여지가 많은 분야이다. 지금까지 연구한 내용을 정리하면 다음과 같다.

논리적 확률을 기반으로 시맨틱 엔트로피에 대한 다양한 정의로는 Carnap 등은 시맨틱 정보를 확인하는 정도에 따라 측정하였고[8], Bao 등은 메시지 또는 문장 s의 시맨틱 엔트로피를 다음 수식으로 정의하였다[9].

(5)
H ( s ) = - l o g 2 ( m ( s ) ) .

s에 대한 논리적 확률 m(s)는 다음과 같다.

(6)
m ( s ) = p ( W s ) p ( W ) = w W , w | = s p ( w ) w W p ( w ) .

여기서 W는 전형적인 소스의 심벌 집합이고, W s = { w W w = s } s를 위한 모델 집합들이다. 배경 지식이 없다면 w W p ( w ) = 1 이다.

시맨틱 엔트로피에 대한 상기의 정의는 시맨틱 정보를 측정하는 방법이 있다고 가정하였다. 즉, 모든 정리는 시맨틱 정보를 정량화하는 특정 접근 방식을 제공하지 않고 사용 가능한 시맨틱 표현이 있다는 가정을 기반으로 개발되었다.

Bao 등은 메시지 또는 문장의 시맨틱 엔트로피 정의를 기반으로 Shannon 이론에서의 채널 용량에 대응되는 시맨틱 채널 용량을 도출하였다[9]. 이산 메모리리스 채널의 시맨틱 채널 용량은 다음 수식으로 표현된다.

(7)
C s = S U P p ( X | Z ) { I ( X ; Z ) - H ( X | Z ) + H s ( V ) ¯ } .

여기서 I(X;V)는 상호 정보량, H(X|Z)는 시맨틱 코딩 전략의 조건부 확률 분포, H s ( V ) ¯ 는 수신된 메시지의 평균 논리 정보이다. 더 높은 H(X|Z)는 시맨틱 코딩에 의해 더 높은 시맨틱 모호성을 의미하는 반면, 더 높은 H s ( V ) ¯ 는 수신된 메시지를 해석할 수 있는 수신기의 강력한 능력을 의미한다. 즉, 시맨틱 통신의 채널 용량은 시맨틱 코딩 전략과 수신된 메시지를 해석하는 수신기 능력에 따라 Shannon 채널 용량 I(X;V)보다 높거나 낮을 수 있다.

시맨틱 통신시스템에서 전송률 왜곡은 다음 수식으로 나타낼 수 있다.

(8)
R ( D s ,   D a ) = m i n I ( Z ; X ^ , Z ^ )

여기서 Ds는 소스 X와 복원된 정보 X ^ 간의 시맨틱 왜곡이고, Ds는 시맨틱 표현 Z과 수신된 시맨틱 표현 X ^ 간의 왜곡이다. 수식 (8)은 시맨틱 압축과 채널 잡음에 의해 발생하는 왜곡을 고려한 것이다. 따라서 정보 병목을 해소는 압축과 정확도 간 최적의 균형을 찾으면 된다. 이에 Sana 등은 다음의 새로운 손실함수를 설계하였다[10].

(9)
L o s s = I ( Z ; X ) - ( 1 + α ) I ( Z ; Z ^ ) + β K L ( X , Z ^ ) .

여기서 첫 번째 항목인 I(Z;X)는 X가 요구하는 평균 비트수를 나타내는 압축 항이고, 두 번째 항목은 상호 정보량이고, 세 번째 항목은 인코더 X에서 사후 실제 확률과 디코더 X ^ 에서 수집된 것 간의 KL(Kullback-Leibler) 다이버전스이다. 그리고 αβ는 상호 정보량과 추론 값의 가중치를 조절하는 파라미터이다.

3. 성능 메트릭

현 통신시스템에서 성능 메트릭은 일반적으로 블록 에러율과 심벌 에러율 등이 있지만, 이 메트릭들은 통신의 초점이 정확한 심벌 전송에서 효과적인 시맨틱 정보 교환으로 이동함에 따라 시맨틱 통신 시스템에서 성능을 측정하는 데 더 이상 적용할 수 없다. 현재 시맨틱 통신에 대한 일반적인 메트릭은 아직 정의되지 않았다. 단 문헌에서는 텍스트 시맨틱 유사성, 이미지 시맨틱 유사성과 음성을 포함한 다양한 측정항목에 대해 다음과 같이 연구가 진행 중이다[5].

단어 오류율은 시맨틱 텍스트 전송을 측정하는 데 사용되기도 하지만, 다른 단어를 가진 두 문장이 높은 시맨틱 유사성을 공유할 수 있으므로 시맨틱 텍스트 전송에는 적용되지 않는다. 기계 번역 이후 텍스트 품질을 측정하기 위해 일반적으로 사용되는 메트릭인 BLEU(Bilingual Evaluation Understudy) 점수가 텍스트 전송을 위한 시맨틱 통신시스템을 측정하는 데 활용되었다. 그러나 표현이나 단어가 다른 문장이 동일한 의미를 나타낼 수 있으므로 사람이 하는 번역은 만점을 얻는 경우가 거의 없는 문제가 있다. 이 문제를 해소하기 위해 두 문장의 시맨틱 유사도 레벨을 측정하는 새로운 텍스트 시맨틱 유사성 메트릭으로 문장 유사도가 제안되는 등 다양한 연구가 진행 중이다.

이미지 시맨틱 유사성 메트릭은 일반적으로 컨텍스트에 따라 달라지는 고차 이미지 구조에 따라 달라진다. CNN(Convolutional Neural Network)은 높은 불변성을 인코딩하고 이미지 시맨틱을 캡처하므로 심화학습 기반 이미지 유사성 메트릭은 유망한 결과를 얻을 수 있다. 시각적 시맨틱 임베딩은 이미지 시맨틱 유사성을 평가하는 시맨틱 임베딩으로 SGG(Scene Graph Generation), 이미지 캡션과 이미지 검색에 널리 사용되었으므로 시맨틱 통신시스템에 활용될 가능성이 매우 크다.

음성 품질 측정으로 ITU-T 권고 P.862에서 제안하는 표준 메트릭 중 하나인 PESQ(Perceptual Evaluation of Speech Quality)는 배경 잡음, 아날로그 필터링, 가변 지연과 같은 다양한 조건에서 음성 신호의 품질에 대한 일반적인 메트릭으로 음성 시맨틱 통신시스템에서 성능 메트릭으로 채택되었다. 또한, 합성된 음성 신호의 품질 평가를 위해 무조건의 FDSD(Fréchet Deep Speech Distance)와 무조건의 KDSD(Kernel Deep Speech Distance)가 음성 시맨틱 통신시스템 설계에 채택된 두 가지 정량적 메트릭으로 사용된다.

Ⅲ. 시맨틱 통신시스템 프레임워크

1953년 Shannon과 Weaver가 제안한 세 가지 레벨을 포괄하는 차세대 네트워크를 위한 프로토콜 스택을 다음과 같이 표현할 수 있다[11]. 맨 아래 레벨에는 현 통신시스템의 프로토콜 스택을 통합하여 나타낸 기술 레벨이다. 기술 레벨 위에 적어도 시맨틱이 잘 정의된 역할을 필요로 하는 모든 서비스를 위한 시맨틱 레벨이 있다. 시맨틱 레벨 위에는 자원 사용을 최적화하고 서비스별 요구 KPI(Key Performance Indicator)를 충족시키기 위해 하위 레벨을 조정하는 효과성 레벨이 있다. 모든 유스 케이스가 시맨틱 측면을 포함하는 것은 아니기 때문에 효과성 레벨은 기술 레벨과 직접 상호작용할 수도 있다. 또한, 시맨틱과 효과성 레벨은 기술 레벨을 구성하는 계층 간의 적절한 교차 계층 상호작용도 허용한다. 서로 다른 통신 레벨 간의 상호작용은 차세대 통신시스템 설계시 다른 접근이 필요하다는 것을 의미한다. 이 장에서는 기술 레벨과 시맨틱 레벨에 대한 통신시스템 프레임워크를 소개한다.

전형적인 프로토콜 스택 관점에서 Lan 등은 기존의 OSI(Open System Interconnection) 모델에서 응용 계층의 하위 계층으로 추가적인 시맨틱 계층을 추가한 모델을 제안했다[12]. 응용 계층 내에 상주하는 시맨틱 계층은 응용 계층 외부의 외부의 센서 또는 액추에이터와 인터페이스하고, 특정 작업에 대한 알고리즘과 데이터에 액세스하며, 하위 계층으로는 랜덤액세스 계층과 제어 신호를 주고 받는 미들웨어 역할을 한다. 따라서 시맨틱 계층은 시맨틱 인코딩된 데이터를 하위 계층인 랜덤 액세스 계층으로 전송하기 위한 시맨틱 코딩을 수행하며, 랜덤 액세스 계층은 제어 채널을 통해 시맨틱 계층으로 제어 신호를 전송하는 시스템 전송 성능을 향상시키는 것을 목표로 한다. 이 제어 신호는 시맨틱 계층에서 시맨틱 심벌 오류 수정을 위한 시맨틱 잡음을 제거하거나 애플리케이션 계층에서 컴퓨팅을 제어하는 데 활용될 수 있다. 따라서 이 모델은 시맨틱 계층과 무선 액세스 계층 간에 제어 신호를 교환하는 공동 설계하는 것이 요구된다.

Post-Shannon 통신시스템 설계에서 시맨틱과 효과성 문제를 해결하는 여러 연구가 있었으며, 이는 크게 두 가지 방향으로 분류할 수 있다. 첫 번째 방향은 지식 기반의 시맨틱 통신시스템으로 시맨틱으로 강화된 통신으로 수신기에서 재구성할 수 있는 중요한 데이터 샘플만 전송하는 것을 목표로 하는 것이다. 이 방향은 시맨틱이 예를 들어 지식 기반 또는 지식 그래프를 구성하여 이미 알려져 있거나 고정되어 있다고 가정한다. 그런데 시맨틱이 시간이 지남에 따라 다른 상황에서 변할 때 항상 실현 가능하지 않을 수 있다는 문제가 있다. 두 번째 방향은 시맨틱과 목표 지향적인 표현이 자연스럽게 나타나는 지능형 에이전트 간의 반복적인 통신을 연구하는 새로운 통신에 대한 것이다. 이 방향은 흥미롭긴 하지만 현재 솔루션은 휴리스틱을 기반으로 하며 이론적 근거가 부족하다는 문제가 있다. 이 장에서는 첫 번째 방향에 관해 서술하고자 한다.

현재의 통신은 기술적 수준에서 오류가 없음을 보장하도록, 즉 전송된 메시지에 인코딩된 정보의 내용에 관계없이 소스에서 보낸 메시지를 인코딩하는 데 사용되는 심벌 시퀀스가 대상에서 올바르게 수신되도록 설계되었다. 그런데 시맨틱 통신에서 중요한 것은 기술적 레벨에서 패킷의 오류가 발생해도 해당 패킷의 재전송을 요구하지 않고 시맨틱 레벨에서 수신기가 소스에서 보낸 정보의 내용을 복구할 수 있다는 것이다. 더 나아가 밀리미터파 통신과 같은 물리적 레벨에서의 블로킹 효과로 인해 목적지에 도달하지 못할 수 있는 메시지의 일부가 있을 수 있지만 의미를 해석하는 기능 장치가 잘 조정된 예측 모델을 기반으로 여전히 시맨틱 메시지를 재구성할 수 있다. 결론적으로 시맨틱 통신의 근본적인 이득은 일반적으로 소스와 목적지가 많은 공통 지식을 공유한다면 이 공유된 지식을 통해 많은 오류를 수정하거나 상황에서 쉽게 복구할 수 있는 세부 정보를 보내는 것을 피할 수 있다. 한편 이 이점에 대한 대가는 추가적인 수신기 복잡성이다[11].

시맨틱 정보 이론은 메시지를 인코딩하는 데 사용되는 심벌에 대한 이론이 아니라 메시지의 정보 내용 또는 의미에 대한 이론이어야 한다. 여기서 시맨틱 정보는 의미와 관련된 정보를 말한다. 시맨틱 정보는 소스와 목적지에서 사용할 수 있는 지식 수준과 연관될 수 있으며, 시맨틱 통신은 다음과 상황으로 인해 올바르게 또는 높은 충실도로 정보를 전달할 수 있다.

● 목적지에서는 수신된 메시지로부터 소스에 의해 송신된 메시지와 동일한 내용을 복구할 수 있다.

● 목적지에서는 수신된 메시지 덕분에 지식 수준을 높일 수 있다.

따라서 시맨틱은 지식 시스템과 연관되므로 메시지의 시맨틱을 다루려면 소스와 목적지에 배경 지식이 필요하다. 즉, 시맨틱 통신은 전송 레벨과 시맨틱 레벨을 포함하는 그림 2와 같이 개념적으로 간단하게 나타낼 수 있다[5]. 전송 레벨은 일반적으로 채널 인코더와 디코더에 의해 전송 매체를 거친 후 수신기에서 심벌의 성공적인 수신을 보장하는 현재의 통신을 말한다. 시맨틱 레벨은 시맨틱 표현을 얻기 위해 시맨틱 인코더와 디코더에 의해 수행되는 시맨틱 정보 처리를 담당한다. 시맨틱 송신기와 수신기는 시맨틱 특징 추출을 용이하게 하기 위해 각각 특정 배경 지식을 갖추고 있으며, 배경 지식은 다양한 응용 프로그램에 따라 다를 수 있다.

그림 2.

지식 기반 시맨틱 통신시스템 프레임워크

출처 Reproduced with permission from [5].

images_1/2022/v37n6/HJTODO_2022_v37n6_74f2.jpg

그래서 시맨틱 통신시스템에서는 두 가지 유형의 채널을 처리해야 한다. 첫 번째 유형의 채널은 전송된 심벌에 잡음, 페이딩과 심벌 간 간섭과 같은 채널 손상을 유발하는 물리적 채널로서, 지금까지 무선통신에 대한 대부분의 노력은 이 물리적 채널 손상을 방지하기 위한 것이었다. 두 번째 유형의 채널은 시맨틱 채널로 오해, 해석 오류 또는 추정된 정보의 교란으로 인한 시맨틱 잡음으로 인해 오염될 수 있다.

시맨틱 잡음에는 구체적으로 두 가지 유형이 있다. 첫 번째 유형의 시맨틱 잡음은 시맨틱 모호성을 말하며 주로 자연어 처리 영역에서 발생한다. 동의어 교체와 무작위의 역 알파벳 순서와 같이 문장의 단어를 약간 변경하면 모델이 문장의 시맨틱 의미를 잘못 판단할 수 있다. 두 번째 유형의 시맨틱 잡음은 적대적 사례에서 비롯된다. 텍스트의 개별적인 특성으로 인해 인간의 눈에 띄지 않고 텍스트에 섭동을 추가하는 것은 불가능하지만, 이미지에 추가된 일부 수정 사항은 인간이 거의 알아차리지 못 할 정도로 미묘하다. 이미지 영역에서 적대적 잡음이 있는 이미지가 분류를 위해 심화 모델을 오도하지만, 사람이 관찰할 경우 원본 이미지와 동일하게 보이는 것을 알 수 있다.

Ⅳ. 시맨틱 통신 연구 방향

시맨틱 통신에서는 소스에서 보낸 메시지와 관련된 의미가 목적지에서 정확하게 해석되면 된다. 하지만 이것이 메시지를 전송하는 데 사용되는 전체 비트 시퀀스가 오류 없이 디코딩된다는 것을 반드시 의미하지는 않는다. 즉, 시맨틱 통신은 전송된 비트가 전달하는 의미와 상관없이 각 단일 전송된 비트의 올바른 수신을 보장하는 Shannon 패러다임을 뛰어넘는다. 의미 전달을 위해 통신이 발생할 때마다 실제로 중요한 것은 수신된 비트가 송신기가 의도한 의미의 해석에 미치는 영향이라는 것이다. 이러한 시맨틱 통신은 현 통신의 새로운 돌파구로서 지난 수십 년 동안 연구가 진행되었음에도 불구하고, 시맨틱 통신 이론, 일반 구조 등에서 향후 연구되어야 할 이슈는 다음과 같다[5].

첫 번째, 시맨틱 이론 이슈이다. 지난 수십 년 동안 시맨틱 이론을 연구했지만, 대부분은 전통적인 정보 이론의 틀을 따르는 제한된 응용 시나리오와 논리적 확률에 기반을 두고 있다. 시맨틱 엔트로피, 시맨틱 채널 용량, 시맨틱 레벨의 전송률 왜곡 이론, 추론 정확도와 전송률 간의 관계에 의한 시맨틱 통신의 정량화에 기존 정보 이론과 유사한 경로를 따를 수 있을지는 여전히 의문이다.

두 번째, 시맨틱 트랜시버 이슈이다. 시맨틱은 간결하고 효과적인 표현을 제공하여 전송 대역폭 절약과 후속 작업 처리 측면에서 시맨틱 통신을 효율적인 시스템으로 만든다. 그러나 다른 소스에 대한 일반적인 시맨틱 레벨의 JSCC는 아직 사용할 수 없다. 또한, 적대적 훈련과 같은 기계학습 기술을 통합하여 시맨틱 잡음에 강건한 통신시스템을 설계하는 것이 필요하다. 그리고 기계학습 기술에서 기울기 사라짐을 초래하지 않는 적절한 손실 함수 연구가 필요하다.

세 번째, 시맨틱 통신에서 시맨틱 간섭 제어를 위한 자원 할당의 재검토가 필요하다. 비트 전송 속도 향상과 같은 엔지니어링 문제에 중점을 둔 기존 통신의 자원 할당과 달리 시맨틱 통신에서 자원 할당의 목적은 시맨틱 영역에서 통신 효율성을 향상시키기 위해 엔지니어링과 시맨틱 문제를 모두 해결하는 것이다. 특히 시맨틱 전송 속도 또는 시맨틱 스펙트럼 효율성 같은 시맨틱 통신 효율성의 평가 방법이 필요하다.

네 번째, 시맨틱 통신시스템의 성능 메트릭 이슈다. 지금까지 시맨틱 통신시스템에서 몇 가지 새로운 성능 메트릭이 언급되었지만, 시맨틱 통신에 보다 적절한 평가 메트릭, 예를 들어 보존된 또는 잃어버린 시맨틱 정보의 양을 평가하는 메트릭이 필요하다.

다섯 번째, 아직 초기 단계인 시맨틱 통신시스템 프레임워크 이슈다. 기존의 기술 레벨에 추가로 시맨틱에 초점을 맞추면, 즉 전송자가 의도한 의미를 복구하는 데 엄격하게 필요한 정보를 식별하는 데 도움이 된다. 한 예로 지식 표현과 기계학습 알고리즘을 결합하면 더 나은 해석을 할 수 있고, 적대적 공격에도 대처하는 시맨틱 학습 전략을 구축할 수 있다. 따라서 6G에서 네트워크 에지에서 시맨틱 학습 메커니즘이 추가된 시맨틱 네트워크는 6G 네트워크가 효율성과 지속 가능성을 개선하는 데 도움이 될 수 있다.

Ⅴ. 결론

5G까지 이동통신은 Shannon 이론을 바탕으로 더 높은 용량과 신뢰성, 더 낮은 지연을 목표로 하며, 데이터의 정확한 수신과 관련된 불확실성을 줄이는 연구를 하였다. 그런데 2030년대에는 가상 세계와 현실 세계가 혼합되는 시나리오가 예상되며, 인공지능 서비스의 보편화로 점점 더 빠른 전송 속도를 수용하기 위해 더 넓은 대역폭이 요구되는 문제가 예상된다.

그런데 제한된 무선자원에서도 더 많은 용량, 더 많은 인프라(통신, 컴퓨팅, 스토리지), 더 많은 에너지를 요구하지 않고도 지능적 모바일 서비스를 제공할 수 있는 새로운 통신 설계가 6G를 목표로 연구되고 있다. 이 방향의 근거는 1953년 Shannon과 Weaver가 제안한 통신의 세 가지 레벨, 심벌을 전송하는 기술 레벨, 전송된 심벌의 의미를 전달하는 시맨틱 레벨, 그리고 수신된 의미가 원하는 행동에 영향을 미치는 효과성 레벨이다. 본고에서는 이 세 가지 레벨 중 우선 시맨틱 레벨을 실현하는 시맨틱 통신을 다루었다. Shannon 패러다임을 넘어서는 돌파구로 여겨지는 시맨틱 통신은 의미에 상관없이 각각의 심벌이나 비트를 정확하게 수신하기보다는 소스가 전달하는 의미 정보의 성공적인 전송을 목표로 한다. 따라서 시맨틱 통신은 수신기에서 특정 작업과 관련된 필요한 정보만 전송하므로 데이터 트래픽이 크게 감소하는 진정한 지능형 시스템으로 이어질 수 있다.

다만 시맨틱 통신에 관한 연구가 오랫동안 진행되었지만, 시맨틱 통신에 대한 이론과 성능 메트릭, 그리고 시맨틱 통신시스템 프레임워크에 관한 연구는 아직 초기 단계에 있음을 확인하였으므로, 우리도 시맨틱 통신에 관한 연구개발이 필요하다.

약어 정리

BLEU

Bilingual Evaluation Understudy

CNN

Convolutional Neural Network

DNN

Deep Neural Network

JSCC

Joint Source Channel Coding

KDSD

Kernel Deep Speech Distance

KL

Kullback-Leibler

KPI

Key Performance Indicator

OSI

Open System Interconnection

PESQ

Perceptual Evaluation of Speech Quality

SGG

Scene Graph Generation

VLC

Visual Light Communication

참고문헌

[1] 

C.E. Shannon, "A mathematical theory of communication," The Bell Syst. Tech. J., vol. 27, no. 3, 1948, pp. 379-423.

[2] 

E.C. Strinati et al., "6G: The next frontier: From holographic messaging to artificial intelligence using Subterahertz and visible light communication," IEEE Veh. Technol. Mag., vol. 14, no. 3, 2019, pp. 42-50.

[3] 

W. Weaver, "Recent contributions to the mathematical theory of communication," ETC: A Rev. General Semant., 1953, pp. 261-281.

[4] 

C.E. Shannon and W. Weaver, The Mathematical Theory of Communication, The University of Illinois Press, Champaign, IL, USA, 1949.

[5] 

Z. Qin et al., "Semantic communications: Principles and challenges," arXiv preprint, CoRR, 2022, arXiv: 2201.01389v2 [cs.IT].

[6] 

N. Farsad et al., "Deep learning for joint source-channel coding of text," in Proc. IEEE Int. Conf. Acoustics Speech Signal Process (ICASSP), (Calgary, Canada), Apr. 2018, pp. 2326-2330.

[7] 

E. Bourtsoulatze et al., "Deep joint source-channel coding for wireless image transmission," IEEE Trans. Cogn. Commun. Netw., vol. 5, no. 3, 2019, pp. 567-579.

[8] 

R. Carnap et al., "An outline of a theory of semantic information," RLE Technical Reports 247, Research Laboratory of Electronics, MIT, Cambridge, MA, USA, Tech. Rep., Oct. 1952.

[9] 

J . Bao e t al., "Towards a theory o f semantic communication," in Proc. IEEE Netw. Sci. Workshop, (West Point, NY, USA), June 2011, pp. 110-117.

[10] 

M. Sana et al., "Learning semantics: An opportunity for effective 6G communications," arXiv preprint, CoRR, 2021, arXiv: 2110.08049.

[11] 

E.C. Strinati et al., "6G networks: Beyond Shannon towards semantic and goal-oriented communications," arXiv preprint, CoRR, 2021, arXiv: 2011.14844v3 [cs.NI].

[12] 

Q. Lan et al., "What is semantic communication? A view on conveying meaning in the era of machine intelligence," arXiv preprint, CoRR, 2021, arXiv: 2110.00196.

그림 1.

전형적 통신시스템과 시맨틱 통신시스템의 비교: (a) 전형적 통신시스템, (b) 시맨틱 통신시스템

출처 Reproduced with permission from [5].

images_1/2022/v37n6/HJTODO_2022_v37n6_74f1.jpg
그림 2.

지식 기반 시맨틱 통신시스템 프레임워크

출처 Reproduced with permission from [5].

images_1/2022/v37n6/HJTODO_2022_v37n6_74f2.jpg
Sign Up
전자통신동향분석 이메일 전자저널 구독을 원하시는 경우 정확한 이메일 주소를 입력하시기 바랍니다.