Ultra-Low Latency Infra Technology

1. 이더넷 계층의 시간 제어 네트워크 기술

이더넷 계층의 시간 제어 네트워크 기술로는 TSN (Time-Sensitive Networking, 시민감 네트워킹) 기술이 있다. TSN 기술은 프로페셔널 오디오/비디오 전송 기술인 AVB(Audio Video Bridging) 기술에서 확장되어 각 분야의 산업 네트워크 기술을 이더넷 기반의 범용 인터페이스로 통일하고 저지연, 무손실의 시간 제어 네트워크로 발전시키기 위한 기술이다.

TSN의 기초가 되는 AVB 기술은 오디오/비디오 장치의 다양한 인터페이스와 복잡한 케이블링 등으로 인해 증가하는 비용상승 문제 해결과 시간에 민감한 오디오/비디오 파일을 무손실, 저지연으로 전달하기 위한 두 가지 목표로 연구되었다. 시간에 민감한 오디오/비디오 데이터를 전달함에 있어 손실 없이 품질을 보장받기 위해서는 기존의 회선 교환 방식과 같은 네트워크가 최적이다. 하지만 기존의 범용적으로 사용되고 있는 이더넷 기반의 인프라 구조를 버리고 AVB를 위한 새로운 인프라를 구축하기 위해선 비용적 측면에서 부담이 생기게 된다. 그래서 이미 범용적으로 사용되고 있는 이더넷을 기반으로 인터페이스를 통일하고, 현재 패킷 스위칭 방법이 갖는 품질 보장의 한계를 극복하기 위한 연구가 진행되었다.

TSN은 (그림 1)과 같이 TSN 도메인 내에서 클럭이 동기화된 장비 간 확정된 데이터 지연을 보장받는 TSN 패킷 스트림을 전달 한다. 스트림은 토커(talker)로부터 생성되며, 릴레이 시스템(bridge)을 통해 리스너(listener)에게 전달된다.

(그림 1)

TSN 도메인 및 시민감 스트림 자원 할당 예

토커에서 리스너까지 스트림 전달을 위해서는 시민감 스트림 자원 예약과정을 거치게 된다. 동일한 클래스 우선순위를 사용하는 노드 사이에 토커가 스트림 ID와 VLAN(Virtual Local Area Network) ID, 목적지 주소, 스트림 내의 최대 프레임 사이즈와 프레임 수, 우선순위, 최대 지연값을 포함한 시민감 자원 예약 메시지를 전달하고, 리스너까지 전파된 후 리스너로부터 레디 메시지를 수신하며 릴레이 노드 간 시민감 스트림 자원을 할당하게 된다.

TSN 도메인 내에서 장비간 시간 동기화는 기존 IEEE 1588 Version 2[2]에 따라 수행한다.

TSN 도메인 내에서 장비간 시간 동기화를 완료하고, 시민감 스트림 자원 할당까지 완료되면, 토커로 부터 스트림 전송이 시작된다. TSN에서는 스트림을 저지연 무손실로 전달하기 위해 시민감 포워딩 및 큐잉 방법과 무손실 보호 절체 기술을 사용한다.

TSN의 시민감 포워딩 및 큐잉은 시민감형 데이터 전송을 위하여 순환 주기에 맞춰 큐 게이트를 컨트롤하여 포워딩하는 PSFP(Per-Stream Filtering and Policing)와 CQF(Cyclic Queuing and Forwarding)방법을 사용한다.

(그림 2)는 기존의 이더넷 릴레이 장비에서 입력 포트로부터 데이터를 수신하여 필터링 데이터베이스를 기반으로 데이터를 구분하여 큐잉 후 출력 포트까지 포워딩하는 전체 포워딩 프로세스 과정 중에서 시민감 스트림 처리를 위하여 추가된 PSFP와 CQF 기반 Traffic Scheduling 부분을 표시한 것으로서, PSFP 스트림 필터 설정 예와 특정 순환 주기(T2)에 서로 다른 순환 주기 값을 갖는 PSFP 스트림 게이트의 동작 상황과 CQF 전송 게이트의 동작 상황을 보여준다.

(그림 2)

포워딩 프로세서 TSN 관련 설정 및 순환 주기별 동작 예

시민감 스트림을 처리하기 위하여 각 포트별로 해당 포트가 수신할 모든 시민감 스트림에 대한 스트림 ID, 우선순위, 패킷 사이즈 등의 인자 값을 기반으로 스트림 필터를 설정한다. 입력되는 모든 스트림은 스트림 ID에 따라 스트림 필터로 배정되며 스트림 필터는 와일드카드 필터값을 이용하여 동일 우선순위를 가지는 복수의 스트림을 수용할 수도 있다. 스트림 게이트는 스트림 게이트 순환 주기, 게이트 상태 및 전달 큐 정보 등에 대한 설정에 따라 스트림을 큐로 전달한다. (그림 2)에서 PSFP는 스트림 게이트 1과, 2는 125µs의 순환 주기를 가지며, 스트림 게이트 P는 250µs의 순환 주기를 가지므로 스트림 게이트 P의 T1 주기에 스트림 게이트 1과 2는 T2 주기의 스트림 게이트 컨트롤 리스트를 수행하게 된다. 그 결과 스트림 게이트 1은 스트림 1이 큐 7로 가는 게이트를 막고, 스트림 게이트 2는 스트림 2를 큐 6에 전달하며, 스트림 게이트 P에서는 우선순위 2인 스트림을 큐 5로 전달한다.

PSFP 기반으로 큐에 저장된 시민감 데이터는 별도의 CQF 트래픽 스케쥴링에 의해 큐별로 전송 게이트가 순환 주기에 맞춰 열리고 닫히면서 포워딩된다. 전송 게이트의 제어는 CQF를 위한 전송 게이트 컨트롤 리스트에 따라 제어되며, 해당 전송 게이트 컨트롤 리스트는 시민감 스트림 자원 할당에 따라 해당 포트가 전달해야 하는 시민간 스트림이 지연없이 전달 가능하도록 적절히 설정되어야 한다. (그림 2)의 예를 통해 보다 자세히 설명하면 전송 게이트의 T2의 주기에는 큐 7과 큐 4의 전송 게이트를 열어 출력 포트로 포워딩하게 된다.

순환 주기 T는 해당 포트의 큐 내에 있는 모든 시민감 데이터 스트림과 최대 사이즈의 간섭(interfering) 프레임(시민간 데이터 이외의 데이터 프레임) 중 하나가 순환 주기 내에 충분히 전송 가능한 시간으로 설정되어야 한다. 그리고 클래스별로 스트림을 인식하기 위한 최소한의 시간과 최대 시간 조건을 만족해야 한다. 동일 순환 주기에 여러 개의 큐의 전송 게이트가 동시에 열리도록 게이트 컨트롤 리스트가 설정되어 있더라도 큐의 우선순위를 기반으로 스케쥴링되게 된다. 만약 우선순위가 높은 시민감 스트림이 모두 스케쥴링되고도 전송 시간이 남을 경우 BE(Best Effort) 트래픽이 스케쥴링 되고 이러한 경우 패킷 분할/재조립 과정을 통해 BE 트래픽 전송 효율을 높이는 방법을 사용한다.

TSN 무손실 보호절체는 스트림을 splitting하여 TSN 도메인 내의 다중 경로로 전달하고 복수 경로로 수신된 트래픽을 merging하여 링크 또는 노드 장애 시에도 무손실 보호절체(seamless redundancy) 기능을 제공한다. (그림 3)과 같이 시스템 A는 릴레이 시스템 B로 스트림을 전달하고 해당 시스템까지는 단일 경로이기 때문에 seamless redundancy 기능은 사용되지 않는다. 시스템 B에서는 A에서 전달된 스트림을 시퀀싱 작업하여 seamless 스트림으로 변환 후 스트림 26과 31로 나누어 릴레이 시스템 C와 D로 전달한다. 릴레이 시스템 D에서도 릴레이 시스템 B에서와 같이 다시 스트림을 15와 31로 나누어 릴레이 시스템 E와 F로 전달한다. 릴레이 시스템 D에서는 이미 릴레이 시스템 C에서 시퀀싱 작업이 이루어졌기 때문에 추가적인 시퀀싱 작업은 수행하지 않는다. 릴레이 시스템 E에서는 렐레이 시스템 C와 D에서 수신된 동일한 스트림 31을 통합한 뒤, 하나의 스트림 31로 시스템 G로 전달한다. 시스템 G에서는 수신된 스트림 15와 31를 통합하고 중복되는 스트림 하나를 버린다.

(그림 3)

무손실 보호 절체 방법

2. IP/MPLS 계층의 시간 제어 네트워크 기술

IP/MPLS 계층의 시간 제어 네트워크 기술은 LAN이 갖는 범위적 한계를 극복하기 위하여 L3 계층으로 시간 제어 네트워크를 확장하기 위한 DetNet(Deterministic Networking) 기술이 대표적이다.

시간 제어 네트워크 기술의 IP/MPLS 계층으로 확장 범위는 크게 3가지 경우로 나누어 볼 수 있으며 (그림 4)에 도시되어 있다.

(그림 4)

시간 제어 네트워크 기술의 IP/MPLS 계층으로 확장 범위 예

첫 번째 경우는 (그림 4a) 같이 TSN over DetNet 구성이다. TSN 토커가 TSN 스트림을 DetNet 플로우를 통해 DetNet 도메인 너머의 TSN 리스너에게 전달하기 위한 방법이다. 두 번째 경우는 (그림 4b)와 같이 native DetNet 구성으로 DetNet 도메인 내에서 시민감 데이터 전달을 위한 방법이다. 마지막 경우는 (그림 4c)와 같이 TSN to DetNet 구성으로 TSN 스트림을 DetNet 도메인 내의 노드로 전달하기 위한 방법이다.

DetNet 도메인 내의 장비간 시간 동기화 방법과 시민감 포워킹 및 큐잉 방법은 TSN과 동일한 방법을 사용하는 것을 원칙으로 인식되고 있다.

이더넷 스트림을 IP/MPLS 계층에서 수용하기 위하여 (그림 5)과 같이 서비스 계층과 전송 계층으로 구분하며, 서비스 계층에서 스트림을 PW(Pseudo-wire) 서비스로 매핑하고 전송 계층으로 MPLS를 사용하여 전달한다.

(그림 5)

DetNet 데이터 평면 구조

서비스 계층에서는 이더넷 스트림 수용 이외에 무손실 보호절체를 위한 서비스 프로텍션 기능을 수행한다. 스트림 시퀀스를 PW 시퀀스 넘버와 연동하여 시퀀싱 작업을 하고 이를 서비스 프로텍션을 위한 컴파운드 플로우라 지칭한다. 매핑되는 MPLS 레이블로 인코딩, 복제 과정을 통해 전송 계층으로 전달될 맴버 플로우를 생성하여 전달한다. 여러 경로의 전송 계층을 통해 수신된 모든 맴버 플로우를 서비스 계층에서 다시 디코딩, 통합하여 중복되는 시퀀스를 삭제한 후, 다시 하나의 PW 서비스로 전달하는 방법을 통해 무손실 보호절체 기능을 수행한다.

DetNet에서 시민감 스트림 자원 할당 및 관리 기술로는 SDN(Software Defined Networking) 구조를 사용한 통합 제어 방법을 사용가능하다. SDN을 통해 도메인 내의 최종 송·수신단을 설정하고, 확장된 PCE(Path Computation Element)를 기반으로 DetNet 플로우의 최대 패킷 크기와 전송률, 지연 정도를 만족하는 경로를 계산한 뒤, SDN 컨트롤러를 통해 각 노드로 시민간 스트림 자원 예약을 하는 방법을 사용할 수 있다.

1. 시간 제어 네트워크 기술

시간 제어 네트워크 기술 관련 표준화 작업은 현재IEEE와 IETF를 중심으로 진행되고 있다. IEEE는 기존 AVB(Audio Video Bridging) 기술을 확장한 TSN 기술에 대한 표준화 작업을 2012년부터 진행 중이며, IETF는 2014년부터 IP/MPLS 기반의 DetNet 기술에 대한 표준화 작업을 진행 중이다.

IEEE 802.1 TSN Task Group에서 다양한 산업 분야의 요구사항을 만족하는 이더넷 기반의 시간 제어 네트워크 기술을 위하여 표준화 작업이 이루어지고 있다. 2016년 11월 기준으로 현재 guard band를 사용한 스케쥴링 방법으로 시민감형 데이터의 전달 지연을 방지하는 IEEE 802.1Qbv와 트래픽 분리/재조합을 통한 guard band 최소화 방법인 IEEE 802.1Bbu 등 2개의 표준이 발간 완료되었다. 현재 진행 중인 표준은 프레임 복제와 삭제를 통한 보호절체 방법인 IEEE802.1CB와 확장된 시간 동기화 방법인 IEEE 802.1AS-Rev, 확장된 시민감 자원 예약방법인 IEEE802.1Qcc, 수신단의 스트림 필터링 방법인 IEEE 802.1Qci, 시민감 데이터의 주기적 큐잉 및 포워딩 방법인 IEEE 802.1Qch, YANG 모델링을 위한 IEEE 802.1Qcp, 프론트홀 연동을 위한 IEEE802.1CM, 비동기식 트래픽 구성 방식인 IEEE802.1Qcr 등 8개가 있다.

IETF에서는 시간 제어 네트워크 서비스를 IP/MPLS 기반의 L3 계층으로 확장하기 위하여 2014년 DetNet Working Group(WG)을 만들어 현재 표준화를 진행 중이다. DetNet WG에서 시간 제어 네트워크 서비스를 L3로 확장하기 위한 기술적 논의되고 있지만, 전체 L3 계층을 커버하기 위해선 고려되어야 할 문제점이 너무 많기 때문에 DetNet의 범위를 기업망으로 한정하여 망 구조 및 데이터 평면 구조, use case, problem statement 등에 대한 표준화 활동이 진행 중이며, 2016년 11월 기준 총 8개의 인터넷 드래프 중 위 4개 문서는 WG 문서로 확정되어 있다.

DetNet 아키택쳐의 요구사항으로 DetNet 도메인 내에서 네트워크 노드 및 호스트 간 1µs 이하의 타이밍 동기를 제공해야 한다. DetNet 서비스를 위한 네트워크 자원 할당이 가능해야 하며, 최대 75%의 DetNet 서비스를 BE(Best Effort) 트래픽과 함께 수용 가능해야 한다. DetNet 서비스는 10-10 이하의 패킷 손실율 또는 무손실 보호절체 기능을 제공해야 한다.

표준화 고려 사항으로는 시간 확정적 패킷 포워딩을 위한 플로우 정의, SDN을 통한 집중형 제어/관리 방법 또는 RSVP-TE(Resource Reservation Protocol-Traffic Engineer-ing)/CSPF(Constrained Shortest Path First)를 통한 분산형 제어/관리 방법, 경로 설정 방법, L2와 L3 통합 방법, 시민감형 데이터와 BE 간의 효과적인 수용 방법, 시간 동기 프로토콜에 대한 보안과 실시간 서비스에 대한 보안 등의 이슈사항이 존재한다.

또한, IETF에서 latency characteristic Exposure for ‘Deterministic’ Latency Network - DLNEx라는 이름으로 범위적 한계를 뛰어넘어 인터넷 전체로 시간 제어 네트워크 기술을 확장하기 위한 움직임이 있다.

산업계 TSN 기술동향으로는 현재 국제 표준화가 아직 진행 중인 관계로 TSN을 완벽하게 지원하는 제품(칩셋, 엔드 포인트, 스위치)은 없는 상태이다. 추후 기존 AVB 개발 업체를 중심으로 AVB 제품을 개선하는 방향으로 추진될 것으로 예상된다. 국외 산업계 기술 개발 동향으로는 2015년 9월 Broadcom, Cisco, Harman, Intel, Xilinx를 주축으로 AVB 표준 및 기술 개발의 지원, 기술 확산을 위한 프로모션을 목적으로 설립된 비영리 조직단체인 AVnu 얼라이언스에서 TSN을 AVB Gen 2로 정의하고, 관련 국제 표준 및 기술 개발, 프로모션 등을 진행하고 있는 중이다. 2016년 2월 National Instrument, Bosch Rexroth, Cisco, Intel, KUKA, Schneider Electronic, TTTech는 IIC(Industrial Internet Consortium)와 함께 IIoT(Industrial Internet of Things) 및 Industry 4.0을 지원하는 네트워크 인프라를 목표로 TSN 테스트베드를 세계 최초로 구축하기로 하였다. Flexibilis사는 802.1 TSN, 1588v2를 지원하는 L2 스위치를 FPGA(Field-Programmable Gate Array) 기반으로 개발할 수 있는 FDS(Flexibilis Deterministic Switch)를 출시하였고, TTTech은 Deterministic Ethernet 기술이라는 명칭으로 IEEE TSN 기반 제품군과 SAE AS6802 기반의 TTEthernet (Time-Triggered Ethernet) 제품군을 보유하고 있다.

국내 산업계 기술 개발 현황은 인터엠, 해성옵틱스, 전자부품연구원, 한국항공대학교 등에서 AVB 관련 칩셋 및 시스템 개발을 진행 중이며, 아직까지는 TSN에 대한 개발은 아직 시작하지 않은 단계이다. 2017년부터 ETRI에서 국내 산업계 최초로 무인 이동체 사업의 기반 인프라 기술로 TSN기술에 대한 연구를 시작한다.

2. 전광 네트워킹 기술

전광네트워킹 기술은 활발히 연구된 것에 비해 표준화와 산업화는 더딘 편이다. 주로 유럽에서 진행된 TSON(Time Shared Optical Network) 프로젝트, ETRI에서 진행 중인 PSON(Photonic Switched Optical Networking) 기술과 ITU-T에서 표준화 가능성을 타진하고 있는 SLPSN(Sub-Lambda Photonic Switching Network) 기술에 대해 알아본다.

표준화의 경우 ITU-T Study Group 15의 Question 12 에서는 SLPSN 기술이 제안되었다. SLPSN 기술은 데이터평면에서 파장을 시간적으로 슬라이싱하는 포토닉 방식으로 스위칭하는 기술로 위에서 언급한 OBS, OPS, TWIN을 포함하는 전광네트워킹 기술을 정의하려고 하고 있다. SLPSN 기술은 2011년부터 France Telecom을 중심으로 지속적으로 표준화 필요성이 제안되고 있으나 아직 상용화된 제품이 없고 구체성이 떨어진다는 이유로 표준화 필요성에 대한 공감대를 이루고있지는 못하고 있다. 하지만 향후 초저지연 기술의 주요 솔루션으로 다양하게 연구되고 있다.

이들 전광네트워킹 기술은 아직 전송망에 적용하기에는 아직 기술적으로 성숙하지 못하였지만 데이터 센터에 적용을 목표로 활발히 연구되고 있으며 데이터 센터 내부의 저지연 연결 및 저전력 시스템 구현을 목표로 한다.

EU의 FP7 프로그램에서 STREP(Small or medium scale focused research project) 프로젝트 일환으로 시작된 MAINS(Metro Architectures Enabling Subwave-length) 프로젝트에서는 전광네트워킹 기술을 매시 구조에서 적용이 가능한 OBST(Optical Burst Switch and Transport) 노드와 링 구조에서 적용이 가능한 OPST (Optical Packet Switch and Transport) 노드를 개발하였다. OBST 노드의 경우 앞서 언급한 OBS 기술과 동일하다.

OPST 기술[4]은 (그림 7)에서 설명하듯이 이더넷 프레임을 목적지별로 구분하여 VOQ(Virtual Output Queue)에 저장한 후 전송하는 것으로 FTL(Fast Tunable Laser)를 통해 송신한다. 목적지는 별도 파장할당되어 있어 고정 필터를 해당 파장을 선택하여 신호를 수신한다. 이때 OMAC(Optical Media Access Control) 방식을 사용하여 CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance) 프로토콜 사용하여 기존의 전달 중인 트래픽과 충돌을 회피한다. OPST 기술의 경우 INTUNE Networks를 통해 상용화되었다. 개발된 시스템은 TDM(Time Division Multiplexing) cross-connection 지원하며 ultra-Fast Tunable Laser 및 Burst Mode Receiv-er(BMR) 사용하고 있다.

(그림 7)

OPST 구조-MAINS 프로젝트[4]

(그림 8)과 같이 OPS 프로젝트에 이어서 진행된 CONTENT(Convergence of Wireless-Optical Network and IT Resources in Support of Cloud Services) Project에서는 TSON[5] 기술이 연구되었다. TSON은 TDM 및 광전송 기반의 동기식 스위칭 플랫폼으로 모든 노드는 중심 클럭에 따라 해당 타임 슬라이스 동안 전송 및 스위칭 수행한다. 연결(connection)은 연속되는 여러 프레임으로 실현되며, 각 프레임은 대역폭 단위에 따른 여러 타임 슬라이스로 분할되어 있다. 연결, 프레임, 타임 슬라이스 단위의 대역폭 할당이 가능하다. 10µs의 타임 슬라이스 단위, 또는 100개의 타임 슬라이스로 이루어진 1ms의 프레임 단위의 대역폭 할당이 가능하다.

(그림 8)

CONTENT 프로젝트의 TSON 개념[5]

EU의 FP7에서 진행된 LIGHTNESS(Low latency and high throughput dynamic network infras-tructures for high performance data centre inter-connects) 프로젝트에는 혁신적인 광 스위칭 및 전송 솔루션을 사용한 데이터센터용 고성능 네트워크 인프라의 설계, 구현, 실험 검증하였다. LIGHTNESS 프로젝트의 Data Center 구조는 (그림 9)와 같다.

(그림 9)

Data Center 구조-LIGHTNESS 프로젝트[6]

2016년말까지 완료 예정인 COSIGN(Combining Optics and SDN In next Generation data centre Networks) 프로젝트에서는 새로운 광 기술과 SDN 기반 네트워크 제어를 적용한 평면적 DCN(Data Center Networking) 구조 구현을 목표로 하고 있다. DCN 데이터 평면에서, 랙 내 및 랙 간, 서버 간 경로를 완전 광으로 연결하기 위해 대규모 TOR(Top-Of-Rack) 광스위치, 초 대용량 및 저지연 접속, 고밀도 포트 및 새로운 광 파이버 기술(multicore fibres 등)을 지원하고 있다. 데이터 센터용 제어관리에서, SDN 구축 및 기능 확장, 데이터 센터용 통합 망 및 IT(Information Technology) 가상화 기능 제공이 가능하다.

현재 대부분의 DCN 광 네트워크는 혼합 형태로 이루어져 단기간 트래픽은 전기스위치로 장기간 트래픽은 광스위치로 연결된다. 모든 트래픽을 광으로 전달하는 기술이 연구 중이다. ETRI에서는 2016년부터 (그림 10)과 같은 Photonic Frame 기반 패킷 스위칭이 가능한 PSON 시스템을 비롯한 데이터 센터 광 네트워킹 핵심 기술 개발을 추진 중이다. 전기 스위치 기반 다단 구조의 데이터 센터 네트워크를 광 스위치 기반 Flat 구조로 단순화하여 에너지 소비를 1/3로 절감하고, 지연시간을 1/10로 단축하며, 상면적 증가 없이 용량 확장이 가능한 에너지 저감형 저지연 대용량 광 네트워킹 핵심 기술을 개발하고 있다. <표 1>은 위에서 설명한 프로젝트의 주요 내용을 정리한 내용이다.

(그림 10)

PSON 시스템 개념

<표 1>

메트로/DCN 적용 전광네트워킹 개발 프로젝트 개발