김영갑 (alwaysgabi@sejong.ac.kr)

세종대학교 정보보호학과 교수

최근 개인을 비롯하여 공공의 안전을 위협하는 각종 범죄, 위법행위를 감시하고 방지하기 위해 CCTV의 수가 기하급수적으로 증가하고 있다. ‘2021 국내외 보안 시장 전망 보고서’에 따르면 2021년 CCTV 영상감시 시장은 1조 4천억원으로 국내 물리보안 시장의 35%를 차지하고, 매년 지속적으로 성장세를 보이고 있다.⁽¹⁾ 영상감시 기술(즉, video surveillance 기술)은 개인 신변과 공공의 안전을 비롯하여 범죄예방, 환경감시, 공장자동화, 인텔리전트빌딩, 교통관제시스템 등 영역을 확대하고 있으며 향후 발전이 기대되는 기술로써 꾸준한 관심을 받고 있다. 그러나 다양한 영상감시 장치들이 개발됨에 따라 개인의 사생활이 침해되는 사건들이 다수 발생하고 있으며, 보안이 충분히 고려되지 장치/서비스 등으로 인해 개인뿐만 아니라 공공사회를 위협하고 있다. 이에 국내에서는 영상감시시스템의 부정적인 측면에 대한 문제의 심각성을 깨닫고 이를 해결하고자 ‘개인영상정보 보호법’을 입법시키기 위한 정부차원의 노력이 이루어지고 있지만, 프라이버시(privacy)만이 강조되는 경향이 있다. 따라서, 영상감시 시스템의 부정적인 측면을 해결하기 위해서는 영상프라이버시 뿐만 아니라 영상암호화, 영상접근제어 등의 영상보안(video security) 기술에 대해서도 고려해야 한다. 이에 본 원고에서는 공공 인프라 환경에서 영상감시를 보다 효율적이고 안전하게 수행하기 위한 방안에 대해 살펴보고자 한다.

영상 시놉시스(Video Synopsis) 개념

최근 공항, 스마트시티 등의 공공 인프라에서는 범국가적 차원에서 범죄예방, 재난감시 등의 국민의 생명과 재산을 보호하기 위한 수단으로 영상 감시 시스템을 적극적으로 도입하고 있다. 영상 감시 시스템의 수요가 증가함에 따라 공공 인프라에서 수집되는 영상 데이터의 양은 [그림 1]과 같이 기하급수적으로 늘어나고 있으나 대용량의 영상 데이터를 관리할 수 있는 인력 및 기술적인 측면이 충분히 고려되지 못해 영상 데이터의 보관, 보안, 관제 등의 어려움을 겪고 있다. 이에 따라 공공 인프라와 같이 대용량의 영상 데이터가 수집되는 환경에서는 위와 같은 문제를 해결하기 위한 기술 및 방법이 요구되고 있고, 이에 영상 시놉시스(video synopsis)는 중요한 요소가 될 수 있다.

긴 시간의 원본 영상을 요약된 영상으로 재구성하기 위한 메커니즘을 영상 초록(video abstraction)이라 한다. 일반적으로 영상 초록을 수행하기 위한 기술로 영상 축약(video summarization), 영상 스키밍(video skimming), 영상 시놉시스(video synopsis) 기술이 있다. 각 기술은 요약 영상을 생성하기 위한 다른 특성이 있음에도 불구하고 명확하게 구분되어 있지 않아, 각 기술을 동일한 개념으로 사용하는 사례가 종종 있지만, 본고에서는 각 기술의 차이를 다음과 같이 구분하고자 한다.

영상 축약 기술이란 [그림 2.(a)]와 같이 특정 프레임을 선택 및 추출하여 일련의 순서로 나열하는 것이다. 일반적으로 영상 축약은 시각적 정보만 사용하고 원본 영상 내 오디오 및 텍스트 정보를 처리하지 않기 때문에 빠르게 요약 영상을 생성할 수 있다. 영상 스키밍은 [그림 2.(b)]와 같이 원본 영상에서 요약하고자 하는 구간을 선택하여 요약 영상을 생성한다. 비록 영상 스키밍은 절차가 복잡하여 요약 영상을 생성하는데 다소 시간이 소요되지만, 오디오, 텍스트 등의 정보를 포함한다.

영상 시놉시스는 [그림 3]과 같이 객체 또는 객체 활동 기반의 영상 압축 기법으로 가능한 짧은 시간 동안 공통된 배경에서 최대한 많은 객체의 활동을 동시에 출력하는 것을 목표로 하는 요약 영상 생성기술이다.

일반적으로 아래와 같은 영상 시놉시스를 위한 몇 가지 정량적 표준이 존재한다.

• 생성된 요약 영상에서는 중복된 시공간 속에서 객체는 최대의 활동을 보여주어야 한다.
• 생성된 요약 영상에서의 객체 충돌은 피해야 한다.
• 생성된 요약 영상은 객체의 시간적, 공간적 일관성을 유지해야 한다.

영상 시놉시스 기술은 앞서 언급된 영상축약 및 스키밍 기술과는 다르게 객체를 대상으로 요약 영상을 생성하기 때문에 수집된 영상(객체를 포함하는 영상)의 시간이 다를지라도 요약된 영상에서는 객체에 대한 동시 프레젠테이션이 가능하다. 또한, 영상 시놉시스는 상황(연대순의 중요성 및 충돌비용)에 따라 앞서 언급된 두 기술보다 짧은 요약 영상을 생성할 수 있다.

대표적인 영상 시놉시스 기법으로는 객체 기반(object based), 객체 움직임 기반(object movement based)이 있다. 객체기반 영상 시놉시스는 시공간의 중복을 최소화하고 객체에 대한 활동을 최대한으로 출력하기 위한 방법이다. 프레임 기반 영상 시놉시스 방식과 달리 동일한 객체에 대한 일련의 프레임인 튜브(tube)를 이용하여 시공간의 중복을 최소화한다. [그림 4]는 객체기반 시놉시스 영상 생성을 위한 기술들을 계층적으로 표현한 것이다.

방대한 양의 영상 데이터를 다뤄야 하는 공공 인프라 환경에서의 영상 시놉시스 기술의 적용은 모니터링 인력 문제에 대한 부담을 줄일 수 있으며 관리 및 보안이 필요한 데이터의 양이 대폭 감소함으로써 효율적인 영상 관제 및 보안 관리가 가능해진다.

영상 보안 기술 및 영상 감시 시스템

영상보안 기술의 발전은 [그림 5]에서와 같이 저화질 저해상도 영상에서 고화질 초고해상도 영상으로 발전해왔으며 다양한 기술을 접목시킬 수 있는 환경으로 성장했다. 초기의 영상 감시 시스템은 영상의 품질을 향상하는 것이 목적이었다면, 이후 나타난 지능형 영상보안 시스템은 CCTV 카메라를 통해 획득한 영상 정보를 실시간으로 분석해 자동으로 목표물 또는 이동물체를 탐지·추적·식별·행위분석·검색하고, 이러한 결과를 영상처리 및 컴퓨터 시각처리, 패턴 분석, 인공지능 및 데이터 관리 기술들과 결합해 객체의 행위나 상호작용을 해석하는 것으로 발전하였다.

또한, 이전의 CCTV 영상보안 기술은 카메라로부터 촬영한 영상을 실시간 전송 네트워크를 통해 전송하고 이를 모니터를 이용해 관리자가 직접 감시하거나 DVR 등에 저장한 후 영상을 검색해 대응하는 수동적인 보안시스템이었다면, 현재는 고성능 CCTV 카메라가 급속히 보급되면서 직접 감시 및 분석의 한계를 극복하고 사후처리가 아닌 실시간 감시 시스템에 대한 요구 등의 통합형 지능형 영상보안 시스템으로 발전하였다.

지능형 영상보안은 ‘관심 대상의 검출(object detection) → 관심영역의 검출(region localization) → 객체 인식 및 추적(object identification and tracking) → 추적물체의 분류(object classification) → 위험 탐지 → 경고발생’의 기본적인 동작프로세스를 가지고 있으며, [표 1]⁽²⁾과 같은 상세 기술로 분류할 수 있다.

영상 감시 시스템(video surveillance system; VSS)에서 필요로 하는 영상보안 요구사항은 영상 감시 시스템의 구조 및 동작 과정으로부터 도출할 수 있다. 일반적으로 영상 감시 시스템은 여러 대의 영상 카메라(CCTV)와, 전송 채널, 영상 데이터 보관을 위한 저장소, 캡처된 영상을 감시 또는 분석하는 영상 감시자로 이루어진 복합적인 시스템으로 ① 주변환경 또는 상황을 영상 카메라를 통해 캡처, ② 인터넷을 통해 영상 데이터를 저장서버로 전송, ③ 저장서버에 영상 데이터 저장, ④ 실시간 및 녹화된 영상이 영상 감시자에게 전송, ⑤ 영상 감시자(또는 영상열람 요청자)가 저장된 또는 실시간 영상 확인 등의 과정을 가진다.⁽³⁾

첫 번째 과정은 프라이버시와 연관된 과정으로 캡처된 영상에 대해서 개인을 식별할 수 없도록 하는 보안기술이 필요하다. 두 번째, 네 번째 과정은 영상 데이터를 전송하기 위해 네트워크를 이용하는 과정으로써 영상데이터의 훼손, 손실 등의 문제없이 안전하게 목적지까지 전송할 수 있는 방법이 필요하다. 세 번째 과정은 영상 데이터를 저장하는 과정으로 영상 데이터를 안전하게 보관하기 위한 보안 기술이 필요하다. 마지막 과정은 영상감시자(또는 영상열람 요청자)가 전송된 영상을 확인하는 과정으로 영상에 접근할 수 있는 권한을 가진 영상 감시자만(또는 영상열람 요청자)이 영상을 감시할 수 있도록 해야 한다. 앞서 언급하였듯이, 프라이버시 보호를 위해 다양한 보안 기술(블러링(blurring), 노이즈(noise), 마스킹(masking), 모자이크(pixelization), 스크램블링(scrambling))을 활용하고 있으며, 영상전송을 위해서는 HTTPS(hypertext transfer protocol over secure socket layer), SSL(secure socket layer), VPN(virtual private network)과 같은 보안 프로토콜/서비스를 이용하여 보안 이슈를 해결하고 있다. 다만, 영상 기술/장비의 발전에 따라 고화질/고해상도의 영상이 생성되는 상황에서 현재의 기술을 적용하기에 많은 다소 비효율적이며 제한적인 것이 현실이다. 특히, 공공 인프라 환경에서 생성되는 대용량의 영상 데이터를 암호화하여 저장하는 것은 거의 불가능하다고 판단된다. 그렇다면, 생성된 대용량의 영상 데이터는 안전한 저장소에 보관하되, 이를 접근할 수 있는 사용자 및 접근 권한을 명확히 하는 접근제어 정책도 중요할 수밖에 없다. 무엇보다, 대용량의 영상 데이터에서 확인하고자 하는 데이터를 신속히 확인할 수 있는 방법이 필요한데 영상 시놉시스가 이러한 요구사항을 해결할 수 있을 것으로 생각된다.

공공 인프라 환경에서의 영상 시놉시스 기반 보안 프레임워크

범죄 예방, 교통 및 재난 감시 등의 공공의 안전과 편의를 위하여 공공 인프라 환경에서는 영상 감시(보안) 시스템의 수요를 지속해서 늘리고 있다. 더욱이 영상 감시 시스템의 기술이 발전함에 따라 높은 해상도의 영상 수집 및 다양한 소프트웨어 탑재 등이 가능해졌으며 이에 따라 영상 감시 시스템의 객체 식별능력을 비롯한 전반적인 시스템의 성능들이 대폭 향상되었다. 그러나 영상 감시 시스템의 수요증가에 따라 사용자(영상정보관제사)가 관리해야 할 영상 데이터들의 양이 기하급수적으로 증가하였으며, 다수의 카메라가 존재하는 공항, 스마트시트와 같은 공공 인프라 환경에서는 위와 같은 문제가 더욱 심화되고 있다. 이에 따라 공공 인프라 환경과 같이 대용량의 영상 데이터가 수집되는 환경에서는 짧은 시간에 대용량의 영상 정보를 검토하고 관제할 수 있는 기술이 요구되고 있다.

대다수의 영상 감시 시스템을 통한 관제는 카메라를 통해 수집된 영상을 사용자에게 제공함으로써 수행된다. 비록 기술발전에 힘입어 과거에 비교하여 현재의 영상 관제환경이 다소 개선되었지만, 전적으로 인력에 의존하고 있는 영상 보안 시스템의 관제는 사용자가 다수의 영상을 동시에 관리하기 때문에 일관성 및 지속성 등의 인력 중심의 한계점이 존재한다. 이와 관련하여 IDC(International Data Corporation)에서는 체계적인 영상 데이터 관리 방식이 구축되지 않는다면 기하급수적으로 늘어나는 데이터에 대한 정상적인 관리가 불가능할 것이라고 지적하고 있으며, 미국 법무성의 한 연구자료에서는 영상을 관제하는 감시요원의 주의력은 시간이 지남에 따라 급격하게 저하(25분이 지나면 주의력이 10%이하로 떨어진다는 연구사례 발표)되기 때문에 효율적인 관제방법이 모색되어야 한다고 지적한다. UNODC (United Nations Office on Drugs and Crime)에서는 위와 같은 문제를 해결하기 위해 영상 시놉시스를 영상 보안 시스템에 적용하는 것을 제안하였다. 앞서 설명하였듯이, 영상 시놉시스는 대용량의 영상 데이터를 짧은 시간에 검토할 수 있도록 집약적인 정보가 담긴 영상으로, 지속적으로 영상을 관제해야 하는 사용자에게 시간적 측면으로 부담을 줄일 수 있으며, 이에 따라 관제의 효율성이 향상될 수 있다.

하지만, 대부분의 영상 시놉시스 기술은 단일 카메라와 적은 수의 개체가 존재하는 환경을 기반으로 연구되어 공공 인프라와 같이 다수의 객체, 멀티 카메라가 구현된 환경에 적용하기 위한 영상 시놉시스 기술에 관한 연구가 부족한 실정이다. 즉, 현재의 기술은 객체가 다수 존재하는 공공 인프라와 같은 환경에서 의미 있는 시놉시스 영상을 생성하기 어려우며, 일련의 장면에 대한 시놉시스 영상을 지속적으로 관제한다는 측면에서 사용자의 주의력 문제는 해결되지 못하는 제한점을 가지고 있다. 이에 따라 공공 인프라와 같은 복잡한 환경에서 의미 있는 시놉시스 영상을 생성하기 위한 기술이 요구되고 있다.

본 고의 저자는 공공 인프라 환경에서 효율적인 영상 관제가 이루어질 수 있도록 이상 탐지 기반의 영상 시놉시스 기술을 제안하였다. 기존의 모든 객체에 대하여 시놉시스 영상을 생성하는 기술과 달리 영상 관제가 요구되는 상황 또는 객체를 탐지하여 시놉시스 영상을 생성하는 것을 목적으로 한다. 비정상 이벤트(이상행위/물체)의 탐지는 공공 인프라에서 영상 데이터가 수집되는 목적을 고려하여 정의할 수 있다. 일반적으로 공공 인프라 환경에서 영상 데이터를 수집하는 목적은 범죄 예방, 재난 감시, 시설물 보호 등의 공공의 안전을 도모하고 비정상적인 이벤트를 감시하기 위함이다. [그림 6]은 공공 인프라 환경에서의 효율적인 영상 관제를 위해 향후 영상 보안 시스템에 적용되어야 하는 기술을 보여준다.

공공 인프라 환경에서 수집되는 대용량의 영상 데이터에 대해 이상행위/물체 탐지 기반의 시놉시스 영상을 이용하여 [그림 7]과 같은 효율적인 영상 보안 프레임워크를 고려해 볼 수 있다. 제안한 프레임워크가 가져야 하는 3가지 주요 기능은 다음과 같다.

• 인공지능 기반 / 영상멀티모달 기반 이상행위/물체 탐지 및 관련 영상 시놉시스 생성
• 영상 시놉시스 기반 암·복호화
• 영상 시놉시스 기반 접근제어

그림에서와 같이 공항, 쇼핑몰, 공원 등의 공공 인프라에 존재하는 다양한 영상 수집기(감시카메라, 열화상 카메라, 보안 검색영상)를 통해 영상을 수집하게 되며, 수집된 영상은 단순 객체 기반의 영상 축약을 생성하는 것이 아니라, 인공지능(강화학습) 기반의 영상처리 기법을 통해 이상행위나 물체 등을 탐지하여 보안에 위협이 될 수 있는 영상 시놉시스를 생성하는 것이 핵심이다. 인프라 환경에 따라, 저조도 환경에서 보다 정확한 탐지를 위해 일반영상 및 열화상 영상이 융합(멀티모달)되어 분석될 수 있다.

앞서 언급하였듯이, 대용량의 원본 영상 데이터에 대해 암호화하여 저장하는 것은 비효율적이며 거의 불가능하다고 판단되며, 이에 보안위협(이상행위/물체)에 해당하는 시놉시스 영상에 대해서만 암호화하여 저장하고 접근제어 기술을 기반으로 안전하게 관리하는 것이 보다 효율적이다. 시놉시스 영상은 다양한 영상 수집기로부터 획득한 영상에서 민감하고 중요한 정보들을 축약하고 있어, 시놉시스 영상의 유출은 단시간에 수많은 개인정보를 노출할 수 있고, 이로 인해 개인 프라이버시가 침해될 수 있다. 따라서 시놉시스 영상을 안전하게 관리 및 보호하기 위한 비식별화가 필요하며, 이를 위해 암호화, 마스킹, 블러링, 픽셀화, 워핑, 스크램블링, 인페이팅 등의 방법을 사용할 수 있다. 영상 감시 시스템의 환경과 요구되는 보안 수준에 따라 비식별화 방법을 선택할 수 있지만, 본 저자는 암호화 방법을 권고한다. 암호화 이외의 방법을 사용할 경우, 재식별화 가능성, 재식별화 불가능(원본 시놉시스 복구 불가능) 등의 기술적 제한점을 가지고 있다. 암호화의 경우, 보안 영상의 신속한 확인 및 암호화 효율성을 위해, 프레임 전체 암호화 보다는 프라이버시 및 보완과 관련된 특정 객체/물체를 암호화하는 부분 암호화하는 것이 필요하다. 비식별화(암호화)된 시놉시스 영상은 접근제어 기술을 통해 관리되어야 하며, 보안에 위협되는 상황이 탐지되는 경우 보안위협을 차단하기 위해 관리자에게 통보 및 접근제어 정책에 기반 공공 인프라 시스템상으로 보안 위협을 직접 처리(차단 등)할 수 있도록 하는 기술 연계 등이 필요하다.

결론 및 시사점

공공 인프라 환경에서 영상 감시 카메라의 수가 기하급수적으로 늘어나고 이에 따라 대용량의 영상 데이터가 수집되는 것에 반해 모니터링 인력 및 기술에 대한 문제는 계속 이슈화 되고 있다. 수집되는 영상데이터의 양이 비대해진 것을 감안했을 때 정상적인 모니터링에 대한 효과를 기대하기 어려우며 영상 데이터에 대한 관리에도 보안적 문제가 발생할 수 있음을 의미한다. 이에 본 고에서는 대용량 영상 데이터를 이상행위/물체 기반의 영상 시놉시스를 통해 효율적이고 안전하게 관리하기 위한 보안 프레임워크에 대해 살펴보았다.

본 고를 통해 영상 시놉시스가 왜 중요한지, 어떻게 보안 시스템에 활용 가능하지에 대해 살펴보았지만, 아쉽게 관련 기술 및 솔루션은 미비한 실정이다. 기존의 시놉시스 관련 제품들이 있긴 하지만, 단순 객체기반의 영상 축약/스키밍 수준이며, 영상 (부분)암호화, 특히 고화질/고효율 코덱(HEVC/H.265)에서의 부분 암호화에 대한 연구는 매우 미흡하다. 또한, 대부분의 영상 시놉시스 기술은 단일 카메라 환경을 기반으로 연구되어, 공공 인프라와 같이 다수의 카메라가 존재하는 환경에 적용하기에는 적합하지 않다. 이에 다수의 카메라에서 생성된 영상 시놉시스를 서로 연결 위한 기술(파노라마 스티칭(Panoramic Stitching)) 등의 개발이 필요하다. 마지막으로, 시놉시스 영상을 효율적으로 생성 및 관리하고, 동일 인프라 내의 다른 시스템에서도 연계 가능할 수 있도록 하는 표준화 제정에 대한 노력이 필요하다.

Acknowledgement

본 기고는 ‘2019년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구(No.2019-0-00231, 공공인프라 안전을 위한 인공지능 기반 영상보안 기술 및 시스템 개발)’ 결과의 일부 내용을 발췌하였으며, 논문^(4)(5)(6)및 표준문서⁽⁷⁾의 참고 버전이다.

본 원고는 KISA Report에서 발췌된 것으로 한국인터넷진흥원 홈페이지(https://www.kisa.or.kr/public/library/IS_List.jsp)에서도 확인하실 수 있습니다.

KISA Report에 실린 내용은 필자의 개인적 견해이므로, 한국인터넷진흥원의 공식 견해와 다를 수 있습니다.

KISA Report의 내용은 무단 전재를 금하며, 가공 또는 인용할 경우 반드시 [한국인터넷진흥원,KISA Report]라고 출처를 밝혀주시기 바랍니다.