[DIP STUDY] CH01_04&05

 

1 Introduction
1.1 What is Digital Image Processing?
1.2 The Origins of Digital Image Processing
1.3 Examples of Fields that Use Digital Image Processing
1.4 Fundamental Steps in Digital Image Processing
1.5 Components of an Image Processing System

 

스터디 내용 도서:

---

1.4 Fundamental Steps in Digital Image Processing

 

디지털 영상 처리는 단순히 영상을 예쁘게 만드는 기술이 아니다. 현실 세계에서 얻은 복잡하고 불완전한 데이터를, 컴퓨터가 이해하고 판단할 수 있는 정보로 변환하는 일련의 과정이다. 이 과정은 단계적으로 이루어지며, 각 단계는 다음 단계가 가능하도록 기반을 제공한다. 따라서 개별 기법보다 전체 흐름을 이해하는 것이 훨씬 중요하다.

 

이 책에서는 디지털 영상 처리의 전 과정을 크게 두 가지 관점으로 나눈다. 하나는 입력과 출력이 모두 영상인 처리이고, 다른 하나는 입력은 영상이지만 출력이 영상에서 추출된 속성인 처리이다. 이 구분은 인간이 영상을 보는 단계에서 기계가 영상을 이해하는 단계로 넘어가는 경계라고 볼 수 있다.

 

디지털 영상 처리 파이프라인 개요

처리 단계	입력	출력	핵심 목적
영상 획득	현실 세계	디지털 영상	데이터 생성
영상 향상	영상	영상	시각적 품질 개선
영상 복원	열화된 영상	복원 영상	왜곡 제거
컬러 처리	컬러 영상	컬러 영상	색 정보 활용
변환	영상	변환 영상	표현 공간 변경
압축	영상	압축 데이터	저장·전송 효율
형태학적 처리	영상	구조 정보	형태 분석
분할	영상	영역·객체	객체 분리
특징 추출	분할 결과	특징	정량적 표현
패턴 분류	특징	클래스	의미 부여

 

영상 획득 Image Acquisition

영상 획득은 모든 영상 처리의 출발점이다. 카메라, 센서, 스캐너 등 물리적 장치를 통해 현실 세계의 에너지를 디지털 신호로 변환하는 과정이다. 이미 디지털 형태로 저장된 영상을 불러오는 것도 이 단계에 포함된다.

이 단계에서 중요한 점은 영상이 완벽하지 않다는 것이다. 해상도, 잡음, 조명 조건, 센서 특성 등은 이후 모든 처리 단계에 영향을 미친다. 따라서 영상 획득은 단순한 입력 단계가 아니라, 전체 파이프라인의 품질을 결정하는 근본적인 단계라고 볼 수 있다.

영상 향상 Image Enhancement

영상 향상은 특정 목적에 맞게 영상을 보기 좋게 만드는 과정이다. 대비를 높이거나, 잡음을 줄이거나, 경계를 선명하게 하는 작업들이 여기에 해당한다. 이 단계의 가장 큰 특징은 문제 지향적이라는 점이다.

중요한 점은 영상 향상에 정답이 없다는 것이다. 같은 영상이라도 의료 진단, 인간 관찰, 자동 인식이라는 목적에 따라 전혀 다른 결과가 좋은 결과가 될 수 있다. 따라서 이 단계에서는 수학적 최적해보다 경험적 판단과 시각적 직관이 큰 역할을 한다.

영상 복원 Image Restoration

영상 복원은 영상 향상과 비슷해 보이지만 접근 방식은 전혀 다르다. 복원은 영상이 어떻게 열화되었는지를 모델링하고, 그 모델을 역으로 적용해 원래 영상을 추정하는 과정이다.

예를 들어 블러가 카메라 흔들림 때문에 발생했다면, 그 흔들림을 수학적으로 모델링해 제거하려 한다. 이 때문에 영상 복원은 주관적 판단보다 수학적, 확률적 모델에 기반을 둔다.

컬러 영상 처리 Color Image Processing

컬러 정보는 단순한 시각적 요소를 넘어서 중요한 분석 단서가 된다. 색 공간 변환, 색 분리, 색 기반 특징 추출은 객체 분할과 인식에서 매우 강력한 도구가 된다.

특히 인터넷과 디지털 미디어 환경에서는 컬러 영상이 기본이 되었기 때문에, 컬러 영상 처리는 현대 영상 처리에서 필수적인 요소가 되었다.

변환과 다중 해상도 표현

변환은 영상을 다른 관점에서 바라보는 방법이다. 푸리에 변환은 주파수 관점에서 영상을 분석하게 해주고, 웨이블릿은 여러 해상도 수준에서 영상을 표현할 수 있게 해준다.

이러한 표현 방식은 단순한 분석을 넘어서 압축, 노이즈 제거, 구조 분석 등 다양한 응용의 기반이 된다. 즉, 변환은 이후 단계에서 더 효율적인 처리를 가능하게 하는 도구이다.

영상 압축 Image Compression

영상 압축은 저장 공간과 전송 대역폭을 줄이기 위한 핵심 기술이다. 특히 네트워크 기반 환경에서는 압축 없이는 대용량 영상 데이터를 다루기 어렵다.

압축은 단순히 데이터를 줄이는 것이 아니라, 사람이 인지하기 어려운 정보를 제거하는 과정이기도 하다. 이 때문에 압축 기법은 인간 시각 특성을 깊이 고려한다.

형태학적 처리 Morphological Processing

형태학적 처리는 영상의 구조적 특성을 다루는 단계이다. 객체의 모양, 연결성, 경계 구조 등을 분석하며, 영상이 아닌 구조 정보로 관심이 옮겨가기 시작한다.

이 단계는 영상 처리에서 영상 분석으로 넘어가는 중요한 전환점 역할을 한다.

영상 분할 Segmentation

분할은 영상을 의미 있는 영역이나 객체 단위로 나누는 과정이다. 이후 모든 고급 처리는 분할 결과에 의존하기 때문에, 분할의 품질은 전체 시스템 성능을 좌우한다.

자동 분할은 조명 변화, 잡음, 객체 간 경계 모호성 때문에 매우 어렵다. 그래서 분할 문제는 지금도 영상 처리와 컴퓨터 비전에서 가장 활발히 연구되는 주제 중 하나이다.

특징 추출 Feature Extraction

특징 추출은 분할된 영역을 컴퓨터가 이해할 수 있는 수치 표현으로 바꾸는 단계이다. 경계, 코너, 질감, 통계적 특성 등이 여기에 포함된다.

좋은 특징의 조건은 다양한 환경 변화에도 안정적으로 유지된다는 점이다. 이 단계에서 만들어진 특징이 이후 분류 성능을 거의 결정한다.

영상 패턴 분류 Image Pattern Classification

마지막 단계에서는 특징을 기반으로 객체에 의미를 부여한다. 전통적인 분류 기법부터 딥러닝 기반 접근까지 다양한 방법이 사용된다.

최근에는 합성곱 신경망이 영상 패턴 분류의 사실상 표준으로 자리 잡았으며, 앞선 여러 단계들을 하나의 학습 구조 안에서 통합하는 방향으로 발전하고 있다.

지식 기반 Knowledge Base의 역할

모든 영상 처리 시스템에는 문제 영역에 대한 사전 지식이 포함된다. 이 지식은 처리 범위를 제한하고, 어떤 정보를 중요하게 볼지를 결정한다. 시스템이 복잡해질수록 지식 기반의 역할은 더욱 중요해진다.

 

1.5 Components of an Image Processing System

디지털 영상 처리는 알고리즘만으로 이루어지지 않는다. 실제 시스템에서는 영상을 얻고, 처리하고, 저장하고, 보여주고, 전송하는 모든 하드웨어와 소프트웨어가 함께 작동한다. 따라서 영상 처리 시스템을 이해한다는 것은 하나의 컴퓨터 프로그램이 아니라, 하나의 통합된 시스템 구조를 이해하는 일에 가깝다.

영상 처리 시스템의 발전 흐름

1980년대 중반까지만 해도 영상 처리 시스템은 매우 크고 비쌌다. 별도의 대형 주변 장치가 필요했고, 이 장치들은 역시 대형 호스트 컴퓨터에 연결되어 사용되었다. 즉, 영상 처리는 연구소나 대규모 기관에서만 가능한 특수 작업이었다.

이후 1980년대 후반부터 1990년대 초반까지, 영상 처리 하드웨어는 단일 보드 형태로 바뀌며 개인용 컴퓨터와 워크스테이션에 장착될 수 있게 되었다. 그리고 1990년대 후반 이후 등장한 GPU는 3차원 그래픽뿐 아니라 대규모 행렬 연산이 필요한 영상 처리와 딥러닝까지 담당하게 되었다.

 

이 변화의 핵심은 다음 두 가지이다.
첫째, 영상 처리가 점점 더 범용 컴퓨팅 환경으로 이동했다는 점.
둘째, 하드웨어의 소형화와 성능 향상이 영상 처리 소프트웨어 생태계의 성장을 촉진했다는 점이다.

영상 처리 시스템의 전체 구성

전형적인 디지털 영상 처리 시스템은 다음과 같은 구성 요소들로 이루어진다.

구성 요소	역할
영상 센서	현실 세계의 에너지를 감지
디지타이저	아날로그 신호를 디지털 데이터로 변환
특수 영상 처리 하드웨어	고속 병렬 연산
GPU	대규모 행렬 연산
범용 컴퓨터	전체 제어 및 처리
영상 처리 소프트웨어	알고리즘 실행
대용량 저장 장치	영상 데이터 저장
디스플레이	처리 결과 시각화
하드카피 장치	결과 기록
네트워크·클라우드	데이터 전송

영상 센서와 디지타이저

디지털 영상을 얻기 위해서는 두 가지 하위 시스템이 반드시 필요하다.

첫 번째는 영상 센서이다. 영상 센서는 우리가 영상화하려는 대상이 방출하거나 반사하는 에너지에 반응한다. 예를 들어 빛에 반응하는 CCD 센서, X선에 반응하는 검출기, 초음파 신호에 반응하는 트랜스듀서 등이 있다.

두 번째는 디지타이저이다. 센서의 출력은 본질적으로 아날로그 신호이므로, 이를 컴퓨터가 다룰 수 있는 디지털 데이터로 변환해야 한다. 디지타이저는 이 변환을 수행하며, 영상의 해상도와 정밀도에 직접적인 영향을 준다.

이 두 단계는 영상 처리의 품질을 결정짓는 물리적 기반이라고 볼 수 있다.

특수 영상 처리 하드웨어와 GPU

일부 영상 처리 작업은 매우 빠른 속도를 요구한다. 예를 들어 실시간 영상 평균, 잡음 제거, 고속 필터링 등은 일반적인 CPU만으로는 처리하기 어렵다.

이런 작업을 위해 사용되는 것이 특수 영상 처리 하드웨어이다. 이 하드웨어에는 영상 전체에 대해 병렬로 연산을 수행하는 ALU가 포함되며, 보통 프런트엔드 하위 시스템이라 불린다. 핵심 특징은 속도이다.

GPU는 이러한 흐름을 현대적으로 계승한 구성 요소이다. 원래는 그래픽 처리를 위해 만들어졌지만, 현재는 딥러닝과 영상 처리에서 필수적인 대규모 행렬 연산을 담당한다.

범용 컴퓨터의 역할

영상 처리 시스템의 중심에는 범용 컴퓨터가 있다. PC부터 슈퍼컴퓨터까지 다양할 수 있지만, 중요한 점은 대부분의 영상 처리 작업이 범용 컴퓨팅 환경에서 수행된다는 것이다.

전용 시스템이 필요한 경우도 있지만, 연구와 개발, 오프라인 영상 처리 작업에서는 성능이 충분한 일반 PC면 대부분의 작업이 가능하다.

영상 처리 소프트웨어

영상 처리 소프트웨어는 여러 개의 기능 모듈로 구성된다. 각 모듈은 필터링, 분할, 변환, 분석 등 특정 작업을 담당한다.

잘 설계된 소프트웨어의 특징은 다음과 같다.

모듈화	기능별 분리
확장성	사용자 코드 작성 가능
통합성	범용 언어와 연동

이러한 소프트웨어의 대표적인 예가 상용 영상 처리 툴박스이며, 연구와 교육 현장에서 널리 사용된다.

대용량 저장 시스템

영상 데이터는 매우 많은 저장 공간을 필요로 한다. 해상도가 조금만 높아져도 데이터 크기는 급격히 증가한다.

영상 처리에서 사용되는 저장은 다음과 같이 나뉜다.

저장 유형특징

저장 유형	특징
단기 저장	처리 중 임시 저장
온라인 저장	빠른 접근
아카이브 저장	대규모, 저빈도 접근

프레임 버퍼는 단기 저장의 대표적인 예로, 실시간 영상 조작을 가능하게 한다. 온라인 저장은 디스크 기반이며, 아카이브 저장은 대규모 데이터 보관에 적합하다.

디스플레이와 하드카피 장치

영상 처리 결과는 반드시 시각적으로 확인되어야 한다. 이를 위해 디스플레이 장치가 사용되며, 대부분의 경우 상용 GPU와 디스플레이 카드로 충분하다.

하드카피 장치는 처리 결과를 기록하기 위한 수단이다. 문서화, 보고, 발표 목적에 따라 필름, 종이, 디지털 매체가 선택된다.

네트워크와 클라우드

현대 영상 처리 시스템에서 네트워크는 필수 요소이다. 영상 데이터는 크기가 크기 때문에 전송에서 가장 중요한 요소는 대역폭이다.

전송 효율을 높이기 위해 영상 압축은 필수적으로 사용되며, 클라우드 환경에서는 대규모 영상 처리와 공유가 가능해진다.

 

 

즉..

영상 처리 시스템은 하나의 알고리즘이 아니라,
센서 → 하드웨어 → 소프트웨어 → 저장 → 출력 → 전송으로 이어지는 구조이다!