스마트폰 카메라 필터, 어떻게 실시간으로 마법 같은 효과를 만들어낼까

[한국정보기술신문] 사진 필터 효과는 디지털 이미지를 구성하는 픽셀 행렬에 특정 수학적 수식을 적용하여 이미지를 변형하는 디지털 신호 처리 기술이다. 이미지 데이터는 픽셀이라고 하는 작은 이미지를 직사각형 형태로 모은 것으로, 각 픽셀은 단색의 직사각형으로 구성되어 있다. 필터 효과는 바로 이 개별 픽셀의 색상값을 수학적으로 조작하여 전체 이미지의 시각적 변화를 만들어낸다.

이미지 필터링은 필터 또는 커널이라고 하는 정방행렬을 정의하고 이 커널을 이동시키면서 같은 이미지 영역과 곱하여 그 결과값을 이미지의 해당 위치의 값으로 하는 새로운 이미지를 만드는 연산이다. 컨볼루션 레이어는 입력 데이터에 필터를 적용 후 활성화 함수를 반영하는 필수 요소로, 필터 크기와 스트라이드에 따라 출력 데이터의 형태가 변경된다. 이 과정에서 필터는 전체 이미지를 순회하며 각 위치에서 주변 픽셀들과의 연산을 통해 새로운 픽셀값을 계산한다.

컬러 이미지는 RGB 방식으로 표현되며, 각 픽셀을 RGB 3개의 실수로 표현한 3차원 데이터로 구성된다. 컬러 이미지는 3개의 채널로 구성되며, 각 위치 색상을 나타내는 3개의 채널이 있어 3x3 커널을 정의하더라도 3개 입력채널이 있으면 실제 크기는 3x3x3이 된다. 필터 효과는 이 R, G, B 각 채널에 서로 다른 연산을 적용하거나 채널 간의 관계를 조작하여 색상 변화를 만들어낸다.

디지털 필터는 수학 함수나 알고리즘으로 표현할 수 있는 모든 필터 효과를 구현할 수 있으며, 1비트 A/D 컨버터나 파이프라인 처리가 가능한 DSP를 사용하여 프로그래밍하는 방식으로 구현된다. 현대 스마트폰은 전용 이미지 신호 프로세서(ISP)와 GPU를 활용하여 복잡한 필터 연산을 실시간으로 처리한다. 트루씨어터 기능으로 저해상도 카메라를 사용하더라도 쉽게 비디오 품질을 향상할 수 있고, AR 메이크업 기능으로 실시간 웹캠 보정하여 얼굴에 자연스러운 가상 메이크업을 적용할 수 있는 것도 이러한 하드웨어 가속 덕분이다.

다양한 필터 유형과 적용 원리

사진 필터는 크게 색상 조정, 블러 효과, 선명도 조정, 특수 효과 등으로 분류된다. 블러는 이미지 필터링을 사용하여 이미지를 흐리게 만드는 것으로, 노이즈를 제거하거나 경계선을 흐리게 하기 위해 사용되며 평균 블러 방법은 균일한 값을 가지는 커널을 이용한 이미지 필터링이다. 각 필터는 고유한 수학적 커널을 사용하여 특정한 시각적 효과를 만들어낸다.

최근에는 CNN 컨볼루션 필터가 특정 방향의 모서리를 강조하는 edge detection, 상세를 강조해 blurring을 제거해주는 sharpness filter 등의 다양한 필터를 사용해 특징을 추출하는 기술이 도입되고 있다. AI 기반 필터는 기존의 단순한 수학적 연산을 넘어서 딥러닝 모델을 통해 더욱 정교하고 자연스러운 효과를 만들어낸다.

스마트폰 카메라 애플리케이션에서는 필터와 프레임이 풍부해 막 찍어도 인생사진이 되도록 하며, 각 어플마다 필터에 특징이나 장점이 있어 피사체에 따라 사용하는 카메라 어플을 바꾸는 것도 좋다. 실시간으로 적용되는 완벽한 뷰티 효과로 촬영 후에 따로 편집이 필요없는 간편한 셀피를 찍을 수 있으며, 내 피부인 듯 결점 없는 피부 보정과 내추럴한 뷰티 효과가 실시간으로 적용된다.

디지털 필터와 달리 사진기 필터는 사진기의 광학적 경로에 삽입되는 필터 액세서리로, 보통 금속이나 플라스틱 재질의 둘레 틀 안쪽에 끼운 유리나 플라스틱 원반 모양으로 렌즈 앞에서 나사로 조여 조립된다. 편광 필터는 컬러 사진 및 흑백 사진 모두에 쓰이며, 지나치게 밝은 하늘을 어둡게 하거나 하는데 사용되어 결국 사진에서는 하늘과 구름과의 대비가 증가하게 된다. 하지만 소프트웨어 필터는 이미 촬영된 디지털 데이터를 수학적으로 처리하는 방식이다.

실시간 스트리밍 중에 필터, 스티커, 이모티콘 등 효과나 오버레이를 쉽게 추가할 수 있어 시청자에게 더욱 매력적인 영상을 제공하기 위해서는 높은 연산 성능이 필요하다. 특히 고해상도 이미지와 영상에서 복잡한 필터를 실시간으로 적용하려면 최적화된 알고리즘과 전용 하드웨어가 필수적이다.

미래 기술 전망과 발전 방향

최근 감도가 높은 W 픽셀을 추가한 RGBW 컬러 필터 배열에 대한 연구가 진행되어 왔으며, W 픽셀은 컬러 필터 배열 내의 다른 컬러 픽셀들보다 감도가 높아 특히 저조도 환경에서 더 나은 신호 대 잡음비 특성을 보인다. 이러한 하드웨어 기술 발전과 AI 기술의 결합으로 앞으로 더욱 정교하고 자연스러운 필터 효과가 가능할 것으로 전망된다. 사진 필터 기술은 단순한 미적 도구를 넘어서 의료, 보안, 산업 분야에서도 핵심적인 이미지 처리 기술로 활용되고 있어 그 중요성이 더욱 커지고 있다.

한국정보기술신문 정보기술분과 강민규 기자 news@kitpa.org