2022학년도 수능 국어에서는 자동차의 사방을 위에서 내려다보듯 보여주는 ‘어라운드 뷰’ 시스템의 영상 합성 원리를 다룬 기술 지문이 출제돼 수험생을 당황하게 했습니다. 이전에도 2015학년도 수능에 디지털 이미지의 확대와 축소 시 화솟값을 처리하는 메커니즘이 출제된 적이 있죠. 이처럼 우리가 매일 접하는 시각 정보를 컴퓨터가 어떻게 데이터로 처리하는지에 관한 기술적 원리는 수능 비문학 지문의 단골 소재입니다.
그렇다면 최근 전 세계를 뒤흔들고 있는 AI는 사진을 어떻게 알아볼까요. 인간은 고양이 사진을 보면 0.1초 만에 직관적으로 알아채지만, 컴퓨터에 사진은 그저 수많은 0과 1의 조합일 뿐입니다. 컴퓨터가 눈도 없으면서 이미지를 형태별로 분류하는 기술의 핵심에는 ‘합성곱 신경망(CNN)’이라는 알고리즘이 있습니다.
컴퓨터가 이미지를 처리하는 첫 단계는 시각 정보를 ‘숫자 행렬’로 변환하는 것입니다. 디지털 이미지는 수많은 격자 모양의 점인 픽셀(pixel)로 이뤄져 있어요. 흑백 이미지라면 각 픽셀의 밝기에 따라 0(검은색)부터 255(흰색)까지의 숫자로 채워진 2차원 행렬이 됩니다. 컬러 이미지라면 레드, 그린, 블루의 세 가지 색상 채널이 겹친 3차원 행렬(가로x세로x두께)로 표현됩니다. 가로세로 100픽셀짜리 작은 컬러 사진 한 장도 컴퓨터엔 100x100x3, 즉 3만 개의 숫자가 나열된 거대한 데이터 덩어리입니다.
이렇게 많은 데이터를 어떻게 빠르게 파악할 수 있을까요. AI는 이미지를 효율적으로 파악하기 위해 합성곱이라는 연산을 적용해요. 쉽게 얘기하면 고양이 사진을 놓고 고양이 주변의 전체를 다 파악하지 않고 눈·코·몸 윤곽 등 중요한 특징만 골라 파악하는 거죠. AI는 필터라는 도구를 꺼내 이미지 위에 올려놔요. 통상 3×3 행렬로 이뤄진 도구입니다. 그럼 총 9칸이 생기죠. 그 9개 칸은 각 색의 숫자로 이뤄진 데이터죠. 필터는 자기가 찾고 싶은 이미지의 특징에 따라 숫자가 달라져요. 예를 들어 정중앙만 점수가 8이고, 나머지는 -1로 이뤄진 9칸 필터라고 해봐요. 그리고 9개 칸의 픽셀 위를 지나가요. 그리고 필터의 값과 기존 이미지의 값을 곱합니다. 그러면 어떻게 될까요. 가운데 숫자와 만나는 지점마다 숫자가 갑자기 커지겠죠. 이미지의 특정 윤곽선을 찾을 때 쓰는 거예요. 이걸 옮겨가면서 하는 겁니다. 밋밋한 배경에서는 점수가 낮겠지만, 특징이 발견되면 점수가 높게 나오죠. 그렇게 빠르게 점수 지도를 만들어 이미지의 특징을 파악하는 거예요
추출된 특징 지도의 크기를 줄여 데이터의 효율성을 높이는 단계를 ‘풀링(Pooling)’이라고 해요. 가장 대표적인 ‘최대 풀링’은 이미지 위의 일정 영역 중 가장 큰 숫자를 제외하고 나머지를 버려요. 강한 특징만 남겨 이미지를 압축하는 거죠. AI는 이 합성곱과 풀링 단계를 수십 번씩 반복하며 깊은 신경망을 통과시킵니다. 초반부 층에서는 ‘선이나 점’ 같은 단순한 특징을 찾고, 뒤로 갈수록 ‘귀 모양, 눈 형태’ 같은 복잡한 추상적 특징을 조립해나갑니다.
모든 특징 추출이 끝나면, 마지막으로 2차원 형태의 특징 지도를 1차원 배열(한 줄의 긴 사슬)로 길게 펼칩니다. 이를 ‘평탄화’라고 해요. 이렇게 한 줄로 정렬된 데이터를 완전 연결층에 입력해 최종 연산을 해요. 그리고 최종적으로 나온 결과물의 확률을 계산합니다. 이 사진이 강아지일 확률이 95%라고 한다면, 강아지로 분류하는 거예요.
놀랍게도 이 기술은 인간의 뇌 신경망을 모방한 것입니다. 이 기술은 오늘날 자율주행차의 전방 사물 인식부터 의사의 암 진단을 돕는 의료 영상 분석까지 인류의 삶을 송두리째 바꾸고 있는 기술입니다. 이 기술을 바탕으로 이미지도 만들어낼 수 있게 된 것이죠.
다만 컴퓨터가 모든 데이터를 수치화하고 연산하는 과정에서 아주 미세한 노이즈를 이미지 픽셀에 섞어 넣으면, 사람 눈에는 멀쩡한 고양이 사진을 AI가 ‘토스터기’나 ‘자동차’로 오인하는 취약점도 있어요.
NIE 포인트
1. 합성곱의 원리를 설명해 보자.
2. 풀링은 무엇이고 왜 필요한지 알아보자.
3. 더 발전한 이미지 데이터 처리 기술이 가져올 미래의 모습을 상상해 보자.
