얼굴 인식의 기술 동향

일반적으로 사람이 누구인가를 인증하는 절차는 그 사람만이 갖고 있는 정보 · 제공 및 사전 등록한 정보와 일치하는지를 판단하는 작업으로 구성된다. 개인 인증 수단으로 사용되던 암호나 신분 증명 카드 방식은 암기를 해야 하고 도난의 우려와 관리 · 소지해야 하는 번거로움이 있었다. 이에 최근 기존의 인식 방식과는 다르게 본인의 신체를 이용해 인식하는 생체 인식 기술로 인증 절차가 간단한 바이오 매트릭스Bio Matrix(생체 인증) 기술이 주목받고 있다. 이러한 생체 인식 기술 중 얼굴 인식의 기술 동향에 대해 소개한다.

정리 유미희 기자

지문 인식 기술은 사용자의 손가락을 전자적으로 읽어 미리 입력된 데이터와 비교, 본인 여부를 판별해 사용자의 신원을 확인하는 기술이다.
지문 인식 기술은 신원 확인 분야, 금고 및 출입 통제 시스템의 물리적 접근 제어, 범죄자 색출을 위한 범죄 수사 분야 등에 적용돼 왔으나 1990년대부터 전자상거래상의 보안 및 인증을 위한 보안 시스템으로 활용되고 있다. 그러나 범죄자나 불법 사용자가 정보를 빼내기 위해 지문 모양을 복사 제작하는 등 범죄에 이용될 가능성이 크다.
지문 인식 시스템은 땀이나 물기가 묻어있는 사람의 지문은 에러 발생률이 높고 여러 사람이 손을 접촉한 곳에 손가락을 대는 불쾌감, 지문이 닳아 없어진 사람이나 손가락이 없는 사람의 경우 사용이 불가능해 지문 인식 시스템의 한계가 있다. 이러한 문제로 최근 지문 인식 기술을 대체하는 생체 인식 기술 중 얼굴 인식 기술이 주목받고 있다. 얼굴 인식방법은 생체 인식 방법 중 가장 자연스러운 방법으로 특별한 접촉이나 패스워드를 요구하지 않기에 사용자 편의성 면에서 우수하다.
우리는 사람과 만났을 때 시각으로 상대 얼굴을 보는 것에 따라 누구인지 식별한다. 또한 얼굴로부터 표정, 행동, 성별, 기호嗜好등의 정보를 시각적으로 얻을 수 있다. 이러한 시각적인 기술을 이용해 얼굴을 식별하고 더욱 다양한 정보를 기계가 습득할 수 있다면 얼굴 인식 관련 다양한 기술이 개발될 것이다.

바이오 매트릭스Bio Matrix
생체 인식이란 살아 있는 인간의 신체적 또는 행동학적 특징을 자동화 장치로 측정해 개인을 식별하는 학문 또는 기술을 의미한다. 생체 인식 기술 중 바이오 매트릭스Bio Matrix 인증에는 지문, 홍채, 망막, 정맥, 음성 등 다양한 정보가 응용되고 있지만그 중에서도 얼굴은 정보를 간단하게 취득할 수 있는 특성으로 높은 가용성이 기대돼 활발한 연구 개발이 진행 중이다.
그러나 얼굴 인증 기술은 얼굴을 구성하는 눈 · 코 · 입의 상대 위치나 형상 · 크기 등을 고려해 섬세한 차이로 이용자들의 얼굴 차이를 변별하지만 조명 및 표정 변화에 민감해 변장, 수염의 변화, 안경이나 모자 착용, 성형에 따른 얼굴형 변화 등 다양한 요인에 따른 인증 성능 저하의 개선 과제를 안고 있다.
그럼에도 다른 생체 인식 기술에 비해 원격으로 인증이 가능하고 거부감이 없는 점 등의 장점을 갖고 있어 생체 인식 분야 중 적용 범위가 가장 다양한 것으로 알려져 있다. 아울러 생체 인식 기술은 생활의 안전과 편리를 동시에 추구해 많은 경제적 효과를 가져 올 수 있는 기술이다.

얼굴 인식의 과정
얼굴 인식은 영상 전체에서 얼굴이 어디인지 구분해내는 얼굴 영역 추출 과정과 찾아낸 얼굴이 누구의 얼굴인지 감별하는 얼굴 인식 과정으로, 크게 두가지 단계로 나뉜다.

얼굴 영역 추출
얼굴 영역 추출은 얼굴을 인식하기 위한 필수적인 사전 처리 과정이다. 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈 위치 추정 등의 정보를 이용하는데 다양한 변수 때문에 한 가지 정보만으로는 정확한 추출이 어렵다.
예를 들어 명암 차이를 이용하는 경우, 얼굴과 배경의 밝기 값이 서로 크게 차이가 나면 쉽게 구분할 수 있지만 서로 유사한 밝기 값을 갖거나 배경에 여러 색이 뒤섞여 있으면 엉뚱한 영역까지 얼굴로 인식된다. 얼굴 영역 추출은 주로 디지털 카메라에서 피사체의 얼굴에 사각형 모양의 감지 영역이 생겨 자동으로 보정해주는 기능으로 사용한다.

얼굴 인식
얼굴 인식 과정에서도 다양한 연구가 진행돼 왔다. 이 중 얼굴의 주요 부분인 눈, 코, 입의 거리와 모양으로 얼굴을 판별하는 방법은 반드시 각 부위를 정확히 추출해야 한다는 어려움이 따른다. 만일 안경, 모자, 머리카락 등이 이목구비를 가리면 정확한 판별이 힘들어진다. 또한 해당 인물의 얼굴을 찍은 영상을 다수 보유하고 있는 상황에서 새로운 얼굴영상이 들어오면 픽셀 값을 비교해 최종적으로 신원을 확인하는 방법도 있다.

얼굴 인식 기술의 과제
얼굴 인식 기술은 연구 개발을 시작한 지 40년 정도 경과했으며 초기 에지 검출(Edge detection) 방법에 따른 분석에서 출발한 인증 기술은 통계적 기법이나 화상 표현의 발전에 따라 일반적으로 다음과 같은 작업으로 구성한다.

(a)영상 내에서 얼굴 검출
(b)얼굴의 눈, 코, 입 위치나 모양을 통한 인식
(c)얼굴 영상에서 표정 등 외면으로 드러나는 모습(Appearance)의 정규화
(d)적절한 특징량(Feature value) 선택
(e)인식 능력이 좋은 변별 인자(Discriminative Factor, DF)의 조합
(f)정확하고 확장성(Scalability)이 높은 조합 체계

다양한 가변 요인에도 (b)에서 (f)까지를 어떻게 실시하는지에 따라 얼마나 견고하게 얼굴을 인식하는지가 결정된다. 특히 얼굴 인식 모델링 연구 실험에서는 얼굴 인식 기술에서의 가장 큰 과제인 조명의 변화를 생각해야 된다.

<그림 1> 상단은 극히 짧은 시간에 조명을 전환하면서 실험자의 얼굴을 촬영한 이미지다. 일반적으로 변화에 강한 에지 정보나 인간의 뇌상에 있는 초기 시각 피질(Visual Cortex) 세포에 가까운 반응의 2차원 가보 필터Gabor filter를 응용해 연구를 했다.
하지만 조명 변화의 불변에 있어 일반적으로 조명의 양이 각 이미지의 얼굴에 고르게 분포하지 않아 얼굴의 좌우 화상의 평가 결과 조명 분포의 조합 비율이 20%에 달해 이론 · 실무적 면에서 연구 대상의 접근에 성공했다고 말하기 어렵다.
<그림 1> 오른쪽 하단을 참조해 보면 조명의 변화에 대한 화상 에지가 없는 것을 직관적으로 알 수 있다. 따라서 화상 에지의 정확한 검출을 위해서는 얼굴 인식 대상의 특성을 고려하고 주변의 조명이나 밝기 변화 때문에 생기는 벡터의 오류를 방지하는 것이 매우 중요하다.
또한 인식 과정을 진행하기 전에 테스트 이미지를 가장 인식에 적합하도록 만드는 전처리 과정을 수행하지만 그 과정이 모든 환경에 적합할 수는 없다. 그렇기에 외부의 환경 변화가 발생하기 전까지 높은 성능을 발휘하던 인식 시스템이 빛의 반사나 조명과 같은 환경의 변화 후에 성능이 많이 떨어져 쓸모없게 되는 경우가 종종 발생하고 있다. 이에 더욱 환경변화에 강건한 얼굴 인식 시스템 개발이 필요하다.

조명 변화에 따른 얼굴 인식 연구
2D 영상 이미지를 인식하는 데 있어 카메라의 설치 공간 및 설정 상황에 따라 밝기, 명암, 빛의 방향 등과 같은 인식의 성능에 영향을 끼치는 요소들은 매우 많이 존재한다. 이에 <그림 2>에 얼굴 이미지 촬영 시 고려해야 할 카메라 · 얼굴 · 조명 3가지의 요소를 나타냈다.
이 연구에서는 얼굴 촬영에 영향을 주는 조명이 얼굴에 직접 빛을 가할 경우 빛의 열복사와 자연 발광의 태양, 전구 · 형광등과 같이 인공적으로 만들어 낸 빛 등의 빛의 산란까지 고려하지 않으면 영상 내 얼굴 이미지의 변화를 검토할 수 없다.
즉, 얼굴의 음영에 직접 영향을 주는 조명의 변화는 얼굴을 둘러싼 모습의 변화 그 자체이며 무한대의 자유도(Degree of Freedom)*가 있는 것을 알 수 있다. 여기서 인식 대상 물체가 얼굴인 것을 고려해 얼굴 인식 감지 방법을 3가지로 분류했다.

* 자유도(Degree of Freedom) : 변수의 수에서 구속 조건을 뺀 수. 즉, 어느 좌표계를 표시하기 위해 필요한 독립된 방향 성분의 좌표다. 2차원에서는 x축과 y축의 두 개의 좌표로, 3차원에서는 x, y, z 세 축으로 전 좌표를 표시할 수 있으므로 각각의 자유도는 2, 3이 된다.

(a)등록 인물을 다양한 조건 아래에서 촬영한 다음 여러 장의 얼굴 이미지를 등록
(b)변화 요인에 대응하기 위해 등록 인물에 대한 정보 또는 모델을 등록
(c)일반적인 얼굴 모델에 기초를 두고 등록 인물의 변화 요인을 확인

(a)는 등록 이미지마다 조명을 변화시켜 촬영한 다음 여러 장의 이미지를 등록하는 가장 간단한 방법이다. 우선 컴퓨터 그래픽으로 조명에 의한 얼굴의 피부 반사 특성을 고려해 빛의 산란을 <그림 3>에 나타냈다. 볼록한 형태로 이뤄진 집합체 중 단위 법선 벡터를 n, 반사율은 λ. 또한 점광원(Point source of light)을 가정하고 그 조명 방향의 단위 벡터를 L, 조명 강도를 l로 정했다. 빛의 산란을 카메라로 관측했을 때 단위 면적 당 반사광 강도는 카메라의 위치나 얼굴 위치에 상관없이 일정하게 λ×l×max(n · L,0)이 된다.
여기에 어태치드 섀도Attached shadow를 표현하기 위해 max 함수를 무시하면 조명이 어디에 몇 개 있든 조명 변화에 의한 이미지 상의 변화는 3차원의 선형 부분 공간에서만 나타난다. 즉, 어두운 조명 조건에서 촬영한 이미지를 적절한 중량감으로 선형화하게 되면 조명 변화를 무시해 얼굴 인식이 가능하다는 것을 알았다.
실험의 한 예로 기존에 발표한 문헌을 참고해 다양한 얼굴 각도에서 조명의 변화를 줘 촬영한 얼굴의 3차 형상과 표면 반사율을 측정해 등록할 데이터를 생성했다(<그림 4> 참조).
이에 화상 패턴의 변화 요인에 따라 모델 베이스의 방법을 훌륭하게 조합하는 것이 중요하다.

Ⅰ. 얼굴 표면 전체를 표현할 수 있는 실 좌표를 채용해 각 좌표 위치에서의 조명 변화 성분을 얼굴 위치에 상관없이 포괄적으로 산출한다.
Ⅱ. 다수의 점광원에 있어 각 얼굴 좌표 위치의 밝기를 빛의 산란 특성 가정으로 산출한다.
Ⅲ. 다수의 조명 변동에 대해 특이값 분해를 적용해 조명 변동을 설명하기 위한 기본(GIB: Geodesic Illumination Basis)을 요구한다.

이 방법은 매우 간단해 보이지만 저장된 영상과 일일이 비교해야 하는 만큼 계산량이 지나치게 커져서 실용성이 낮았다. 또한 표정, 각도, 조명 등의 변화에 따른 각각의 영상이 모두 필요하기에 데이터 보유량도 상당히 높았다. 그러나 점광원의 이미지 변화를 200 이상으로 늘려도 일종의 저역 필터(Low pass filter)로써 GIB의 저차성분低次成分에 영향을 최소화해 엄청난 계산량을 요구하지 않는 것으로 나타났다.
이에 화상 상에 있어 중첩의 원리 구성과 성립을 생각하면 GIB에 의해 변형된 선형 부분 공간은 샘플로 주어진 다수의 점광원의 조합을 거의 커버하고 모든 조명 변화에 대응할 수 있다고 생각한다.

정면 얼굴, 인식률 가장 높아
얼굴 인식 기술 방법으로는 정면 얼굴 인식, 측면얼굴 인식, 임의의 방향에서 얼굴 인식 방법이 있으나 정면 얼굴을 대상으로 인식하는 방법이 가장 인식률이 높다. 이에 <그림 5>에서 볼 수 있듯이 정면얼굴 이미지에 다양한 각도의 조명을 가세해 촬영한 7만 2000장의 이미지를 이용한 실험을 통해 얼굴 인증 일치 비율 96.5%로 매우 높은 조명 변화 성능 기술을 확보했다.
<그림 6>에서 2010년 6월에 실시된 미국 국립표준기술연구소(NIST)의 바이오 인식 기술 평가 프로그램(Multiple Biometric Evaluation)에 있어 1993년부터 2010년까지의 평가 결과를 보면 해마다 갈수록 인증 정확도는 향상했다. 특히 비자에 등록한 얼굴 사진이면 본인 거부율은 0.3%까지 도달했으며 비자 얼굴 이미지에 있어 본인 거부율은 다른 참가 조직에 비해 거의 1자리의 높은 성능을 가지고 있다. 또한 실제 범죄 기록으로부터 추출한 160만 명분의 얼굴 화상을 이용한 평가에서 92%로 검색률 1위라고 하는 높은 검색 정확도를 달성했다.
아울러 160만 명의 검색에 필요한 시간은 이미지 1장당 약 0.4초로 고속으로 동작한다.

*

생체 인식 기술의 중요성은 미국 9.11 테러 사건이후 강조되기 시작했으며 생체 인식 정보를 이용해 출입국 통제 등에 활용하고자 미국이 주도적으로 진행해 왔다. 이 시점과 맞물려 생체 인식 기술을 이용한 보안 관련 기술이 급속히 확산돼 전 세계적으로 큰 관심사로 부각되고 있다.
생체 인식 산업은 정보화와 더불어 증가하고 있는 여러 정보화 역기능 문제를 해결하는 새로운 전략산업으로 부상하면서 선진국들은 생체 인식 기술의 표준화 및 생체 인식 제품의 평가 제도를 도입하고 있다. 이와 같이 생체 인식 기술은 우리 생활에 안전과 편리를 동시에 추구할 수 있어 많은 경제적 효과를 가져 올 것으로 기대된다. 따라서 IT 기반이 비교적 잘 정립된 우리나라의 경우 전략적 기술 개발을 통해 기술 선도국으로 진입할 수 있는 유망 분야라 할 수 있다.