컴퓨터 비전

1. 개요

2. 인공지능 모델

• CNN : 컨볼루션 신경망. 2012년 인공지능 학회에서 처음으로 발표된 내용이며 반박의 여지가 없는 인공지능 혁명의 시작을 알리는 알고리즘이자 컴퓨터 비전의 핵심이 되는 알고리즘이다. 딥러닝을 공부하게 되면 제일 처음으로 접하게 되는 신경망이자 지금도 그 중요도가 매우 높은 알고리즘으로 대우받고 있다. 실제 아래에 설명한 분야들은 다 이 알고리즘을 활용한 분야이다.
• classification : 이미지가 무슨 이미지인지 분류하는 일이다. 고양이 사진을 고양이라고 판단하는 것과 같다.
• object detection : 이미지에 물체가 어디에 있는지 네모 박스를 치는 일이다. 고양이 사진에서 고양이 부분에 네모난 영역을 치는 것과 같다.
• semantic segmentation : 이미지에 물체가 무엇인지 픽셀 단위로 분류하는 일이다. 고양이 사진에서 고양이 부분을 떠내는 것과 같다. 이 때 고양이가 2마리여도 둘 다 고양이라고 판단한다.
• instance segmentation : 이미지에 물체가 어디에 있는지 픽셀 단위로 판단하는 일이다. 고양이 사진에서 고양이 부분을 떠내되, 고양이마다 다르게 분류해야 한다. 즉, 2마리의 고양이는 서로 달라야 한다.
• self-supervised Learning
• GAN
• autoencoder
• VAE
• flow-based model
• diffusion model
• score based model
• NeRF
• super resolution

3. 사용 예

3.1. 인식 및 식별 (Recognition & Identification)

• 이미지 분류 (Image Classification): 고양이 이미지, 자동차 이미지 등 이미지 전체의 주된 내용 분류 과제.
• 세부 분류(Fine-grained Classification): 애완견의 품종의 품종이 시베리안 허스키인지 혹은 치와와를 분류하는 과제처럼 상위 분류의 더 세밀한 하위 카테고리를 분류하는 태스크
• 얼굴 인식 / 분석(Facial Recognition / Analysis)[1]: 얼굴을 식별하거나 얼굴의 속성(나이, 성별, 표정)을 분석하는 과제.
• 광학 문자 인식(Optical Character Recognition, OCR): 이미지 속 텍스트를 인식하는 태스크
• 손글씨 인식(Handwritten character recognition, HCR): 사람이 쓴 손글씨를 텍스트로 인식하는 태스크. 넓게 보면 OCR의 일종이라고 할 수도 있으나 다른 OCR 과제보다 정확성이 훨씬 떨어지는 경향이 많아 따로 분리해서 이야기하는 경우가 많다.

3.2. 위치 특정, 탐지 및 분할 (Localization, Detection & Segmentation)

• 객체 탐지(Object Detection): 객체의 위치를 바운딩 박스(Bounding Box)로 표시하고 분류하는 과제.
• 자율주행 자동차[2]
• 이미지 분할(Image Segmentation):
• 시맨틱 분할 (Semantic Segmentation): 픽셀 단위로 클래스를 분류함. (ex) 도로 픽셀, 하늘 픽셀)
• 인스턴스 분할(Instance Segmentation): 개별 객체 인스턴스까지 픽셀 단위로 구분함. (ex) 1번 사람 픽셀, 2번 사람 픽셀)
• 파놉틱 분할(Panoptic Segmentation): 시맨틱 분할과 인스턴스 분할을 결합한 형태.
• 자세 추정(Pose Estimation): 사람이나 객체의 주요 관절(Keypoints) 위치를 특정함.
• 랜드마크 탐지(Landmark Detection) / 키포인트 탐지 (Keypoint Detection)[3]: 얼굴의 눈, 코, 입 위치나 객체의 특정 지점 등 주요 지점의 정확한 위치를 찾는 데 중점을 둔 과제
• 경계선 탐지 (Boundary/Edge Detection): 객체나 영역의 외곽선(경계)을 정밀하게 찾는 과제.

3.3. 움직임, 추적 및 비디오 분석 (Motion, Tracking & Video Analysis)

• 객체 추적(Object Tracking): 비디오에서 특정 객체를 연속적으로 따라가는 태스크.
• 모션 트래킹(Motion Tracking)
• 광학식 모션 캡쳐, 립모션을 이용한 손의 움직임 감지, 오큘러스 퀘스트의 외부 적외선 카메라를 이용한 손 움직임 감지 등 영상정보로부터 관절의 위치를 역산하여 움직임을 구현한다.
• 광학 흐름 추정 (Optical Flow Estimation): 프레임 간 픽셀의 이동 벡터를 추정한다.[4]
• 시각적 주행 측정(Visual Odometry): 카메라가 탑재된 기계가 찍는 사진들로 기계 자신의 이동과 회전을 측정하는 기술
• 비디오 분석(Video Analysis): 행동 인식(Action Recognition), 이벤트 감지(Event Detection) 등 비디오 전체의 내용을 이해함.

3.4. 장면 및 맥락 이해 (Scene & Context Understanding)

• 장면 이해(Scene Understanding): "해변에서 일몰을 보고 있는 장면"같은 이미지의 전체적인 상황이나 환경을 이해함.
• 이미지 캡셔닝(Image Captioning): 이미지 내용을 설명하는 자연어 텍스트(캡션)를 자동으로 생성하는 기능
• VQA(Vision Question Answering): 이미지와 관련된 자연어 질문을 입력받아 그에 대한 답변을 생성하는 기술.[5] 기계가 인간처럼 시각 정보를 이해하고 소통하는 능력을 구현하는 것을 목표로 한다.

3.5. 기타 판별 과제

• 이미지 검색 / 매칭(Image Retrieval / Matching): 주어진 이미지와 유사한 이미지를 데이터베이스에서 찾거나, 다른 이미지에서 동일한 지점을 찾는 태스크

3.6. 생성 및 변환 (Generation & Transformation)

• 이미지 생성(Image Generation): 특정 조건(텍스트 설명 등)에 맞는 새로운 이미지를 생성함. (ex) GAN, 디퓨전 모델)
• 이미지 복원 / 개선(Image Restoration / Enhancement): 저화질, 노이즈 등 손상된 이미지 품질을 개선함. (ex) 노이즈 제거, 초해상화, 흐림 제거)
• 3D 복원(3D Reconstruction): 2D 이미지나 비디오 시퀀스로부터 3차원 객체/장면의 형태와 구조를 복원함.
• 스타일 전이(Style Transfer): 콘텐츠 이미지의 구조(내용)와 스타일 이미지의 텍스처, 색감, 패턴(스타일)을 분리하고, 분석된 콘텐츠와 스타일 정보를 결합해 새로운 이미지를 생성하거나 기존 이미지를 변환하는 과제

4. 평가

#!if (문단 == null) == (앵커 == null)
를

#!if 문단 != null & 앵커 == null
의 [[인공지능 벤치마크#s-3.2|3.2]]번 문단을

#!if 문단 == null & 앵커 != null
의 [[인공지능 벤치마크#|]] 부분을

5. 관련 문서

• 컴퓨터 공학
• 인공지능
• OpenCV
• 광학 흐름
• 로봇
• 자동화
• 이미지넷

6. 관련 기업

• 링크제니시스: 링크제니시스 사의 VLAD 솔루션은 컴퓨터 비전의 영역으로 AI 를 활용한 이미지 검사를 수행하여 기존 비전 검사 대비 과검률을 높안 솔루션을 제공한다.

7. 관련 인물

• 페이페이 리
• 얀 르쿤
• 제프리 힌튼
• 앤드류 응