| <nopad> | ||
| {{{#!wiki style="margin: 0 -10px -5px; min-height: calc(1.5em + 5px)" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -1px -11px" | <colbgcolor=#2e3039,#2e3039><colcolor=#fff,#fff> 종류 | 대화형 인공지능 (주요 목록) · 코드 생성 인공지능 · 그림 인공지능 · 영상 인공지능 · 음악 인공지능 · 음성 인공지능 · 3D 모델링· 지능형 에이전트 · VLA · 멀티모달 모델 · 언어 모델 · 월드 모델 (JEPA) |
| 프롬프트 | 프롬프트 · 프롬프트 엔지니어링 · 프롬프트 해킹 · 에이전트 스킬 · 하네스 엔지니어링 | |
| 아키텍처 | 트랜스포머 · RNN · CNN | |
| 생성 패러다임 | GAN · 확산 모델 · 변분 오토인코더 · 자기회귀모델 | |
| 학습 | 자기지도학습 · 강화학습 (RLHF) | |
| 응용 | AI 개요 · 인공지능 검색 엔진 · 바이브 코딩 · 에이전틱 코딩 (AGENTS.md · CLAUDE.md · CONTEXT.md) · Computer Use (Model Context Protocol · Chrome DevTools Protocol · Postman · Playwright) · 인공지능 로봇 (테슬라 옵티머스) | |
| 문화·밈 | AI 커버 · 쇼거스 · 인공지능 버츄얼 유튜버 · ChatGPT 지브리풍 이미지 생성 유행 · 와... 너 정말, **핵심을 찔렀어.** · 세상에서 제일 하찮은 프롬프트 | |
| 기타 | AI 슬롭 · AI wrapper · 인공지능 환각 · 인공지능 검사기 · AI 중독 · 인공지능 벤치마크 · 대중화 · 인공 일반 지능 · 인공지능 정렬 · Spiritual bliss attractor · AI 데이터 센터 |
1. 개요
| 얀 르쿤, “어떻게 기계는 인간 수준의 지능에 도달할 수 있는가" |
JEPA(Joint-Embedding Predictive Architecture, 공동 임베딩 예측 아키텍처)는 입력 데이터 자체가 아니라 입력으로부터 추출한 추상적인 표현(임베딩)을 예측하도록 학습하는 인공지능 아키텍처이다. 얀 르쿤이 2022년 발표한 자율 기계 지능 연구 구상에서 월드 모델을 구현하기 위한 핵심 구조로 제안하였다.
JEPA의 기본 발상은 이미지의 가려진 픽셀이나 문장의 다음 토큰을 직접 복원하는 대신, 관측된 정보로부터 보이지 않는 부분이나 미래 상태의 의미적 표현을 예측하는 것이다. 예를 들어 이미지의 일부가 가려져 있다면 정확한 색상과 질감을 하나하나 재현하기보다, 가려진 영역에 어떤 사물이나 구조가 있을지를 표현하는 잠재 벡터를 예측한다. 생성 모델이 픽셀·음성 샘플·토큰과 같은 관측 공간에서 데이터의 세부 사항을 복원하도록 학습하는 것과 달리, JEPA는 대체로 더 압축된 표현 공간에서 예측을 수행한다. 이를 통해 예측하기 어렵거나 과업과 무관한 세부 정보는 생략하고, 사물의 종류·위치·동작 및 장면의 구조와 같은 의미 있는 정보를 학습하는 것을 목표로 한다.
JEPA 자체는 특정한 하나의 신경망 모델을 의미하지 않는다. 이미지, 영상, 언어 및 로봇 제어 등 여러 데이터 유형에 적용할 수 있는 학습 원리와 아키텍처의 계열에 가깝다. 대표적인 구현으로 이미지용 I-JEPA와 영상용 V-JEPA가 있으며, 이후 영상·언어 모델과 행동 조건부 월드 모델 등으로 연구 범위가 확대되었다.
2. 원리
JEPA는 서로 관련된 두 입력을 각각 표현 공간으로 변환한 뒤, 한쪽 입력의 표현을 이용하여 다른 쪽 입력의 표현을 예측한다. 일반적으로 이미 관측할 수 있는 부분을 문맥 또는 컨텍스트(context), 예측해야 하는 부분을 표적(target)이라고 한다.학습 과정은 대체로 다음과 같이 진행된다.
- 원본 데이터에서 문맥과 표적에 해당하는 영역 또는 시점을 선택한다.
- 문맥 인코더가 관측 가능한 입력을 임베딩으로 변환한다.
- 표적 인코더가 예측 대상의 실제 임베딩을 계산한다.
- 예측기가 문맥 임베딩과 표적의 위치 정보 등을 바탕으로 표적 임베딩을 예측한다.
- 예측된 임베딩과 표적 인코더가 생성한 임베딩 사이의 차이가 작아지도록 학습한다.
가령 I-JEPA에서는 이미지의 여러 영역을 가린 뒤, 남아 있는 패치들로부터 가려진 영역의 임베딩을 예측한다. V-JEPA에서는 영상의 시공간 블록을 가리고, 앞뒤 장면과 주변 영역을 이용하여 해당 구간의 영상 표현을 예측한다. 행동 조건부 JEPA에서는 현재 상태의 표현과 특정 행동을 입력받아 행동 이후 상태의 표현을 예측할 수도 있다.
JEPA와 일반적인 생성 모델의 가장 큰 차이는 무엇을 예측하는가에 있다. 픽셀 단위 이미지 복원 모델은 가려진 부분의 모든 색상과 질감을 맞혀야 하며, 자기회귀 언어 모델은 다음 토큰의 확률분포를 예측한다. 반면 JEPA는 인코더가 추출한 고차원 표현을 예측한다. 같은 장면에서 발생할 수 있는 세부적인 차이가 많더라도, 의미적으로 공통되는 정보를 표현 공간에 남기는 방식이다.
일반적인 공동 임베딩 아키텍처가 서로 관련된 두 입력의 표현을 단순히 가깝게 만드는 데 중점을 둔다면, JEPA에는 한 입력의 표현으로 다른 입력의 표현을 예측하는 예측기가 추가된다. 이에 따라 단순한 불변 표현뿐 아니라 입력 사이의 공간적·시간적 관계도 학습할 수 있다.
다만 모든 입력이 동일한 임베딩으로 변환되는 표현 붕괴가 발생하면 손실을 쉽게 줄이면서도 의미 있는 정보를 학습하지 못할 수 있다. 이를 방지하기 위해 구현에 따라 표적 인코더의 기울기 계산을 차단하거나, 문맥 인코더 가중치의 지수 이동 평균으로 표적 인코더를 갱신하거나, 임베딩의 분산과 공분산을 유지하는 정규화 항을 사용한다.
얀 르쿤은 이러한 표현 공간의 예측을 여러 시간·공간적 규모로 계층화하면, 낮은 단계에서는 물체의 짧은 움직임을 예측하고 높은 단계에서는 장기간의 사건이나 행동 결과를 예측하는 월드 모델을 구성할 수 있다고 보았다. 다만 이와 같은 범용적 계층형 시스템은 JEPA의 장기적인 연구 구상에 해당하며, 현재 공개된 개별 모델이 이를 완전히 구현한 것은 아니다.
3. 구조
JEPA의 구체적인 구성은 모델마다 다르지만, 일반적으로 다음과 같은 구성 요소를 사용한다.- 문맥 인코더(context encoder): 관측된 입력을 표현 공간의 임베딩으로 변환한다. 이미지와 영상 계열에서는 주로 비전 트랜스포머가 사용된다.
- 표적 인코더(target encoder): 예측해야 할 영역이나 미래 상태를 정답 임베딩으로 변환한다. 학습 과정에서만 사용되거나 추론 시 제거될 수 있다.
- 예측기(predictor): 문맥 임베딩과 위치·시간·행동 등의 조건을 입력받아 표적 임베딩을 예측한다.
- 잠재 변수(latent variable): 관측된 문맥만으로 미래가 하나로 결정되지 않는 경우, 여러 가능한 결과나 불확실성을 표현하기 위해 사용될 수 있다.
- 손실 함수 또는 에너지 함수: 예측 임베딩과 실제 표적 임베딩의 불일치 정도를 측정한다.
대표적인 I-JEPA에서는 문맥 인코더와 표적 인코더에 동일한 계열의 비전 트랜스포머를 사용한다. 문맥 인코더는 가려지지 않은 이미지 패치만 처리하며, 예측기는 문맥 표현과 예측할 영역의 위치 토큰을 이용하여 여러 표적 영역의 표현을 추정한다. 표적 인코더는 원본 이미지에서 표적 영역의 실제 표현을 계산한다.
I-JEPA의 표적 인코더는 문맥 인코더로부터 직접 역전파를 받지 않으며, 문맥 인코더 가중치의 지수 이동 평균을 사용하여 갱신된다. 이러한 비대칭 구조는 두 인코더가 의미 없는 동일 표현으로 수렴하는 것을 억제한다.
생성 모델은 일반적으로 잠재 표현을 다시 픽셀이나 토큰으로 변환하는 대형 디코더를 필요로 한다. JEPA의 기본 학습 목표에는 원본 데이터를 복원하는 디코더가 필요하지 않으며, 표현 공간 안에서 학습이 끝난다. 다만 실제 이미지나 문장을 출력해야 하는 응용에서는 별도의 디코더를 연결할 수 있다. 따라서 JEPA가 원리상 출력 생성과 양립할 수 없는 것은 아니지만, 생성 자체가 핵심 학습 목표는 아니다.
월드 모델로 사용되는 JEPA는 상태의 표현뿐 아니라 행동을 조건으로 받을 수 있다. 현재 상태의 임베딩, 수행할 행동 및 목표 상태를 이용하여 미래 상태를 예측하고, 목표 표현과의 차이가 가장 작아지는 행동 순서를 탐색하는 방식이다. 이 경우 픽셀 단위로 미래 영상을 생성하지 않고도 표현 공간에서 계획을 수행할 수 있다.
4. 종류
4.1. H-JEPA
H-JEPA(Hierarchical JEPA)는 서로 다른 추상화 수준과 시간 규모에서 작동하는 JEPA를 계층적으로 결합하는 구상이다. 낮은 계층은 빠르고 국소적인 변화를, 높은 계층은 느리고 추상적인 사건과 목표를 표현한다. 얀 르쿤이 제시한 자율 지능 아키텍처의 이론적 형태에 가까우며, 특정한 단일 공개 모델의 명칭이라기보다는 장기적인 연구 방향을 의미한다.4.2. I-JEPA
I-JEPA(Image-based JEPA)는 정지 이미지를 대상으로 한 자기지도 표현 학습 모델이다. 하나의 이미지에서 넓은 문맥 영역을 관측하고, 가려진 여러 표적 블록의 표현을 예측한다.픽셀을 직접 복원하는 오토인코더 계열과 달리 의미적인 표적 표현을 예측하며, 여러 개의 증강된 이미지 뷰를 생성하는 강한 데이터 증강 없이도 학습할 수 있도록 설계되었다. 이미지 분류뿐 아니라 객체 수 추정, 깊이 추정 등 위치 정보를 요구하는 과업에서도 표현을 활용할 수 있다.
4.3. V-JEPA
V-JEPA(Video JEPA)는 I-JEPA의 원리를 영상으로 확장한 모델이다. 영상에서 일부 시공간 영역을 가리고, 관측된 프레임과 영역으로부터 가려진 영상 블록의 표현을 예측한다.초기 V-JEPA는 사전 학습된 이미지 인코더, 텍스트 설명, 픽셀 복원 및 음성 정보 없이 영상 특징 예측만으로 학습되었다. 학습된 인코더는 동작 분류와 행동 인식 등 영상 과업에 사용된다.
4.4. V-JEPA 2 계열
V-JEPA 2는 대규모 이미지와 인터넷 영상을 이용하여 물체의 움직임과 인간 행동을 학습한 영상 월드 모델이다. 영상 이해와 행동 예측에 사용되며, 대형 언어 모델과 결합하여 영상 질의응답 모델로도 활용되었다.행동 조건부 변형인 V-JEPA 2-AC는 비교적 적은 양의 로봇 조작 영상을 추가로 학습하여, 현재 이미지와 목표 이미지를 바탕으로 로봇의 행동을 계획하도록 설계되었다. 연구진은 새로운 실험 환경에서 별도의 과업별 보상 학습 없이 물체를 집고 옮기는 작업을 수행하는 사례를 공개하였다.
V-JEPA 2.1은 공간적으로 조밀한 특징과 중간 인코더 계층의 표현 학습을 강화한 후속 모델이다. 기존 모델이 장면 전체의 의미와 동작을 파악하는 데 집중하면서 세부적인 공간 정보가 상대적으로 부족할 수 있다는 문제를 보완하기 위해, 가려진 토큰뿐 아니라 관측된 토큰에도 예측 손실을 적용하고 여러 인코더 계층에서 자기지도 학습을 수행한다.
4.5. VL-JEPA
VL-JEPA(Vision-Language JEPA)는 영상과 언어를 연결하는 JEPA 계열 모델이다. 일반적인 비전 언어 모델처럼 정답 문장의 토큰을 처음부터 끝까지 자기회귀적으로 생성하는 대신, 영상으로부터 목표 문장의 연속적인 임베딩을 예측한다.필요한 경우에만 경량 텍스트 디코더가 예측된 표현을 문장으로 변환한다. 동일한 표현을 영상 분류, 영상 검색 및 시각 질의응답 등에 공통으로 활용할 수 있다는 특징이 있다.
4.6. LLM-JEPA
LLM-JEPA는 JEPA의 표현 예측 목적을 대규모 언어 모델의 사전 학습과 미세 조정에 적용하려는 연구이다. 언어 토큰 자체의 복원만을 학습하는 대신, 문장이나 추론 과정에서 추출한 표현을 예측하도록 보조 목적을 구성한다.이미지와 영상은 표면적 세부 정보를 생략한 표현 예측이 비교적 자연스럽지만, 언어에서는 단어 하나의 차이가 문장의 의미를 크게 바꿀 수 있어 적절한 예측 표적을 설계하기 어렵다. 따라서 언어용 JEPA는 시각 계열보다 초기 연구 단계에 있으며, 기존의 자기회귀 언어 모델을 전면적으로 대체하는 확립된 방식으로 보기는 어렵다.
5. 평가
5.1. 장점
- 의미 중심의 표현 학습: 관측 데이터의 모든 세부 사항을 복원하지 않고 표현 공간에서 예측하므로, 배경의 미세한 질감이나 예측 불가능한 픽셀 변화보다 사물·동작·장면의 구조와 같은 의미적인 특징에 집중할 수 있다.
- 학습 효율성: 원본 입력을 완전히 복원하는 대형 디코더가 필요하지 않으며, I-JEPA와 V-JEPA는 복수의 증강 뷰나 픽셀 재구성 없이도 학습할 수 있다. 모델과 학습 설정에 따라 생성식 복원 모델보다 적은 연산으로 유용한 표현을 얻을 가능성이 있다.
- 레이블 의존성 감소: 이미지나 영상 자체에서 문맥과 표적을 생성하여 학습하므로 대량의 사람이 작성한 정답 레이블을 요구하지 않는다. 학습된 인코더는 분류·검색·깊이 추정·행동 인식 등 여러 후속 과업에 전이할 수 있다.
- 월드 모델과의 결합 가능성: 입력 공간 전체를 생성하지 않고 잠재 공간에서 미래 상태와 행동 결과를 예측할 수 있어, 로봇 제어와 장기 계획에 필요한 계산량을 줄일 가능성이 있다.
- 다중 양식 확장성: 이미지와 영상뿐 아니라 언어, 음성, 로봇 행동 등 서로 다른 형태의 데이터를 공통된 표현 예측 문제로 구성할 수 있다.
5.2. 한계
- 직접적인 생성 능력의 부재: 기본적인 JEPA는 임베딩을 출력하므로 이미지·영상·문장을 사람이 볼 수 있는 형태로 만들려면 별도의 디코더가 필요하다. 표현 학습에는 장점이지만 콘텐츠 생성이 목적이라면 생성 모델보다 구조가 복잡해질 수 있다.
- 표현 붕괴 문제: 별도의 제약이 없으면 모든 입력을 비슷한 임베딩으로 변환하여 손실을 낮추는 현상이 발생할 수 있다. 이를 막기 위해 지수 이동 평균 인코더, 기울기 차단, 분산 정규화 등 구현별 설계가 필요하다.
- 표적 표현에 대한 의존성: 무엇을 중요한 정보로 보존할지는 표적 인코더와 마스킹 방식에 의해 결정된다. 표현이 지나치게 추상화되면 작은 물체의 위치, 문자, 질감 및 정밀한 공간 정보 등 특정 과업에 필요한 세부 사항까지 제거될 수 있다.
- 불확실성 표현의 어려움: 동일한 현재 상태에서 여러 미래가 가능할 경우 하나의 결정론적 임베딩만 예측하면 가능한 결과를 충분히 나타내지 못할 수 있다. 잠재 변수나 확률적 표현을 도입할 수 있지만 학습과 계획 과정이 복잡해진다.
- 행동 학습에는 별도의 데이터가 필요함: 관찰 영상만으로 장면과 물리적 변화를 학습할 수는 있지만, 특정 행동이 환경에 어떤 영향을 주는지 예측하려면 행동이 기록된 상호작용 데이터가 추가로 필요하다.
- 검증 범위의 한계: 현재까지 성과는 주로 이미지·영상 표현 학습과 제한된 로봇 조작 과업에서 보고되었다. 장기간의 인과관계 추론, 복잡한 개방형 환경의 계획 및 범용적인 상식 학습을 해결했다는 증거는 아직 부족하다.
- 범용 인공지능과의 구분: JEPA는 월드 모델을 학습하기 위한 구성 요소이지, 그 자체로 목표 설정·기억·추론·행동 선택을 모두 수행하는 완전한 인공 일반 지능 아키텍처는 아니다. JEPA가 인간이나 동물과 유사한 지능으로 이어질 것이라는 전망은 연구 가설에 해당한다.
종합하면 JEPA는 생성 모델과 경쟁하는 단일 모델이라기보다, 데이터의 세부 표현을 생성하는 방식과 구별되는 표현 공간 중심의 예측 학습 패러다임으로 평가할 수 있다. 이미지와 영상 분야에서는 자기지도 표현 학습의 실용적인 성과를 보였으나, 범용 월드 모델과 자율 지능이라는 장기적 목표는 아직 연구가 진행 중이다.