| <bgcolor=#fff> Neural Information Processing Systems NeurlPS | ||
| <colbgcolor=#634687><colcolor=#fff> 창설 | 1987년 12월 | |
| 개최 주기 | 연간 | |
| 분야 | 인공지능 | |
| 학술대회지 정보 | ||
| 출판사 | 신경정보처리학술대회 | |
| ISO-4 | Adv. Neural Inf. Process. Syst. | |
| 링크 | ||
1. 개요
Neural Information Processing Systems 또는 NeurIPS는 기계학습, 인공지능, 통계학, 계산신경과학 등 신경정보처리 및 학습 이론 관련 연구를 다루는 국제 학술대회이다. 1987년에 처음 개최되었으며, 매년 말 본회의와 워크숍을 포함한 형태로 열린다.초기에는 생물학적 신경계와 인공 신경망을 함께 다루는 학제적 성격이 강했으나, 시간이 흐르면서 기계학습, 딥러닝, 강화학습, 생성형 인공지능, 거대 언어 모델 등 현대 인공지능 연구의 핵심 주제를 다루는 대표 학회로 자리 잡았다. 원래 약칭은 NIPS였으나, 해당 약칭이 부적절한 의미로 해석될 수 있다는 비판이 제기되면서 2018년을 전후해 NeurIPS라는 약칭이 사용되기 시작했다.
2. 특징
공학 분야는 학술대회가 학계에 미치는 영향이 학술지와 필적한데, NeurIPS는 ICML, ICLR 함께 인공지능 분야의 최상위 학회로써 관련 학계에서의 파급력이 상당하다. 특히 기계학습 이론, 딥러닝, 강화학습, 생성 모델, AI 정렬 및 안전성 분야에서 영향력이 크다.최근에는 산업계의 참여도 크게 증가하여, 대학 연구자뿐 아니라 구글 딥마인드, OpenAI, 메타, 마이크로소프트, 엔비디아 등 주요 AI 기업 연구진의 논문도 다수 발표된다. 2023년 NeurIPS Fact Sheet에 따르면 NeurIPS 2023에는 9,634편의 정규 논문이 제출되었고, 이 중 2,905편이 채택되어 약 20%의 채택률을 보였다.
3. 영향
NeurIPS의 영향력은 단순히 논문 인용 수에만 그치지 않는다. AlexNet 이후 딥러닝 기반 컴퓨터 비전 연구가 급격히 확산되었고, Transformer 이후에는 자연어 처리뿐 아니라 비전, 음성, 강화학습, 멀티모달 모델 전반에 attention 기반 구조가 사용되기 시작했다. 2020년대 이후에는 GPT-3, InstructGPT, DPO, QLoRA 등 거대 언어 모델 및 생성형 AI 관련 연구들이 발표되며, NeurIPS는 현대 AI 연구의 방향을 이끄는 대표적 학회로 기능하고 있다.4. 주요 연구
1987년부터 매년 12월에 개최되는 신경정보처리학술대회(Conference on Neural Information Processing Systems)에서 발표된 연구들을 선집으로 집필하여 출판된다.다음과 같은 유명한 연구들이 NeurlPS에서 발표되었다.
| <rowcolor=#fff> 연도 | 회차 | 논문 / 모델 | 저자 | 간단한 설명 |
| 1989 | 제3회 | Handwritten Digit Recognition with a Back-Propagation Network | 얀 르쿤(Yann LeCun) 외 | 손글씨 숫자 인식에 역전파 기반 신경망을 적용한 초기 CNN 계열 연구 |
| 2012 | 제25회 | ImageNet Classification with Deep Convolutional Neural Networks / AlexNet | 알렉스 크리제브스키, 일리야 수츠케버, 제프리 힌턴 | 이미지 분류에서 심층 CNN의 압도적 성능을 보여준 논문 |
| 2014 | 제27회 | GAN[1] | Ian Goodfellow 외 | 생성자와 판별자가 경쟁하는 적대적 학습 구조를 제안 (현대적 생성 모델 연구의 시초) |
| 2017 | 제30회 | 어텐션 신경망[2] | Ashish Vaswani 외 | 생성형 모델, 대규모 언어 모델의 시대를 연 기념비적인 논문 |
| 2017 | 제30회 | RLHF[3] | Paul Christiano 외 | 사람이 선호하는 행동을 기준으로 보상 함수를 학습하는 방법을 제시 (RLHF의 시초) |
| 2018 | 제32회 | Neural Ordinary Differential Equations | Tian Qi Chen 외 | 신경망의 층을 연속적인 미분방정식의 흐름으로 해석한 연구 |
| 2020 | 제34회 | Language Models are Few-Shot Learners / GPT-3 | Tom Brown 외 | 프롬프트 엔지니어링의 시초 |
| 2020 | 제34회 | Diffusion Model[4] | Jonathan Ho 외 | 노이즈를 점진적으로 제거하는 방식의 디퓨전 모델 제시. (생성형 이미지 붐의 시작) |
| 2020 | 제34회 | Conservative Q-Learning for Offline Reinforcement Learning / CQL | Aviral Kumar 외 | 기존 데이터만으로 강화학습을 수행하는 offline RL에서 가치 과대평가 문제를 줄이기 위한 보수적 Q-learning 방법을 제안 |
| 2021 | 제35회 | Decision Transformer | Lili Chen 외 | 강화학습 문제를 보상-상태-행동의 문제로 바꾸어 Transformer로 해결하는 접근을 제시 |
| 2022 | 제36회 | Training Language Models to Follow Instructions with Human Feedback / InstructGPT | Long Ouyang 외 | 인간 피드백을 이용해 언어 모델을 사용자 의도에 맞게 조정하는 연구. ChatGPT 계열의 중요한 선행 연구 |
| 2023 | 제37회 | QLoRA: Efficient Finetuning of Quantized LLMs | Tim Dettmers 외 | 4비트 양자화와 LoRA를 결합해 대형 언어 모델을 적은 GPU 메모리로 미세조정할 수 있게 한 연구. (오픈소스 LLM 생태계에 막대한 영향) |
[1] Generative Adversarial Nets / GAN[2] Attention Is All You Need / Transformer[3] Deep Reinforcement Learning from Human Preferences[4] Denoising Diffusion Probabilistic Models / DDPM