| Qwen | |
| | |
| <colbgcolor=#ddd,#000> 분류 | 소형 언어 모델 |
| 개발사 | 알리바바 클라우드 |
| 출시일 | Qwen-1 2023년 8월 3일Qwen-1.5 2024년 2월 4일Qwen-2 2024년 6월 7일Qwen-2.5 2024년 9월 19일Qwen-3 2025년 4월 29일 |
| 버전 | 3 |
| 링크 | |
1. 개요
Qwen은 알리바바 클라우드의 오픈 소스 언어 모델이다. 이름은 千问에서 유래했다고 한다.2025년 4월 25일 드디어 앱을 출시했다. # 다만, 한국과 독일을 비롯한 많은 곳에서는 지역 문제로 다운로드가 불가하나 추후 가능해질 것이라고 한다.
2. 제품
2.1. Qwen-1
1.8B, 7B, 14B, 72B 4가지 크기의 모델로 출시되었다. 2023년 8월 3일에 7B가, 9월 25일에 14B가, 11월 30일에 1.8B와 72B가 출시되었다. GPT-3.5와 GPT-4에 근접하는 성능을 보여준다는 자체적인 평가 데이터가 공개되었다.2024년 1월 25일에 영상 분석 특화 모델인 Qwen-VL이 공개되었다.
2.2. Qwen-1.5
2024년 2월 4일에 공개되었으며, 0.5B, 1.8B, 4B, 7B, 14B, 72B 6가지 모델로 출시되었다. GPT-3.5 대비 언어를 이해하는 능력이 월등하다는 평가 데이터가 공개되었다. 2024년 4월 2일에 32B가, 4월 25일에 110B 모델이 추가로 공개되었다.2024년 4월 16일에 Qwen-1.5를 기반으로 한 CodeQwen1.5을 공개했다.
2024년 5월 11일에 Qwen-1.5-110B을 파인-튜닝한 Qwen-Max-0428을 공개했다.
2.3. Qwen-2
2024년 6월 7일에 공개되었으며, 0.5B, 1.5B, 7B, 57B-A14B, 72B 5가지 모델로 출시되었다. 72B 모델의 경우, 벤치마크에서 Llama 3 70B, Mixtral 8x22B와 Qwen 1.5-110B 모델을 완전히 제압하는 성능을 과시했다.2024년 8월 8일에 Qwen2를 기반으로 한 수학 특화 모델인 Qwen2-Math[2] 모델과 음성 분석 특화 모델인 Qwen2-Audio[3] 모델을 발표했다.
2024년 8월 29일에 Qwen2를 기반으로 한 이미지 분석 특화 모델인 Qwen2-VL[4] 모델을 발표했다. GPT-4o-0513과 Claude 3.5-Sonnet을 압도적으로 앞서는 성능을 보여줬다.#
2.4. Qwen-2.5
2024년 9월 19일에 Qwen2보다 개선된 2.5 모델을 발표했다. 0.5B, 1.5B, 3B, 7B, 14B, 32B, 72B 7가지의 모델로 구성되어 있으며, 이 중 3B와 72B를 제외하고 나머지 모델들은 모두 Apache 2.0 라이센스가 적용되었다. 수학 특화 모델인 Qwen2.5-Math[5] 모델 또한 공개되었다.2024년 11월 12일에는 코딩 특화 모델인 Qwen2.5-Coder[6] 모델을 발표했다.
2025년 1월 26일에 Qwen2.5-VL[7] 모델을 발표했다.
기존 2.0-VL 모델 대비 큰폭의 성능 향상이 돋보인다.
2025년 1월 27일에 대화 토큰을 1M까지 가능하게 발전시킨 Qwen2.5-1M[8]을 공개했다.
2025년 1월 28일에 Qwen2.5-Max 모델을 공개했다.
모든 밴치마크 영역에서 DeepSeek-V3를 뛰어넘은것으로 평가되었으며, 100B 크기의 모델인것으로 밝혀졌다.
알리클라우드에서 API로 호출해 사용이 가능하며, 주기적으로 롤링 모드 업데이트를 한다고 밝혔다.
2025년 2월 25일에 Qwen2.5-Max의 오픈소스 출시가 임박했다고 공지가 나왔다.#
2025년 3월 24일에 Qwen2.5-VL-32B가 공개됐다. 기존 2.5-VL 모델에 추가 학습과 지속적인 최적화를 한 끝에 32B 모델을 만들어 냈으며, 2-VL-72B 모델과 거의 동급의 성능을 보여주고 있다.
2025년 3월 27일에 Qwen2.5-Omni[9]가 공개됐다. 텍스트, 이미지, 오디오, 비디오를 모두 인식 하고, 매우 빠른 속도의 텍스트나 음성 합성으로 응답을 할 수 있는 멀티-모달 모델이다.
2025년 5월 1일에 Qwen2.5-Omni의 3B 버전이 공개되었다. 기존 7B 버전 대비 VRAM 사용률을 50% 절감하는데 성공, 7B모델 대비 90% 수준의 성능을 유지하는데 성공했다고 한다. 그 결과, 24GB정도의 GPU에서 30초이상의 오디오-비디오 상호작용을 지원할 수 있게 됐다고 한다.
2.5. Qwen-3
2025년 4월 29일, Qwen3가 modelscope과 Huggingface에서 공개되었다. 동시에, 블로그에도 소개글이 같이 올라왔다.0.6, 1.7, 4, 8, 14, 32B 일반모델 6가지와 30B-A3B, 235B-A22B의 MoE 모델 2가지로 구성되어 있다.
참고로, 0.6, 1.7, 4, 8, 14B모델은 32B 모델에서, 30B-A3B는 235B-A22B에서 증류시켜 만든 소형화 모델이다고 한다.
가장 큰 235B 모델은, 벤치마크에서 OpenAI o1, o3-mini-medium, DeepSeek R1, Grok 3-Thinking, Gemini 2.5 Pro를 모조리 이겨버리는 괴물같은 성능을 보여줬다.
이보다 작은 30B-A3B 모델은, gemma3, Deepseek-v3, GPT-4o(24-11-20)을 매우 높은 격차로 이겨버리는 성능을 보여줬다.
모든 Qwen3 모델은 119가지의 언어와 방언을 학습해 글로벌하게 사용할 수 있다. 코딩, 에이전트 기능에 모델들을 최적화 했으며, MCP 지원도 가능해졌다. 거기다 이 모든 모델에 Apache 2.0 라이센스를 적용해 광범위한 사용을 허락했다!
2.6. QwQ
Qwen with Questions. AI의 추론 능력에 집중한 특화 모델이다. 비교하자면 OpenAI o시리즈, Deepseek-R 시리즈가 있다.2.6.1. QwQ-Max
Qwen 2.5-Max를 기반으로 개발된 모델이며, 수학, 코딩 및 일반 영역 작업에서 탁월한 성능을 발휘하는 동시에 에이전트 관련 워크플로우에서 뛰어난 성능을 제공한다고 한다.조만간 Qwen 2.5-Max와 함께 Apache 2.0 라이센스로 오픈소스 공개를 진행할 예정이다.
2.6.2. QwQ-32B
확장 강화 학습을 적용해 훨씬 작은 모델[10]로 DeepSeek-R1[11]과 동일한 성능이 나오도록 만든 모델이다.에이전트 관련 기능을 모델이 사용 가능하도록 통합해 도구를 활용하며 비판적으로 사고하고 환경 피드백에 따라 추론을 조정할 수 있다고 한다.
Apache 2.0 라이센스로 오픈소스 공개가 이뤄졌다.
공개된 벤치마크 데이터에 의하면, DeepSeek-R1와 동일한 성능이며, OpenAI-o1-mini보다 압도적인 성능을 보여주고 있다.
| |
| QwQ-32B 모델 벤치마크 |