| <colbgcolor=#07223e><colcolor=#ffffff> SPEC Standard Performance Evaluation Corporation | |
| | |
| 설립일 | 1988년 |
| 국가 | [[미국|]][[틀:국기|]][[틀:국기|]] (비영리 단체) |
| 본부 | 버지니아주 게인즈빌 |
| 구성멤버 | 하드웨어&소프트웨어 공급자, 대학, 연구센터 |
| 링크 | www.spec.org |
[clearfix]
1. 개요
Standard Performance Evaluation Corporation[1], 즉 SPEC은 컴퓨터를 위한 표준화된 성능 벤치마크를 생산, 수립, 유지, 보증하기 위한 미국의 비영리단체이다.1988년 설립되었으며 멤버로는 Intel, AMD, NVIDIA, ARM, 아마존닷컴, Apple, 오라클, 퀄컴 등의 기업과 대학, 연구센터로 이루어진 수백 개 단체가 가입되어 있다.
이곳에서 만드는 벤치마크는 SPEC 벤치마크라 불리며 컴퓨터 시스템을 평가하는데 널리 사용된다. 컴퓨터공학과라면 수업 시간에 한 번쯤은 다루고 지나가게 되는 벤치마크이며 논문이나 기업의 공식 자료에 자주 인용되는 산업표준에 가장 가까운 벤치마크이다. 인텔, AMD, ARM이 새로운 CPU의 성능을 발표할 때도 SPEC 벤치마크 기준으로 발표하는 경우가 많다.
2. SPEC 벤치마크 제품군
SPEC 벤치마크는 클라우드, CPU, 그래픽, 워크스테이션, OpenCL, 스토리지, 파워 등 수많은 제품군을 평가하기 위해 다양한 종류로 개발되어 있다.현재 판매되고 있는 벤치마크 종류는 크게 28가지이며, 단일 CPU 성능을 평가하는 데 주로 쓰이는 SPEC CPU의 경우 라이선스 하나에 1000달러에 판매되고, 워크스테이션을 평가하기 위한 SPECworkstation의 경우 상업용 라이선스가 5000달러에 판매되고 있다.
2.1. SPEC CPU
SPEC2017과 SPEC2006은 서로 다른 시스템, 서로 다른 아키텍처, 서로 다른 마이크로아키텍처 간의 성능을 비교하는데 표준이 되는 테스트이다.CPU 설계 초기 단계엔 벤치마크 테스트를 RTL 시뮬레이션이나 ASIC 에뮬레이션을 통해 수행하는데, 일반적으로 ASIC 에뮬레이터는 현실보다 1000배 느리며 RTL 시뮬레이터는 ASIC 에뮬레이터보다 1000배 느리다. 따라서 Dhrystone이나 Coremark같은 작은 단위의 동일한 연산을 반복하여 수행하는 테스트를 주로 사용하여 성능을 검증하고, 전력 소모량을 예측한다. 하지만 Dhrystone과 Coremark가 정수연산만을 수행하고 부동소수점 연산이 포함되어 있지 않으며, 단순 연산만을 반복하기 때문에 CPU의 실제 연산 능력을 모두 표현하지 못한다는 단점이 존재했다. 따라서 SPEC은 SpecInt와 SpecFP 두가지 큰 틀 아래 각각 정수연산과 부동소수점 연산을 테스트 할 수 있도록 구성되어 있다.
SpecInt와 SpecFP는 실제 사용자가 CPU를 통해 주로 수행하는 코드컴파일과 인터프리터연산(perlbench, gcc), XML처리(xlancbmk), 비디오압축(x264), AI(deepsjeng,leela,exchange), 압축(xz), 각종 물리연산과 시뮬레이션(bwaves,cactuBSSN,namd,parest,povray,lbm,wrf 등) 같은 다양한 연산을 테스트에 반영하고 있다. 물론 Dhrystone과 Coremark에 비해 각 테스트의 연산량이 많고, 종류가 다양하기 때문에 반도체 설계 단계에서 RTL 시뮬레이션이나 ASIC 에뮬레이션으로 이를 수행하는 것에는 여전히 무리가 따르며, 이를 위해 통계학적으로 특이점만 추출해 테스트 하는 SimPoint 기법을 활용한다.
SPEC에 참여한 기업 목록에서 짐작 할 수 있겠지만, ARM과 x86 두 아키텍처 간의 비교에 사용하는데 무리가 없으며 두 진영 모두 프로세서 설계 단계에서 SPEC을 적극 활용하고 있다.
여담으로, 벤치마크를 컴파일할 때 사용한 컴파일러 종류나 플래그에 따라 결과가 달라질 수 있으므로 일관된 환경에서 컴파일된 벤치마크로 테스트하는것이 중요하다.[2]
현재 최신 버전은 SPEC2017이며 이전 버전은 SPEC2006이다.
2.1.1. SPEC2006
| SPEC2006 | |
| SPECint2006 정수 연산성능 평가 | SPECfp2006 부동소수점 연산성능 평가 |
2006년에 공개되었다.
후속 버전인 SPEC2017이 이를 대체하게 되었지만 여전히 구성이 알차고,
정수 연산을 평가하기 위한 SPECint2006과 부동소수점 연산을 평가하기 위한 SPECfp2006으로 나뉜다.
각 항목의 처리 속도를 측정한 다음 기하평균을 내 전체 점수를 도출한다.
- SPECint2006
인터프리터, 압축, 컴파일러, 조합 최적화 문제, 인공지능 바둑/체스, 양자 물리 컴퓨팅, 영상 처리, 이산 사건 시뮬레이션, 경로 최적화 알고리즘, XML 처리 등의 12가지 항목을 통해 정수 성능을 평가한다.
2.1.1.1. 아난드텍 SPEC2006 결과
마이크로아키텍처별 벤치마크 결과이다. 아키텍처 규모가 클수록 클럭당 처리성능이 높은 경향을 보인다.[5]| 밴더 | 마이크로프로세서 | 테스트 CPU | 동작클럭 | SPECint | SPECfp | SPECint @1GHz | SPECfp @1GHz | 출처 |
| Apple | Firestorm | M1 | 3.2 | 69.4 | 104.1 | <colcolor=#3D99AA>21.68 | <colcolor=#3D99AA>32.53 | 출처 |
| Apple | Firestorm | A14 | 2.99 | 63.34 | 88.64 | 21.18 | 29.64 | 출처 |
| Apple | Lightning | A13 | 2.65 | 52.82 | 70.28 | 20.18 | 26.52 | 출처 |
| Apple | Vortex | A12 | 2.49 | 45.32 | 54.84 | 18.2 | 22.02 | 출처 |
| Apple | Monsoon | A11 | 2.38 | 36.8 | 42.59 | 15.46 | 17.89 | 출처 |
| Qualcomm | Kyro 680 Prime | Snapdragon 888 | 2.84 | 41.3 | 59.29 | 14.54 | 20.87 | 출처 |
| AMD | Vermeer | 5950X | 4.9 | 68.53 | 94.08 | 13.98 | 19.2 | 출처 |
| Samsung | Cortex-X1 | Exynos 2100 | 2.91 | 39.28 | 58.34 | 13.49 | 20.04 | 출처 |
| Samsung | Cortex-A78 | Exynos 2100 | 2.81 | 36.03 | 51.88 | 12.82 | 18.46 | 출처 |
| Qualcomm | Kyro 680 Gold | Snapdragon 888 | 2.43 | 30.32 | 43.65 | 12.47 | 17.96 | 출처 |
| Intel | Ice Lake | i7-1065G7 | 3.9 | 47.7 | 66.5 | 12.31 | 17.16 | 출처 |
| Huawei | Cortex-A77 | Kirin 9000 | 3.13 | 37.77 | 50.94 | 12.06 | 16.27 | 출처 |
| Amazon | Neoverse N1 | Amazon Graviton2 | 2.49 | 29.99 | 38.78 | 12.04 | 15.57 | 출처 |
| Qualcomm | Kryo 585 Gold | Snapdragon 865 | 2.43 | 28.9 | 40.05 | 11.89 | 16.48 | 출처 |
| Qualcomm | Kryo 585 Prime | Snapdragon 865 | 2.84 | 33.35 | 45.88 | 11.74 | 16.15 | 출처 |
| Intel | Tiger Lake | i7-1185G7 | 4.8 | 55.28 | 72.42 | 11.51 | 15.08 | 출처 |
| Qualcomm | Kryo 585 Prime | Snapdragon 865+ | 3.09 | 36.15 | 49.36 | 11.5 | 15.57 | 출처 |
| Intel | Ice Lake | i7-1065G7 | 3.9 | 44.77 | 66.5 | 11.47 | 17.05 | 출처 |
| Samsung | M5 | Exynos 990 | 2.73 | 30.9 | 46.62 | 11.31 | 17.07 | 출처 |
| Intel | Comet Lake | i9-10900K | 5.3 | 58.58 | 75.11 | 11.05 | 14.17 | 출처 |
| Apple | Icestorm | A14 | 1.82 | 20.03 | 18.4 | 11 | 10.1 | 출처 |
| Intel | Coffee Lake | i9-9900K | 5 | 54.28 | 75.15 | 10.86 | 15.03 | 출처 |
| AMD | Matisse | 3900X | 4.6 | 49.02 | 73.66 | 10.66 | 16.01 | 출처 |
| AMD | Matisse | 3950X | 4.7 | 50.1 | 72.7 | 10.65 | 15.46 | 출처 |
| Intel | Coffee Lake | i3-8100B | 3.6 | 37.5 | 46.53 | 10.41 | 12.92 | 출처 |
| Huawei | Cortex-A76 | Kirin 980 | 2.6 | 25.74 | 33.97 | 9.9 | 13.06 | 출처 |
| Samsung | M4 | Exynos 9820 | 2.7 | 26.3 | 34.24 | 9.74 | 12.68 | 출처 |
| Huawei | Cortex-A76 | Kirin 990 | 2.86 | 27.68 | 38.72 | 9.67 | 13.53 | 출처 |
| Intel | Sky Lake | i5-6267U | 3.3 | 31.5 | 37.45 | 9.54 | 11.34 | 출처 |
| Qualcomm | Cortex-A76 | Snapdragon 855 | 2.84 | 26.65 | 36.87 | 9.38 | 12.98 | 출처 |
| Intel | Kaby lake R | i7-8550U | 4 | 36.9 | 49.59 | 9.23 | 12.4 | 출처 |
| Qualcomm | Cortex-A76 | Snapdragon 855 | 2.43 | 22.41 | 31.93 | 9.22 | 13.13 | 출처 |
| Samsung | M3 | Exynos 9810 | 2.3 | 20.79 | 26.13 | 9.03 | 11.36 | 출처 |
| AMD | Pinnacle Ridge | 2700X | 4.35 | 39.1 | 55.67 | 8.98 | 12.79 | 출처 |
| Samsung | M3 | Exynos 9810 | 2.7 | 23.76 | 29.81 | 8.8 | 11.04 | 출처 |
| Apple | Thunder | A13 | 1.73 | 14.83 | 13.44 | 8.57 | 7.76 | 출처 |
| Apple | Tempest | A12 | 1.54 | 12.07 | 12.25 | 7.83 | 7.95 | 출처 |
| Apple | Mistral | A11 | 1.69 | 11.98 | 10.87 | 7.08 | 6.43 | 출처 |
| Samsung | Cortex-A75 | Exynos 9820 | 2.3 | 15.61 | 20.5 | 6.78 | 8.91 | 출처 |
| Qualcomm | Cortex-A75 | Snapdragon 845 | 2.8 | 17.69 | 22.93 | 6.31 | 8.18 | 출처 |
| Qualcomm | Cortex-A73 | Snapdragon 835 | 2.45 | 13.59 | 16.63 | 5.54 | 6.78 | 출처 |
| Qualcomm | Cortex-A55 | Snapdragon 855 | 1.8 | 5.42 | 5.56 | 3.01 | 3.08 | 출처 |
| Samsung | Cortex-A55 | Exynos 9820 | 1.95 | 5.08 | 5.16 | 2.6 | 2.64 | 출처 |
2.1.2. SPEC2017
| <colbgcolor=#a6b1b7,#505050> | SPEC2017 | |
| <rowcolor=#000000,#e5e5e5> SPECint2017 정수 연산성능 평가 | SPECfp2017 부동소수점 연산성능 평가 | |
| <colcolor=#000000,#e5e5e5> 정해진 시간동안 처리하는 연산량 평가 | SPECrate2017 Integer | SPECrate2017 Floadting Point |
| 정해진 연산량을 처리하는 속도 평가 | SPECspeed2017 Integer | SPECspeed2017 Floadting Point |
2017년에 공개된 SPEC CPU 벤치마크의 최신 버전이다.
정수와 부동소수점 연산이 SPECrate와 SPECspeed로 나뉜다.
- SPECint2017
인터프리터, 컴파일러, 영상처리, 인공지능, 데이터 압축 등 10개의 항목을 거쳐 정수 처리 성능을 평가한다.
- SPECfp2017
폭발, 날씨, 대기, 해양 시뮬레이션 모델 구동, 상대성 이론, 분자역학, 레이 트레이싱, 유체역학, 의생명 영상공학등 14가지 항목을 거쳐 부동소수점 성능을 평가한다.
2.1.2.1. 아난드텍 SPECrate2017 결과
마이크로아키텍처별 벤치마크 결과이다. 캐시나 아키텍처 규모가 클 수록 클럭당 처리 성능이 높은 경향을 보인다.| 밴더 | 마이크로프로세서 | 테스트 CPU | 동작클럭 | SPECint | SPECfp | SPECint @1GHz | SPECfp @1GHz | 출처 |
| Apple | Firestorm | M1 | 3.2 | 7.14 | 12.54 | <colcolor=#3D99AA>2.23 | <colcolor=#3D99AA>3.91 | 출처 |
| Intel | Ice Lake SP | Xeon 8380 | 3.4 | 5.73 | 8.65 | 1.68 | 2.54 | 출처 |
| Ampere | Neoverse N1 | Altra Q80-33(monolithic) | 3.3 | 5.2 | 6.12 | 1.57 | 1.85 | 출처 |
| AMD | Vermeer | 5950X | 4.9 | 7.65 | 12.19 | 1.51 | 2.41 | 출처 |
| Intel | Tiger Lake | i9-11980HK(45W) | 5 | 6.91 | 11.13 | 1.38 | 2.22 | 출처 |
| Amazon | Neoverse N1 | Graviton2 | 2.49 | 3.36 | 5.3 | 1.34 | 2.12 | 출처 |
| Intel | Cascade Lake | Xeon 8280 | 4 | 5.39 | 7.54 | 1.34 | 1.88 | 출처 |
| Intel | Tiger Lake | i7-1185G7 (28W) | 4.8 | 6.42 | 10.75 | 1.33 | 2.23 | 출처 |
| Intel | Ice Lake | i7-1065G7(15W) | 3.9 | 5.16 | 9.11 | 1.32 | 2.33 | 출처 |
| AMD | Matisse | 3950X | 4.7 | 5.78 | 9.72 | 1.26 | 2.09 | 출처 |
| AMD | Matisse | 3900X | 4.6 | 5.77 | 9.56 | 1.25 | 2.07 | 출처 |
| Intel | Comet Lake | i9-10900K | 5.3 | 6.34 | 10.12 | 1.19 | 1.91 | 출처 |
| Intel | Coffee Lake | i9-9900K | 5 | 5.95 | 9.59 | 1.19 | 1.92 | 출처 |
| AMD | Renoir | 4900HS (35W) | 4.3 | 5.01 | 8.38 | 1.16 | 1.94 | 출처 |
| AMD | Renoir | 4800U (15W) | 4.2 | 4.56 | 7.79 | 1.08 | 1.85 | 출처 |
| AMD | Pinnacle Ridge | 2700X | 4.35 | 4.64 | 7.81 | 1.07 | 1.81 | 출처 |
| Intel | Coffee Lake | i3-8100B | 3.6 | 3.85 | 5.35 | 1.06 | 1.48 | 출처 |
| Intel | Kaby lake R | i7-8550U | 4 | 4.16 | 6.54 | 1.04 | 1.63 | 출처 |
| Intel | Sky Lake | i5-6267U | 3.3 | 3.27 | 4.81 | 0.99 | 1.45 | 출처 |