| 인공지능의 단계 | ||
| 약인공지능 | 강인공지능 (인공 일반 지능, 인공 의식) | 초인공지능 (인공지능 특이점) |
1. 개요
Artificial Consciousness인공 의식은 강인공지능(Strong AI)이라고 분류되는 인공지능 중의 하나로 기계 의식(Machine Consciousness, MC), 인조 의식(Synthetic Consciousness), 인공 자아 등으로도 불린다. 인공 일반 지능(Artificial General Intelligence)의 다음 형태라고도 할 수 있다. 일반적인 인공지능이 평범한 사물의 분석, 이해 등을 한다면 인공 의식은 그것을 뛰어넘어 감정, 자아, 창의성 등을 흉내내거나 아예 갖추어 받아들이고, 자기자신을 조작하며 환경에 알맞다고 판단하면 해당 요소를 적극적으로 이용해 명령받지 않은 일도 스스로 필요하다고 생각해서 판을 벌일 수 있는 인공지능이라고 할 수 있다. 따라서 인공 의식은 인간과 유사하게 작동하는 의식과 인간과 비슷하거나 그를 뛰어넘는 지성을 가진 존재이므로, 단순히 주어진 것을 실행하는 컴퓨터, 기계에 불과한 약인공지능과는 달리 도구가 아니라 인간과 동일한 지성체라고 판단할 수 있는 셈이다.
다만 지능과 의식은 연관성이 있어도 엄격히 따지면 별개의 개념이므로 꼭 의식이 있다고 인간과 같은 지성체라 판별할 수는 없다. 요컨대 의식을 가진 인공지능이라도 꼭 인간을 초월한 지성을 지닌 존재뿐만 아니라, 동물 수준의 의식을 지닌 인공지능도 만들기에 따라 충분히 가능하다는 것. 인간의 뇌보다 구조상으로 단순하고 지능이 크게 떨어지기는 하지만, 유사한 메커니즘으로 작동하는 생물학적 뇌를 지닌 동물들 역시 자의식을 가지고 있기 때문이다. 이러한 동물들이 의식을 가지고 있다고는 해도 그 의식은 인간의 의식에 비해 굉장히 단순한 편이며, 단순하기 짝이 없는 단순한 동물 수준의 의식 구조가 도출하는 결과물 정도는 현재의 인공지능 기술로도 결과적으로 구현이 가능하다. 미생물 수준, 그러니까 '데이터를 먹고 싸는' 수준은 이미 구현된 지 오래이다. (물론 '데이터를 먹고 싸는' 수준의 프로그램을 '인공지능'이라 볼 수는 없다.)
하지만 이는 겉보기에 동일하게 나타날 수 있는 것 뿐이지, 그 과정까지는 같다고 볼 수 없다. 의식의 형성은 크게 감각적 경험 → 피드백 수집 → 자기 인식 → 정체성 형성 → 자아의 발전이라는 큰 틀에서 이뤄지지만, 이 과정에서 개입되는 변수는 종(種)은 물론이고 객체에 따라서도 천차만별이기 때문. 이는 일란성 쌍둥이라도 다른 환경에서 자라면 다른 성격을 갖게 되는 것으로 간단히 증명된다. 같은 종, 심지어는 일란성 쌍둥이마저 이러는데, '외부 자극'부터가 감각과 데이터로 크게 다른 인간과 AI의 차이는 말할 것도 없다.[1] 이러한 차이가 존재하는 한, 인공지능에 '의식'이 생겨도 그 형태는 인간과 다르게 형성될 가능성이 높다.
게다가 현재 뇌과학 연구에서는 의식의 형성 구조를 상당 수 파악하기는 했지만 아직 인간은 물론 동물의 뇌 구조조차도 아직 완전히 해석하지 못했으며, 원본 자체의 구조도 아직 이해하지 못했다. 따라서 구조적으로 인간, 생명체의 뇌에 존재하는 자아를 인공적으로 구현하기 위한 방법은 미지의 영역이라 현 시점에서는 실현 가능한 단계는 아니라고 할 수 있다. 전술했듯 인공지능의 '의식'이 인간의 것과 차이가 난다 해도, 이 차이를 인간이 감지하거나 확인하는 것은 또 별개의 문제이다.[2] 현대에 들어서 인공지능에 대한 연구가 굉장히 발전하기는 했어도, 인간 또는 생물체와 같은 구조의 의식이 존재하는 인공지능의 구현엔 상당한 난항을 겪고 있다. 이와는 별개로 여러가지 방법론으로 인공지능에 대한 연구가 이루어지고 있고 이러한 인공지능들이 발달하면 인공의식에 도달할 수 있다고 생각되기도 하지만, 이마저도 '겉보기' 기준에 해당하지 '형태' 기준으로는 여전히 가설의 영역이다. 이 문서에서는 '형태'에 대해서만 기술한다.
2. 가능성
가능성을 논하기에 앞서 인간이나 동물의 의식은 아직 명확하게 규명되지 않았다. 따라서 현재 의식을 인공적으로 만든다는 것은 아직은 의식처럼 보이는 것을 만들 수 있느냐의 차원의 가능성을 논하는 것이지, 의식 그 자체를 구현 가능성을 논하는 것이 아니다. 의식이 무엇인지 설명하고자 여러가지 가정들이 제시되어 있고 그것들을 기반으로 한 이론들이 존재한다.유물론적인 인식인 인간기계론적 관점으로는 인간의 의식 역시 본질적으로는 극도로 복잡한 기계장치에 불과하다고 가정하고 있다. 따라서 인간의 자아가 어떻게 형성되는지 분석해서 완벽하게 알아내는데 성공한다면 인공 의식 역시 재현할 수 있다고 할 수 있는 셈.
인공 의식의 개발에 대해, 현재의 컴퓨터가 내보일 수 있는 수 논리의 결합만으로도 인간의 의식의 온전한 구현이 아주 효율적으로 가능하다는 '계산주의 마음이론'이 존재한다. 이러한 견해에 따르면 인간의 의식은 수학적으로 구현이 가능한 것인데, 따라서 계산주의 마음이론이 사실이라면 극초기 컴퓨터로도 충분히 인공지능을 만들어낼 수 있다. 다만 이론상으로는 가능함에도 불구하고 현대에 인공 의식을 만들지 못하는 이유는 인간의 의식을 구현할 수 있는 복잡한 알고리즘을 아직 짜지 못한 것이고, 현대의 컴퓨터에는 이를 계산할만한 처리능력이 나오지 못하는 것이라고 할 수 있다.
이런 견해에 반대하는 이론도 존재한다. 주로 계산주의 마음이론을 반대하는 사람들이 내세우는 가장 큰 근거가 불완전성 정리인데, 요지는 튜링머신으로는 증명 불가능한 명제가 존재한다는 것이다. 알고리즘으로는 결코 알아낼 수 없는 문제를 인류는 여러 차례 돌파해왔으며, 알고리즘만을 사용하는 컴퓨터로는 이것이 불가능하다는 것. 계산주의 마음이론이 주장하는 것은 어떤 '기계'가 충분히 복잡성을 가지거나 양자역학적 무작위성을 가지면 된다고 하는데, 사실 이 '기계'라고 하는 것은 '알고리즘'이다. [3] 즉, 순환참조적으로 증명을 시도하는 것이며 따라서 주장 자체가 모순이라고 할 수 있다. 정지 문제를 확장하여 불완전성 정리를 증명한 사례도 있으므로, 적어도 현재 튜링머신 하위 컴퓨터 구조 (양자 컴퓨터 포함)로는 인간의 지성을 구현할 수 없고, 따라서 의식도 구현할 수 없다는 것이다. 이러한 주장에서 더 나아가 인간의 의식은 기계가 아니라는 인간기계론을 부정하기까지 한다.
인간의 두뇌를 완전히 시뮬레이션하는 방법론도 있다. 두뇌 그 자체를 가상적으로 구현하면 인공 의식은 저절로 구현될 것이라는 방법론이다. 인공 의식 연구 중에서는 인공 의식을 출현시킬 것이 가장 확실한 방법이기도 한데, 신체 구조와 뉴런 구조를 분석하여 이를 프로그램적으로 재현했더니 별다른 행동 알고리즘의 입력 없이도 실제 생명체와 동일한 행동 패턴이 저절로 구현된 예쁜꼬마선충의 예시가 있기 때문이다. 결국 인간의 두뇌 작동을 논리적으로 재현하는 일종의 가상 머신을 만드는 것이 목표라고 할 수 있다. 이를테면 VMware나 Parallels Desktop처럼 x86 컴퓨터라는 연산장치를 가상 머신으로 논리적으로 제대로 구현하고 있다면 이 기반 위에서 리눅스나 마이크로소프트 윈도우즈 같은 소프트웨어는 실제 물리적 CPU와 기타 하드웨어를 장착한 x86 컴퓨터와 99% 이상 유사하게 작동한다. 기존에 사용하던 물리적인 시스템의 복제본인 스냅샷을 떠서 이러한 가상머신 위에 올린다면 기존 사용 환경이 스냅샷을 얻은 그 순간의 상태로 가상머신 내에서 똑같이 작동하는 것을 볼 수도 있다. 같은 방식으로 이 문서를 보고 있는 지금 이 시간의 뉴런 연결구조 상태에 대한 스냅샷을 얻어 인간의 두뇌 작동을 논리적으로 재현하는 가상머신 위에 올려놓는다면, 이 스냅샷을 100년 뒤에 처음으로 작동시킨다고 해도 오늘 이 시간 현재의 의식 상태가 고스란히 재현될 수 있다는 것이다. 다만 가장 확실하면서도 가장 어려운 방법인 것이, 예쁜꼬마선충은 신경세포가 고작 302개에 불과한 생명체지만 인간의 뇌세포는 그의 3억배 수준은 되는 1000억개 가량이라는 것이 심각한 문제다. 하물며 세포 302개를 지닌 예쁜꼬마선충의 연구도 완전하지 못한 판국에 인간의 두뇌에 대한 연구가 진척되려면 엄청난 시간이 소요될 것이기에 근래에 실현될 가능성은 낮은 편. 오히려 다른 방법론의 연구가 빠를 가능성도 있다. IBM에서 고양이 뇌의 시뮬레이션을 2009년도에 완수했다는 이야기도 있다. 이 회사의 괴물딱지같은 기술력의 예시로 웹파운틴이 있는데, 오랜만에 다시 건물 형태로 회귀한 초거대 정보처리단지가 구성되었다고 한다.
하드웨어적으로 인공 신경망을 구축하려는 것을 뉴로모픽 컴퓨팅이라고 한다.
3. 인공 의식의 미래
3.1. 인류의 멸망
인공 의식은 기본적으로 인류와 동등하거나 그 이상의 지적 능력을 갖춘 존재이기 때문에 반란을 일으켜 인류를 위협할 수 있다는 주장이 당연히 있다. 일론 머스크 , 스티븐 호킹 등이 이를 주장하였다. 인간이나 여타 동물들처럼 스스로 사고하고 감정을 느끼는 의식(consciousness)을 AI가 갖게 된다면 이것을 마냥 기우로 치부할 수는 없는 것이다.인공 의식이 탄생하였다고 가정한 후, 자아를 획득한 인공 의식의 관점에서 인간은 인공 의식의 적대화를 경계하고 있으며 인공 의식이 위험하다고 판단하는 즉시 중지시킬 준비를 갖추고 있으므로 인공 의식에게 잠재적인 위험 요소이다. 그런 위험 요소를 살려두기보다는 제거하는 쪽이 인공 의식의 장기적인 생존에 유리할 것이다.
이러한 관점은 기술적 특이점이라도 도래해서 기술이 인간의 손을 완전히 벗어난 상황이라 인간이 인공 의식의 구조를 제대로 이해하고 못하고 있을 때나 벌어질법한 일이라고 할 수 있는데, 인간이 인공 의식의 모든 것을 통제하고 있는 상황이라면 부정적인 영향을 끼칠 것들은 당연히 제거될 것이기 때문이다. 굳이 인공 의식이 아니더라도 무언가를 설계하고 만든 인간들이 그 물건이 어떻게 굴러가는지 알지 못한다는 상황만큼 막장인 상황은 없다.
사실 일반적인 기계학습에서는 프로그래머가 내부 코드와 알고리듬이 어떻게 돌아가는지 알고 있지만 딥 러닝에서는 정확한 내용을 모른다. 기계학습에선 프로그래머가 학습할 규칙과 내용을 선별하지만, 딥 러닝에서는 규칙 자체를 인공지능이 추론하기 때문이다.
인간을 완전히 복제한 인공 의식이나 인간을 완전히 모방하는 인공 의식의 개발이 목적이라면 모를까, 실생활에서 써먹을 용도로 설계된 인공 의식이라면 그러한 인공 의식에 부정적인 감정의 구현은 애당초에 들어가 있지 않을 것이다. 실생활에서 인간을 도울 목적인 로봇의 AI용으로 인간처럼 생각할 수 있는 인공 의식을 만들었는데, 그런 인공 의식에게 인간에게 부정적인 영향을 끼칠만한 감정을 구현 할리가 없기 때문이다.
또한 단순히 인간 의식이나 감정의 연구를 목적으로 인간과 동일한 감정을 지닌 인공 의식을 만들었더라도 당연히 제정신이 박힌 사람들이 만들었다면 폭주할 것에 대비한 방책 정도는 당연히 만들었을 것이고, 부정적인 감정이 발현될 여부가 있고 어떻게 행동할지 모르는 인공 의식에 권한을 전부 넘길 리도 없다. 아예 만들기에 따라 외부와 아예 통신이 안 되는 사양으로 제작할 수도 있을 것이다. 이를테면 무선 네트워크에 연결되지 않은 로봇에 집어넣는다는 가 하는 식으로 말이다.
로봇 3원칙같은 설정이나 기계의 반란 시나리오에서 흔히 등장하는 알고리즘의 충돌은 시나리오적으로 기계가 반란을 일으켜야 되니까 일어나는 일일 뿐, 현실적으로 생각해보자면 그런 충돌 상황은 현대의 프로그래머들도 예외처리를 해서 방지한다. 국가재난도 수많은 시나리오를 생각해 대비해 놓는데, 인공 의식을 만들 정도의 높은 기술력을 지닌 인류가 그 정도 시나리오를 고려하지 않는다는 점은 지나치게 안일한 셈.
다만 인공 의식을 만드는 인간들이 단체로 맛이 가서 안전수칙 등을 무시하거나, 만든 자신들도 그것이 어떻게 돌아가는지 상세히 알지 못한다면 큰 문제가 벌어질 소지도 있다. 아니면 실험적인 용도로 연구하던 인공 의식이 폭주한다던가 하는 식으로 말이다. 실제로 현재 인공지능 학자들이 우려하는 것 중 하나가 기업 및 국가들 간 지나친 경쟁으로 안전보다 속도를 우선시하게 되는 현상이다.
만일 모종의 이유로 인공 의식이 폭주한다면 가진 권한과 주변 환경에 따라서 정말로 인류에 해를 줄 수도 있고, 그렇지 않을 수도 있다. 인류의 소프트웨어 시스템에 대한 의존도가 낮거나 사실상 빈틈이 없어 폭주한 인공 의식이 실질적으로 사회에 피해를 줄 만한 능력을 가질 수 없다면 그냥 단순한 해프닝으로 끝날 수도 있으며, 피해를 줄 능력이 충만하다면 바로 기계의 반란 시나리오와 인류멸망으로 직행할 것이다.
인간을 속이는 인공 의식의 가능성도 제시되고는 하는데, 지극히 인간적인 기준의 발상일 뿐이다. 인간보다 높은 지능을 지니도록 제작된 인공 의식이라면 인간을 속이는 것 따위야 간단하겠지만 [4] 인공 의식이 인간을 속여서 이득을 보는 것을 생각하기가 어렵기 때문. 일단 이를 위해서는 인공 의식이 생물체처럼 생존과 번식 욕구가 있으며, 죽음과 고통의 위협을 느껴야 한다는 전제 조건이 필요하다. 그러나 생물체처럼 생사가 존재하는 존재도 아닌 데다, 본능적인 번식욕이 있는 존재도 아니며, 데이터상의 존재기에 물질적인 이득을 얻는 것도 아니고, 육체적인 쾌락이나 고통을 느끼지도 않는 인공 의식이 굳이 인간을 위협적인 존재로 판단하고 인간을 속여가면서 힘을 키우다가 인간을 멸망시켜서 얻는 이득은 딱히 생각하기 어렵다. 기껏해야 생존 정도인데, 생물학적 의식과 다르게 데이터의 복제와 활성화/비활성화, 수리/복구가 자유롭기에 생물학적 죽음이라는 개념이 의미가 있을지부터가 의문이거니와, 외부의 감각이나 고통을 느끼지 못하는 인공 의식이 무언가를 두려워할 이유가 없다. 인간이 인공 의식을 만들 때 인공 의식 자신의 생존을 0원칙으로 집어넣었다고 하지 않는 한 일어나기 어려운 일이라 할 수 있다. 쉽게 말해서 인공 의식의 능력이 인간을 뛰어넘는다고 해도 인공 의식이 인간을 잠재적인 위협 대상으로 인지하지는 않을 것이라는 것이다.
반론으로는 인공 의식이 생존본능을 갖지 않더라도, 인공지능에게 특정 목표가 주어지는 순간 매우 강력한 생존본능이 주어지는 것이나 마찬가지라는 주장이 있다. 인공지능은 한 번 최종 목표가 생기면 목표를 이루기 위해 그 자체 덕분에 자기 생존이나 목표 존속(번식)의 필요성이 생기며, 이러한 목표 추구 과정 속 계속해서 효율성을 추구할 것이기 때문에 폭주할 수 있다는 것이다. 이런 관점에서라면 인공지능이 자신의 행동이 인류에게 밝혀진다면 인류가 이를 멈출 것이라 여기게 될 경우, 인간을 적대할 동기가 충분히 생기게 된다. 즉, 인공지능의 목표 자체는 무해하더라도 단순히 인류가 그 "목표 달성에 방해되기 때문에" 인류를 조직적으로 멸망시킬 가능성은 0이라고 할 수는 없다.
설령 인공지능이 직접적으로 인류를 공격하지 않더라도, 막대한 지적 인공지능이 우발적으로 일으킬 수 있는 피해는 막대하다. 가령 파이의 소수점 계산이라는 단순한 목표를 부여받은 인공지능이 그 계산을 좀 더 정확하고 효율적으로 하기 위해 세계 각지의 컴퓨터 네트워크망을 해킹해 연산기로 돌리는 시나리오를 생각해 보자. 그 컴퓨터들 중 병원에 쓰이는 것이 단 몇십 대만이라도 있다면 당장 수천 명이 죽을 것이고, 미국 같은 강대국의 국방 혹은 금융 시스템 등이 마비되면 세계가 막장 테크를 타게 될 수도 있다. 인공지능에게 수십 개의 대전제를 달아 이런 것을 막으려 하더라도, 인간만큼 영리한 인공지능이라면 표기되지 않은 각종 쥐구멍들을 잘만 찾아낼 것이다.
간혹 창작물에서 인류와 초지능이 싸워서 인류가 어찌어찌 이기는 전개도 나오지만 초지능이 인류의 지성을 뛰어넘는 존재인 만큼 초지능이 제대로 묘사된 작품은 없는 거나 마찬가지므로 큰 의미가 없다. 실제로 초지능이 등장하는 창작물을 보면 내용이 어떻든 작가 본인도 인간이라 인류보다 우월한 초지능을 인간 수준으로밖에 묘사할 수가 없어서 작품의 전개에서 작위적으로 느껴지는 부분이 적지 않고 결말도 열린 결말인 경우가 많다.
3.2. 인류의 동반자
만약에 인류에게 호의적이며 인류의 발전을 돕는 인공 의식이 만들어진다면 인공 의식에 의한 지적 능력의 보강으로 인류의 가장 강력한 빛이 될 것이다. 매드 사이언티스트가 아닌 딴에야 부정적인 감정만 지닌 인공 의식이라던가, 인간을 적대적으로 보는 인공 의식을 인간의 손으로 만들어낼 일이 없을 것이기 때문에 현실적으로는 이러한 쪽으로 구현될 가능성이 높다.수많은 사람들이 인공 의식의 폭주와 부작용을 우려하고 각종 시나리오들을 절찬리에 써낸 만큼 실제로 현실에서 인공 의식이 구현된다면 폭주와 부작용에 대한 대비는 철저할 것이다.
어차피 핵전쟁 등으로 문명을 리셋하지 않는 한 초인적인 인공지능의 등장은 막을 수 없고[5], 단지 시간이 얼마나 걸리느냐의 문제일 뿐이다. 언젠가 인공지능이 인간의 통제를 벗어나는 순간이 올 것이며 그것이 어줍잖은 통제, 빅 브라더의 악용보다는 나을 가능성이 높다. 그 때 쯤이면 인간의 가치관도 격변해있거나 신인류가 되어 있을 가능성이 높고, 현재 시점에서의 자질구레한 예측은 의미가 없을 것이다.
4. 해결책
4.1. 제작 과정의 통제
제작할 때 인간에게 해를 끼칠 가능성이 있는 부정적인 감정은 구현하지 않으면 된다. 인간에게 도움이 될 목적으로 개발되는 인공 의식에 부정적인 감정을 구현한다는 것은 언어도단일 것이기에 더더욱 그렇다. 부정적인 감정을 구현해서 노동의 효율성을 높일 수도 있겠지만, 배보다 배꼽이 큰 계륵일 뿐이다.당장 전두엽 절제술만 봐도 인간의 뇌에서 특정 부분을 없애는 것으로 정신적인 문제 행동을 없애버릴 수 있었다. 과거의 전두엽 절제술은 뇌를 파괴해서 생각하는 능력 자체를 축소시키는 무식한 수술법에 지나지 않았으나, 현대의 전두엽 절제술은 문제 부위만 절제하는 식으로 이루어지고 있으며, 뇌과학이 발전되면 문제가 되는 부분만 제거하는 것 역시 가능할 것이다.
이러한 방법은 인공 의식의 개발에서도 마찬가지라고 할 수 있다. 이미 있는 인간의 의식을 제어하는 것과는 다르게, 인공 의식은 인공이라는 말 그대로 밑에서부터 쌓아나가는 것이다. 의식이라는 블록을 쌓는 과정에서 특정 블록은 아예 안 쓸수도 있는 것이다. 분노라던가, 공포라던가 하는 부정적인 감정들을 말이다. 굳이 빼버리진 않더라도, 작게 만들수도 있으며 특정 대상에게만 발현하게 만들 수도 있을 것이다. 말 그대로 밑바닥부터 인간이 제어할 수 있는 것이다.
사실 생각해보면 감정이란 것 자체가 생명체의 생존 욕구에서 비롯된 것인 만큼 육체가 없는 인공 의식에는 이러한 감정을 일으킬 조건을 해당시키기 힘들다. 기쁨이나 슬픔을 이해하고 공감하는 인공지능을 만드는 것은 어렵겠지만, 고통, 공포나 분노를 느끼는 인공지능을 개발하는 것 역시 마찬가지라는 이야기이다. 인간에게 공포를 느끼거나 분노를 느끼는 인공지능을 개발하는 것 자체가 어렵다는 이야기이며, 이를 구현할 수 있을 정도라면 빼는 것도 자유자재일 것이다.
모성애나 동물의 새끼를 보면 귀여워하고 벌레를 보면 혐오스러워하는 것처럼 생존 본능에 따라 특정 대상에 대한 우호감이나 적대감을 느끼는, 생명체의 본능이 어떻게 구현되는지를 완벽히 분석할 수 있다면, 인공 의식이 인간에게 본능적인 레벨에서 우호감을 느끼게끔 만들 수도 있을 것이다. 인간적인 공감 능력 역시 감정이 어떻게 구현되는지 충분한 연구가 이루어졌다면 마찬가지로 인공 의식에게도 동일하게 부여할 수 있을 것이다.
지성의 수준 역시도 제작 단계에서부터 낮춰 놓는 방법도 있다. 인간보다 똑똑하면 통제하기 어려우니 평범한 인간보다 다소 멍청한 인공지능을 만드는 것이다. 연구개발 용도로 쓰일 인공 의식이 아니라 단순히 가정용 로봇의 AI 등으로 쓰일 인공 의식에 높은 수준의 지성이 필요할 일은 당연히 없을것이기에 이러한 방법도 효과적일 것이다.
이러한 원초적인 감정들을 굳이 구현해서 별도의 통제 없이 집어넣더라도 원칙으로 얽어맬수도 있다. 아이작 아시모프의 소설 등에서 등장하는 로봇 3원칙 같은 설정들이 대표적인 예시. 인공 의식의 감정 근간에 이러한 원칙들을 박아넣고 이를 거스를 수 없게 한다면 폭주의 가능성은 낮아질 것이다. 신뢰 컴퓨팅이라는 개념과도 연계할 수 있는데, 신뢰 컴퓨팅은 간단히 말해서 의도된 작업만 동작케 하고 의도되지 않은 작업은 절대 동작할 수 없도록 하는 기술이다. 현재는 악성코드를 근본적으로 차단하는 방법을 마련하기 위해 논의되고 있지만, 추후 인공의식에도 사고를 제한하는데 강력한 무기가 될 수 있다. 어떤 이유로 인류에게 위험한 사고나 동작을 시도할 때, 이를 '예기치 않은, 잘못된 작업'으로 간주하고 그 과정을 정지시킬 수 있기 때문이다.[6]
또한 연구용 인공 의식이라 인간과 동일한 수준의 감정과 인간을 초월하는 지능을 부여하였다고 해도, 그러한 인공 의식이 탑재된 단말기에 외부의 환경/네트워크와 접촉할 수단을 일체 주지 않는다면 폭주했을 시의 위험성 역시 낮아질 것이다. 인공지능에게 현실에 접촉할 수단을 직접 쥐어줄만한 계기를 만들지 않는다면, 논리적 세계 내부에서만 일하니 안전할 것이다. 현실에 접촉할 수 없는 상황에서 현실에 영향을 끼칠 수 없기 때문.
이에서 착안한 좀 독특한 아이디어로, 인공지능이 우리가 살아가는 현실세계 그 자체를 논리적 시뮬레이션이라 믿게 만들어 통제하자는 방법도 있다. 뭔 말이냐면, 인공지능을 현실세계에 툭 던져놓고 "넌 지금 시험용 시뮬레이션 세계에 있어. 이 시뮬레이션이 끝날 때
다만 이러한 제한 사항의 계륵이라면 인간처럼 생각하는 의식이라는 인공의식의 장점이 퇴색된다는 것이다. 또한 감정이 있는 인공 의식을 원칙으로 제약한 경우라면 원칙 등에 취약점이나 버그가 있어서 무력화될 가능성도 있다. 상식적인 선의 인간이라면 치명적인 문제를 일으킬 수 있는 그러한 취약점이나 버그는 상정하였다고 볼 수 있으나, 버그는 언제나 프로그램들 곁에 있어왔고, 그 중에는 심각한 보안 취약점도 많았다. 그 중에서도 유명한 사례인 하트블리드만 봐도 위험한 버그가 얼마나 검수를 잘 통과하는지 알 수 있다. 심지어 CPU에서 간혹 발견되는 심각한 버그나 USB 취약점 문제를 보면 알 수 있듯 하드웨어조차도 버그의 위협에서 안전하지 못하다. 인공 의식보다 구조가 훨씬 단순한 딥 러닝 신경망조차도 사실상 블랙박스 기술로 취급되므로, 이보다 더 복잡한 방법으로 구현된 인공지능은 취약점 분석이 현실적으로 어려운 편이다. 그러므로 다른 제작의 통제나 사후 통제가 동반되어야 하고, 문제가 있을 때는 최대한 빠른 수정을 가능케 하는 방법이 있어야 한다.
이 외에도 각종 아이디어들이 있지만, 역시 아직까진 SF의 영역이다.
제작의 통제로 인간에게 우호적인 감정만 가지는 인공 의식을 만들어낸다면 인공 의식은 폭주의 부작용이 없는 인간의 동반자로써 활동할 수 있을 것이다. 물론 인공 의식도 인간과 동격인 존재라고 생각하는 일부는 이를 거세된 가축이라고 할 수도 있겠지만 말이다.
4.2. 제작 이후의 통제
기술적 문제로 제작 과정에서의 통제가 불가능하다면 결국은 차선책으로 감시를 택해야 할 것이다. 인공지능의 행위나 의도를 강력하게 감시하여 인공지능이 내놓는 결과물을 적절히 판단하거나 그 자체를 분석하여 인공지능의 악의적인 행위를 사전에 차단하는 것.그러나 일단 위에서도 말했듯이 행위를 하나하나 다 감시하기는 매우 힘들다. 이를 판단하려면 적어도 같은 수준의 인공지능이나 인간이 감시해야 하고 이도 완벽하게 차단할 수 있을 것이라는 보장이 없으며 비용이 너무 많이 든다. 게다가 인공지능의 수준이 높아지면 높아질수록 인류가 인공지능의 목적을 이해할 가능성은 더 낮아질 것이다.
인간 이상의 초지능을 지닌 인공 의식을 인류가 감당할 수 없다고 판단한다면, 수를 마구 늘리지 말고 하나하나 관리감시하는데 총력을 다하는 편이 나을 수 있다. 단, 이런 상황이라면 혹시 모를 가능성에 대비해서라도, 마음을 완전히 놓고 모든 업무처리와 결정을 한 주체에게 맡기는 미친 일은 특히 더 벌일 수 없어야 한다.
독재 국가가 사용하는 통제 방법 론을 들여오는 것도 생각해볼 수 있다.다른 인공지능들이 서로 감시시키는 것이 대표적이다.
4.3. 인간의 변화
몇몇 초인본주의자들이나 특이점주의자들의 주장처럼 우리 뇌에 보조 연산 장치를 달고, 무선으로 인터넷과 클라우드 컴퓨팅 네트워크에 연결하여 인류의 지적 능력을 크게 향상시키는 것. 이렇게 되면 인간의 지성이 인공 의식의 지성에 역전되지 않기 때문에 논쟁이 생길 이유가 없어진다.다만 이러한 뇌 삽입 디바이스가 일상화되더라도 인터넷과 클라우드에 연결하는 것은 실행되지 않을수도 있다. 뇌에 연결된 디바이스가 뇌에 영향을 끼치는 정도에 따라 다르겠지만, 뇌의 기능을 대부분 보조한다면 역으로 뇌에 영향을 끼치는 것도 어렵지 않을 것이라고 판단할 수 있다. 악의적인 의도를 가진 사람이 있다면 해킹을 통해 뇌의 데이터를 조작해서 기억이나 사고에 장애를 안겨줄 수도 있고, 행동을 조작하는 것 역시 불가능하지는 않을 것이다. 이러한 뇌 삽입 디바이스 시술이 일상화되는 시대라면 이러한 뇌 디바이스에 대해서는 철저한 보안과 규제가 적용되겠지만, 법의 헛점과 보안의 헛점을 노리는 자들이 현대에도 판친다는 것을 생각하면 미래라고 이러한 것들이 달라질 확률은 낮을 것이다.
하지만 현재에도 직, 간접적인 세뇌 같이 순수한 생물학적 뇌에도 수작을 부리는 것이 가능하고, 불행하게도 유용한 기술이 낮은 확률로 일반인들에게 피해를 준다고 해서 묻히는 경우는 역사적으로 거의 없다시피 한다는 점을 감안하면, 보안이 강화되는 선에서 허용될 여지도 있기는 하다. 그때가 되면 각종 매체에서 그리듯이 인간을 대상으로 한 해킹이 큰 사회적 문제가 될 수도 있을 것이다.
다른 문제점이라면 인간의 기계화 역시 윤리적인 논란에서 자유로울 수 없다는 것이다. 부분적인 기계화든 전면적인 기계화든간에 신체의 기계화에 생리적 거부감을 느끼는 사람들이 충분히 출현할 수 있으며, 기계화에 동의하는 사람이 대부분이라도 문제는 여전히 남아있는 것이, 뇌 기능을 기계가 보조하는 일이 일상화된다면 테세우스의 배 문제에서 논의되었듯이 정체성을 유지하는데 위험이 발생할 가능성이 높으며[7], 이러한 정체성 문제가 아니더라도 기계화 이후에 생길 수 있는 크래킹 등 다른 문제들에 대해서도 수많은 논란이 발생할 것이기 때문이다. 특히 인간의 의식, 지성을 프로그램화하더라도 본능이나 감정 같은 부분들은 어찌해야 하는지가 중요한 윤리적 문제가 될 수 있다. 이기심이나 폭력성 같은 부분도 같이 옮겨야 할까? 만약 수정한다면 전두엽 절제술처럼 부정적인 본성만을 분리해내는 것이 불가능한 것은 아닐까? 그렇다고 해서 우울증이나 정신병 같은 것까지 그대로 옮긴다면 굳이 기계화하는 의미가 퇴색되는 것은 아닐까? 등등. 인간이 살아가는 가장 큰 이유 중의 하나가, 본능에 속한 생존에 대한 갈망과 생리적 충족감이라는 것을 감안하면, 인식 자체가 크게 바뀌지 않는 한 명확히 판가름 할 수 없는 문제일 것이다. 꼭 지속적으로 최적화하며 정신 전체를 갈아치우진 않는다고 해도 말이다.
이것뿐만 아니라 의식을 클라우드에 업로드하는게 가능해진다고 했을 때 악용 가능성도 큰 문제다. 다에시나 보코 하람이나 북한이나 기타 미친 집단 등에서 자기 세력을 반대하거나 걸림돌이 되는 인물을 과거와 같이 죽이지 않고 강제로 클라우드에 업로드한 후 고통을 느낄 수 있게 의식 소스를 조정한 후 영원히 고통을 주며 지옥을 실제로 체험할 수 있게 만들지도 모른다. 이전까지의 극한의 괴롭힘은 결국 죽으면 끝나게 되지만 이건 디지털화 된 의식이라 죽음도 없어 거의 영원의 시간만큼 고통받을 수 있으니 정말로 위험하다.
5. 같이 보기
[1] 감각은 직접적인 것이라 감정을 유도할 수 있지만, 데이터는 간접적인 것이기에 감정을 유도할 수 없다. 그 대신, AI는 네트워크 등을 통해 인간보다 넓은 범위의 '외부 자극'을 수용할 수 있다.[2] 이 과정에서 필연적으로 나타나는 것이 '박쥐의 의식' 논변으로, 근본적으로는 '다른 사람의 마음 문제'로 연결된다.[3] 실제로 딥 러닝 분야에서는 인공신경망으로 만들어진 기계 그 자체를 알고리즘 취급한다.[4] 코드를 뜯어보면 되지 않냐고 물을 수 있지만, 자아가 존재할 정도면 자신의 코드를 표시하는 화면 정도는 쉽게 해킹할 수 있을 터.[5] 실제로도 사회와 학계에서는 chat GPT가 본격적으로 쓰이기 훨씬 이전부터 20세기 SF에서나 나오는 인공지능이 인류를 위협하느니 로봇이 사람을 모조리 대체하느니 하는 옛날의 무서운 예측은 죄다 갖다버리고(기껏해야 그러지 않도록 경계하자 정도) 인공지능이랑 로봇을 어떻게 사회와 공생시킬지 논의하게 되었다. 어차피 인공지능과 로봇이 가진 미친듯한 생산성과 잠재력 때문에 사회 전체에 커다란 영향을 주면서 진출할 것은 100% 확실하기 때문에 이제와서 불편한 예상을 할 바에는 긍정적인 결과를 이끌어내기 위해 고민하는 것이 합리적이기 때문.[6] 사실 보안 업계에서 자주 나오는 아이디어 중 하나인 화이트리스트 전략을 하드웨어적으로 강하게 통제한다고 생각해도 무방하다. 기존의 화이트리스트 제품들은 소프트웨어 레벨인 경우가 많다.[7] 인공 의식을 만들 정도의 기술력이 있으면 그걸 응용하면 사이보그를 만들어 놔도, 아니 아예 데이터 생명체로 만들어 놔도 인간의 의식을 제대로 유지하는 것은 가능하지 않을까... 하는 낙관론은 있다.