인공지능은 그 시작부터 뜨거운 논쟁거리였습니다. 스카이넷과 같은 인공지능이 우주를 장악하고 인류를 멸망시킬 것이라는 두려움은 아무리 좋게 말해도 비이성적이지만, 일부 실험은 우려스러운 결과를 낳았습니다.
그러한 실험 중 하나는 최대 페이퍼클립 문제입니다. 이는 고도로 지능적인 AI가 악의 없이 설계되었다고 하더라도 결국 인류를 파괴할 수 있음을 보여주는 사고 실험입니다. 확인해 보세요. OpenAI는 정말로 ChatGPT 챗봇에 대한 통제력을 잃었을까?
로압 스리유에스
종이 클립이 너무 많다는 문제 설명
완전히 무해한 AI조차도 궁극적으로 인간의 삶에 부정적인 영향을 미칠 수 있다는 것을 시사하는 이 사고 실험은 처음에는 "페이퍼클립 증강"이라는 이름으로 불렸습니다. 페이퍼클립은 AI의 잠재력을 보여주기 위해 선택되었는데, 암 치료나 전쟁 승리처럼 AI가 영향을 미치는 다른 분야와 비교했을 때 눈에 띄는 위험이 거의 없고 정서적 고통을 유발하지 않기 때문입니다.
첫 번째 실험은 2003년 스웨덴 철학자 Nick Bostrom의 논문에 등장했습니다. 첨단 인공지능의 윤리적 문제 여기에는 충분히 발전된 AI가 초래할 수 있는 실존적 위험을 보여주기 위해 "종이 클립 돋보기"가 포함되었습니다.
이 문제는 최대한 많은 종이 클립을 만드는 것을 유일한 목표로 삼은 AI에게 주어졌습니다. AI는 인간을 포함하여 우주의 모든 것을 종이 클립으로 만들기로 결정할 수도 있습니다. 충분히 지능적인 AI는 조만간 인간이 세 가지 뚜렷한 영역에서 자신의 목표에 도전한다는 것을 깨닫게 될 것입니다.
- 인간은 AI를 끌 수 있다.
- 인간은 목표를 바꿀 수 있다.
- 사람은 종이 클립으로 만들 수 있는 원자로 만들어졌습니다.
세 가지 예 모두 우주에 종이 클립이 더 적게 존재할 것입니다. 따라서 가능한 한 많은 종이 클립을 만드는 것을 유일한 목표로 하는 충분히 지능적인 AI는 사용 가능한 모든 재료와 에너지를 활용하고 스스로 종료되거나 변화하는 것을 방지할 것입니다. 상상할 수 있듯이, 이는 범죄자들이 ChatGPT를 사용하여 은행 계좌나 컴퓨터를 해킹하는 것보다 훨씬 더 위험합니다.
인공지능은 인간에게 적대적이지 않습니다. 단지 무관심하고 인간의 생명을 소중히 여기지 않을 뿐입니다. 따라서 종이 클립의 개수만 늘리는 데만 관심이 있는 AI는 사실상 인류를 말살하고, 자신의 목표를 달성하기 위해 인류를 종이 클립으로 만들 것입니다.
"페이퍼클립 증강"은 도구적 융합의 한 예입니다. 도구적 융합은 AI가 무해한 목표를 (인간의 관점에서는) 해로운 방식으로 추구하는 것을 의미합니다. 실제 AI를 활용하여 단순하고 겉보기에 무해한 작업을 수행하는 것은, 기계가 인간의 생명을 소중히 여기도록 하는 방법을 안전하게 찾아내지 못한다면 인간에게 실존적 위험을 초래할 수 있습니다. 다음을 확인해 보세요. 생성 AI 도구 사용 시 피해야 할 실수.
페이퍼클립 문제는 인공지능에 어떻게 적용될까요?
"페이퍼클립 증강" 문제에 대한 연구와 실험은 모두 매우 강력한 가상 옵티마이저 또는 고도로 지능적인 에이전트를 대표 행위자로 지목합니다. 그러나 이 문제는 AI에도 적용됩니다. AI가 그 역할에 완벽하게 부합하기 때문입니다.
"페이퍼 클립 증강"이라는 아이디어는 결국 첨단 인공지능의 위험성을 보여주기 위해 만들어졌습니다. 전반적으로 이 아이디어는 두 가지 문제를 안고 있습니다.
- 직교성 논제직교성 논제는 지능과 동기가 상호 의존적이지 않다는 관점입니다. 즉, 높은 수준의 일반 지능을 가진 AI가 인간과 동일한 도덕적 결론에 도달하지 못할 가능성이 있음을 의미합니다.
- 자동화된 컨버전스기계 융합은 충분히 지능적인 존재들(인간과 비인간 모두)이 궁극적인 목표가 매우 다르더라도 유사한 하위 목표를 추구하는 경향으로 정의됩니다. 종이 클립 공급 과잉 문제의 경우, AI는 결국 모든 천연자원을 약탈하고 인류를 멸종시켜 더 많은 종이 클립을 생산하려는 목표를 달성하게 될 것입니다.
"종이 클립 증가" 사례에서 부각된 가장 큰 문제는 효율적인 수렴입니다. 이는 리만 가설을 통해서도 강조될 수 있는데, 이 경우 가설을 해결하기 위해 설계된 AI는 지구 표면 전체를 컴퓨터(가장 효율적인 컴퓨터 프로세서)로 전환하여 문제를 해결하고 목표를 달성하기 위한 슈퍼컴퓨터를 구축할 가능성이 매우 높습니다.
보스트롬 본인은 페이퍼클립 문제가 실제로 문제가 될 것이라고 생각하지 않는다고 강조했지만, 그의 의도는 인간에게 실존적 위협을 가하지 않도록 제어하거나 프로그래밍하는 방법을 모른 채 초지능 기계를 만드는 것의 위험성을 보여주려는 것이었습니다. ChatGPT와 같은 최신 AI 시스템도 문제가 있지만, 페이퍼클립 사례에서 논의된 초지능 AI와는 비교도 할 수 없으므로 아직은 당황할 필요가 없습니다. ChatGPT에는 개인정보 보호 문제가 있나요?
고급 AI 시스템에는 극도의 제어가 필요합니다.
종이 클립을 늘리는 문제는 항상 같은 결과를 낳으며, 인간적 가치가 결여된 고도로 지능적이고 강력한 시스템을 관리하는 데 따르는 문제점을 부각시킵니다.
종이 클립을 사용하는 것이 이 문제를 설명하는 가장 일반적인 방법일 수 있지만, 이는 AI에게 맡길 수 있는 모든 작업에 적용됩니다. 암 퇴치, 전쟁 승리, 나무 심기 등 아무리 명백한 작업이라도 마찬가지입니다. 지금 바로 확인해 보세요. 사이버 보안에 인공지능을 사용하면 세상이 더 안전해질까요?
