강력한 AI 등장 이후 우리가 맞이할 사랑의 기계 시대

앤트로픽 CEO 다리오 아모데이가 쓴 글 "Machines of Loving Grace" 를 정리해봤어요.

Anthropic 다리오 아모데이 CEO가 올린 “사랑의 기계 시대” 글을 읽고

현재 시점 (2024.10.14) 세계 최고의 인공지능 모델을 만들고 있는 회사는 앤트로픽 (Anthropic) 과 OpenAI 입니다. 그리고 최근 AI 테크신에서 흘러나오는 이야기를 들어보면 AI가 세상을 완전히 바꿔 놓을 것이라고 확신하고 있는 것 같습니다. 물론 이러한 급진적인 의견이 기술 회사들의 PR, 자금 확보를 위한 마케팅이 아닌가 싶어 거부감을 가지는 경우도 상당수 존재합니다. 하지만 진심을 다해 AI 가 가져올 변화를 이야기하는 글들을 보면 이러한 주장이 단순히 본인의 이익 때문에 하는 것은 아니라는 것을 알 수 가 있는데요. 이 글 역시 그렇다고 느껴졌습니다.

저 역시 인공지능 업계의 발전을 꾸준히 주목하고 연구한 입장에서 AI 기술의 발전은 하나의 새로운 기술로 치부하기에는 사회 전반에 가져올 변화가 굉장히 클 것으로 생각합니다. 그렇지만 과연 어느 범위로 얼마나 어떻게 영향이 있을지 충분하게 고민 해보지 못했는데요. 마침 앤트로픽의 다리오 아모데이 (Dario Amodei) CEO 가 몇일 전 엄청난 장문의 글 (약 5천자 내외) ‘Machines of Loving Grace’ 을 통해 이러한 고민을 해보고 생각을 공유해주었어요.

이 글에서는 아모데이는 AI가 세상을 얼마나 바꾸게 될지에 대해 매우 긍정적으로 미래상을 예측합니다. 그래서 제목도 기계와 인간이 조화로운 공존을 의미하는 “Machines of Loving Grace” 라고 지었구요. 분명 앤트로픽은 AI 안전을 특히 중시하는 것을 강조하고 있기 때문에 누군가는 아모데이가 AI 가 매우 위험한 것이어서 안전을 중시한다고 이야기 하지만 아모데이는 AI 자체가 위험하다고 보는 것이 아니며 AI 를 통해 가져올 이점과 문제점에 대해 여전히 많은 사람들이 과소평가 하고 있다고 주장했어요.

이 에세이에서는 AI가 큰 변화를 가져올 분야를 5가지로 나누어서 설명했구요. 이 5가지 중 2가지가 생물학 분야이고 글 전반에서도 생물학과 관련된 의견이 많은 비중을 차지하고 있습니다. 생물학이 앞으로 분명 빠르게 발전하고 또 인류에게 직접적으로 영향을 줄 분야 이므로 많이 할애되어 설명되는 것이 맞겠지만, 아모데이가 전공이 생물학 (신경과학) 박사 및 박사후 연구원으로서 해당 분야를 오래 연구 했었기 때문에 이 글에서 자연스럽게 비중이 커진 것도 있다고 저는 생각합니다.

저는 이 글이 특정 개인의 생각이라는 점에서 인류의 미래라는 거대한 담론을 모든 분야 고르게 다루는 글은 아니라고 생각하지만 그럼에도 지금 인공지능 기술의 최전선에서 바라보고 있는 비전을 이해해 볼 수 있는 좋은 기회라고 생각했기에 요약해 보았습니다.

🔗 원글: https://darioamodei.com/machines-of-loving-grace

---

인공지능 기술이 가져올 혁신에 대해 여전히 많은 사람들은 잠재적인 장점 및 단점 모두 과소평가하고 있음. AI 시대에는 인류 전체에 대해 전반적인 삶의 질이 향상될 것이라고 긍정적으로 생각.

여기서 언급되는 예상들은 불확실한 것들임. 그럼에도 모호하게 이야기 하기보다 최대한 구체적으로 이야기하려고 노력함. 왜냐하면 구체적인 비전은 틀릴 가능성이 높아도 논의를 발전시킬 수 있는 여지가 크기 때문.

* IMO (제 생각): 저는 이 글이 가능한 구체적이고 다양한 사례들을 언급하면서 전개되는 방식이라 특히 좋았습니다. 구체적인 예측을 언급하면 틀렸을 때 약점이 될 가능성도 높고, 추상적이고 모호하게 이야기를 하면 선지자로 추앙 받기에도 유리하다고 생각하는데요. 그러한 리스크가 있음에도 본인 보다는 사회적으로 발전적인 토론을 유도하기 위한 글이라는 점에서 이 글을 옮겨 적게 되었습니다.

이 글에서는 “강력한 AI (Powerful AI)” 의 등장은 필연적으로 일어날 일이고 그것도 빠른 시일내 (2026년 정도로 보는 시각도 있으며 늦어도 5년 내) 일어날 것이라고 가정. 이에 대한 반론 역시 상당하고 그 부분에 대해서도 하나의 거대한 토론 주제이지만 이 글은 강력한 AI 등장 이후에 일어날 일에 초점을 맞춤. * 공상과학적이고 부정확한 AGI 라는 용어를 싫어함

[ 강력한 AI (Powerful AI) ] 의 조건

• 지능 측면에서 생물학, 컴퓨터공학, 수학, 글쓰기 등 각 분야에서 노벨상 수상자 수준 이상.

• 대화를 통한 소통 기능 뿐 아니라 인간이 일반적으로 사용하는 인터페이스를 모두 갖춤.

• 물리적 실체는 없지만 다른 물리적 도구, 로봇, 장비를 제어할 수 있음. (심지어 필요에 따라 그러한 로봇, 장비를 직접 설계할 수도 있음)

• 수동적으로 대답하는 것이 아닌 몇시간에서 부터 몇 주 까지 걸릴 수 있는 작업을 수행하며, 필요에 따라 일부는 외부 (사람 포함) 에 요청 하면서 자율적으로 작업을 수행함.

이러한 강력한 AI 들의 수백만개의 사본이 데이터센터에서 각각 독립적으로 행동할 수 있게 되면 이를 “데이터 센터 안 천재들의 나라“ (country of geniuses in a datacenter) 라고 요약할 수 있을 것.

이러한 나라가 된다고 한순간 세상의 변화 (특이점) 이 올 것이라고 생각하지 않음.
당연히 현실적 (물리적, 사회적) 제약이 존재함.
대표적인 제약들.
1) 시간 시간이 필요하며 순차적으로 진행되어야 하는 일들은 더욱 천천히 나타남.
2) 데이터의 부족
3) 본질적으로 예측이 불가능하고 복잡도가 높은 일
4) 인간 윤리와 법/규제
5) 물리법칙

일부 제약에 대해서 세부사항들은 앞으로 생산적으로 논의해 볼 필요가 있음

이러한 제약을 고려해도 긍정적으로 강력한 AI 의 등장 이후 5~10년 동안 앞으로 일어날 일을 5가지 분야로 나누어 생각해봄.

1. 생물학과 건강

인간의 수명은 강력한 AI 등장 이후 10년 내 150세가 될 수 있을 것

과학적 진보가 인간 삶을 가장 직접적으로 개선할 수 있는 분야 중 하나는 생물학임.

생물학과 의학의 진보는 1년에 1개 정도밖에 안되는 주요 발견 (ex: CRISPR, 현미경 기술, 게놈 시퀀싱 및 합성, 광유전학, mRNA, CAR-T 분야 등) 에서 이뤄짐.

여러가지 제약이 있음에도 기존에 50~100년 동안 이룰 진전을 5~10년 정도로 압축할 수 있을 것.

* IMO (제 생각): 이 글에서 기본적으로 5~10년을 가정한 것은 주로 생물학 등 주요 과학계에서 세상을 바꿀 정도의 임팩트가 있는 연구 발견 주기가 10배 빠르게 할 수 있을 것이라는 확신에서 온 것 아닌가 싶었음.

mRNA 백신과 유사 기술은 'vaccines for anything' 을 향해 가고 있으며 거의 모든 자연 감염병에 대한 예방 및 치료가 가능해 질 것.

대부분의 암 정복. 대부분의 암에 대해 초기 단계 표적 지정 막을 수 있는 약물이 나올 것.

개별 유전체 별 정교하게 적용된 치료요법은 현실적으로 비용 문제가 가장 큰 장벽 이었으나 AI를 통해 비용절감이 되면서 가능해질 것.

알츠하이머 예방. 대부분의 질병 치료 개선.

체중, 외모, 생식 등에 대한 인간의 통제력 강화.

인간 수명은 20세기에 2배가 되었듯, 이 흐름이 계속 되는데 AI 로 인해 훨씬 빠르게 2배 (150세) 가 될 것.

2. 신경과학과 정신

위의 생물학의 하위 분야이지만, 정신 건강은 신체 건강보다 웰빙에 더 영향을 주는 분야

이 분야 역시 정확한 개입을 위한 도구와 소수의 발견에 의해 발전이 진행 되었음. 예를 들어 CLARITY (*뇌 조직을 투명하게 하여 뇌 지도 작성 등의 연구에 쓰임) 과 현미경 기술 발전 등.

신경과학 분야는 아직 과거 (심지어 AI분야도 일부 남아있음) 의 잘못된 연구 방향이 현재까지도 많이 있어왔고, 스케일링 가설과 AI 발전 과정에서의 씁쓸한 교훈을 충분히 받아들이지 않은 분야이기에 향후 발전 가능성이 큼

* IMO (제 생각): 여기서 의미하는 바는 NLP 연구하던 시절을 떠올리게 되는데요. 한 때 언어적 특성에 기반한 구체적인 케이스를 알고리즘으로 구현 하는 접근 방식이 좋은 연구 방향이 아니었다는 것으로 거의 결론이 나고 있는데 그부분과 일맥상통하는 것 같아요. 또한 2024년 노벨화학상을 받은 데미스 허사비스도 알파폴드가 알파폴드2로 개선되면서 유사한 깨달음 (굳이 모델 구조 중간에 생물관련 지식을 확인하도록 계층을 나누기 보다 알아서 다 배우도록 통합된 모델이 훨씬 좋은 성능을 가져옴) 을 언급.

대부분의 정신질환은 아마도 치료 될 것. 왜냐하면 PTSD, 우울증, 정신 분열증, 중독 등의 질병은 '생화학적' + '높은 수준의 신경망 문제' 의 조합이고 시스템 신경 과학의 문제 이므로 해결 가능.
구조적인 조건 (해부학적인 차이) 으로 인한 정신질환인 경우 해결이 더 어렵지만 이 역시 뇌를 재형성할 수 있는 기술의 발전을 통해 조금 더 오래 걸리겠지만 장기적으로 낙관함

유전적 예방 기술의 적용도 많은 개선을 가져올 것 (이부분은 사회적 문제와 논란의 여지가 더 큼)

임상적으로 질병이 아닌 정신적 문제들 역시 상당히 효과적인 약물들 (카페인, 모다피닐, 리탈린 과 같은 약물) 이 지금보다 훨씬 다양하게 개발될 것

여담으로 공상과학적인 이야기지만 인간 뇌의 패턴을 소프트웨어로 구현해서 '마인드 업로딩'이 이론적으로는 거의 확실히 가능하다고 생각됨 (이건 5~10년 정도의 단기적인 변화는 아니고 훨씬 더 오래 걸리겠지만)

결국 정신질환의 극복은 인간이 경험하는 세상을 훨씬 더 인간적인 곳, 자아실현을 위한 더 큰 기회가 제공될 곳으로 만들 것임. 현재 정치적 혹은 경제적으로 보이는 많은 사회적 문제도 이를 통해 상당히 완화될 수 있을 것.

3. 경제 발전과 빈곤

질병을 치료하고 삶의 질을 개선하는 기술들이 발전한다고 해도 과연 모든 사람들이 쉽게 기술의 혜택을 받을 수 있을까? 현재도 기술의 혜택이 전세계에 고루 적용되고 있지 않음.

AI가 불평등한 경제 성장 문제에 잘 대처할 수 있을지에 대해서는 확신하지 못함.

경제 불균형 문제는 인간의 많은 제약과 복잡성을 수반하기 때문에 AI 만으로 나아질 수 있다고 보지 않음.

AI가 사회주의 계산 논쟁을 해결할 수 있는가? 이에 대해서는 회의적인 시각을 가짐.

또한 정부가 AI 를 이용한 분배 방식으로 경제 정책을 넘겨줄 것으로도 생각하지 않음. (넘겨줘야 한다고도 생각하지 않음.) 개발도상국이 직면한 민간 및 공공 부문에서 만연한 부패는 이를 악순환에 빠져들게 만듬

이러한 모든 어려움을 고려해도 결론적으로 미래를 낙관함. 이것은 아주 큰 도덕적인 의무이고 직관적이고 모두에게 타당한 방향으로 갈 것으로 예상함.
물론 이를 위해서 AI 회사와 선진국 정책 입안자 모두 개발도상국이 소외되지 않도록 각자의 역할을 해야 함.

전세계 질병 기술적 혜택의 불균형 측면에서는 분명 앞으로도 가난한 나라일 수록 늦게 혜택이 전파되겠지만 그럼에도 최소한 지금의 선진국보다 더 나은 수준의 기술을 ‘강력한 AI’ 출현 후 5~10년이면 모든 국가에게 전파 될 것.

경제 전반에 걸친 불균형 문제는 과거 동아시아 사례 (Four Asian Tigers. 한국, 대만, 홍콩, 싱가폴)와 같이 선진국을 따라잡은 경우가 존재하는 것처럼, AI 재무장관과 중앙 은행이 이러한 성과를 복제하면서 초과 달성할 수 있는 방법을 제시할 수 있을 것. 그렇다면 개발도상국 정부가 이러한 AI 경제정책을 채택할 것인가의 문제는 여전히 존재함. 물론 채택한다고 해도 개발도상국의 경제 성장이 선진국 수준이 될 것이라는 예측은 매우 이상적인 시나리오이지만 우리 모두가 힘을 합쳐야 할것.

4. 평화와 통치

안타깝게도 AI가 민주주의와 평화를 증진시킬 것이라고 믿을 만한 이유는 발견하지 못함

• AI 는 좋은 사람 뿐 아니라 나쁜 사람에게도 도움이 됨.

• 독재자가 훨씬 더 선전과 감시를 잘 할 수 있게 될 것

‘강력한 AI’가 등장하는 그 순간 만이라도
민주주의가 세계에서 우위를 차지하고 있는 상황이 되어야 합니다.

이를 위해 민주주의 연합은 강력한 AI 공급망을 확보하고, 칩과 반도체 장비와 같은 핵심 리소스에 대한 적의 접근을 차단하거나 지연시킴으로써 강력한 AI 달성에 명확하게 앞서나가고 있어야 함

민주주의 연합은 AI를 사용한 강력한 군사적 우월성을 달성하고 민주주의 연합 국가에 이점을 분배하는 전략이 필요할 것 (마치 IAEA 창설로 이어진 '평화를 위한 원자력' 전략과 유사할 수 있음)

국가간 이 문제가 잘 해결되어도 국가 내에서의 문제는 여전히 남아 있을 수 있음

AI가 우리가 더 나은 방향으로 나아 가는데 도움이 될 것이므로 공평한 사법시스템, 세금, 사회 보장시스템 등 에서 사회적 역량이 크게 발전 할 수 있는 기회가 존재함.

* IMO (제 생각): 확실히 이 부분에서는 미국 입장에서의 글이고 노골적으로 “적”이라는 표현까지 쓰면서 냉전시대 핵개발 과 인공지능 개발을 동일선상에 두는 시각을 보여주었어요. 그런 점에서 이 글이 기본적으로 예전 전 OpenAI Superalignment 팀원 Leopold 의 🔗 “상황인식: 앞으로의 10년” 글과 일맥상통 한 부분들이 발견됩니다. 게다가 분명 이 글은 아모데이 CEO 개인이 쓴 글이지만 초안을 AI 업계 리더 및 앤트로픽 많은 직원이 공유하고 수정한 글이라고 밝힌 점에서 미국 AI 테크 업계 에서 꽤 많은 공감을 얻고 있는 주장이라는 생각이 들었어요.

5. 일과 의미

앞에서 언급된 모든 부분이 이상적으로 잘 이뤄진다고 할 때에도 여전히 중요한 문제가 남아있음.

"인간은 어떻게 의미를 가질 수 있을까?"

일의 의미는 사회가 어떻게 조직되는지 거시적인 질문과 연관 된 것. 또한 분산된 방식으로 해결되는 경향이 있기에 예측이 더욱 어려움.

의미 측면에서 'AI가 더 잘 할 수 있다'는 이유만으로 사람이 하는 작업이 무의미하진 않을 것.

또한 사람들은 또한 경제적 가치를 생산하지 않는 활동을 즐김. 예를 들어 아모데이는 비디오 게임, 주변을 걷거나 친구와 이야기 하는 활동을 즐기는 데 전혀 경제적인 가치를 생성하지 않음.

일의 의미는 주로 경제적 노동이 아니라 인간 사이 관계와 연결에서 온다고 생각함.

우리는 성취감과 경쟁감을 원하며 매우 복잡하고 어려운 작업을 시도하는 활동은 앞으로도 계속 이뤄질 것

단기적으로 많은 영역에서 경쟁환경 대부분이 AI로 인해 평준화 될 수 있음.

AI 가 90% 에서 더 나은 반면 인간이 더 나은 10% 영역이 있을 수 있음. 이 10% 영역이 레버리지되고 새로운 일자리들을 창출하면서 인간 전부가 그 10% 였던 영역이 100%의 영역이 될 수도 있음.

인간이 상당한 기간 동안 상대적 (혹은 절대적)으로 AI 보다 이점이 유지될 가능성이 높은 영역은 '물리적인 세계'

따라서 인간 경제는 '데이터 센터 안 천재들의 나라' 에 도달해도 당분간 계속 작동 할 것.

하지만 장기적으로는 AI가 매우 광범위하게 적용되고 저렴해져서 우리의 현재 경제 구조가 의미가 없어지게 될 수 있음. 이 상황에서 경제를 어떻게 조직해야 하는 지에 대한 사회적 대화가 필요할 것.

문명은 수렵채집 > 농경사회 > 봉건제 > 산업주의 로 변화하면서 경제구조도 큰 변화가 있었음. 새로운 경제적 변화는 지금 쉽게 상상할 수 있는 형태는 아닐 것.

'보편적 기본 소득' 처럼 간단한 방안이 해결방안이 될 수 도 있겠지만 해결책의 작은 부분일 것.

예상가능한 시스템 중 하나는 일종의 'Whuffie 시스템' (Whuffie points) 임.

Whuffie 휘피 시스템: 2003년 발표된 캐나다 작가 SF소설 'Down and Out in the Magic Kingdom' 에서 나오는 전통적인 화폐 대신 평판을 기반으로 하는 새로운 경제 시스템. 개인의 사회적 가치와 기여도를 측정하여 휘피 포인트 획득. 다른 사람들로 부터의 평가가 중요. 포인트가 높으면 더 나은 서비스를 받고 더 영향력있는 결정권을 하고 희소한 자원에 대한 우선권을 가짐. 포인트는 사회 구성원의 주관적 평가에 따라 빠르게 늘거나 줄 수 있음.

IMO: 얼핏 경제와 정치가 하나로 합쳐지는 시스템인데요. 저는 지금 사회도 평판 신뢰도 중심으로 정치 뿐 아니라 경제로 그렇게 작동하는 경향이 크기에 자연스러운 방향이라는 생각도 들었어요.

모든 해결책에는 초기 수많은 문제가 있을 것이지만 많은 반복과 실험, 도전이 이뤄지길 희망함

요약 정리

AI가 모든 것을 잘 하게 되면 실현 될 수 있는 미래에 대한 비전을 제시해 보았음. 이러한 예측이 얼마나 현실적인지 모르겠으나 가능하더라도 많은 사람들의 헌신과 노력, 투쟁이 있어야 가능한 일.

하지만 분명 싸워볼만한 일
이러한 일이 가능하다면 모든 사람들에게 대단한 일이 될것.

그리고 문화가 우리가 싸우고 도전해야 할 핵심 승리 전략.

문화는 도덕적인 힘을 가진 수백만개의 작은 결정들의 합이며 모든 사람들을 같은 편으로 끌어들이는 경향이 있기 때문. 이것이 인류가 향하고 있는 방향을 만듬. AI는 단순히 우리를 더 빨리 목적지로 도달하게 하는 기회를 제공하는 것.

이 글은 AI 업계 지인들 및 앤트로픽 내부 직원으로 부터 검토를 받았습니다. 그리고 2024년 노벨 화학상 수상자 들에게 우리가 가야할 길을 제시해 주어서 감사를 표합니다.

---

IMO:

다리오 아모데이의 미래에 대한 비전을 보면 상당 부분 긍정적이지만 급격한 사회의 변화를 예상하고 있습니다. 여기에는 상당한 낙관주의가 있었다고 생각이 들었습니다. 또한 일부 내용에서는 엘리트주의 적인 관점도 있었다고 느껴졌구요. 많은 부분에서는 일단 틀리더라도 가능한 구체적인 예측을 했는데 그러한 부분은 명확한 기준을 제시한 다는 점에서 그러한 예측이 어떤식으로 틀릴지 혹은 근접할지 다른 사람들이 의견을 제시할 수 있도록 유도한다는 생각도 들었습니다. 물론 AI 와 함께하는 인류의 미래가 긍정적 일 것이라는 문화를 바탕으로 말이죠

그래서 이 글의 목적이 본인이 미래를 잘 예측하는 데 있는 것이 아닌 많은 사람들에게 이에 대해 함께 생각해보고 또 일부 사회적으로 합의가 되는 부분에 대해서는 조금 미리 대비할 수 도 있다는 점에서 의의를 찾고 싶습니다.

마지막으로 혹시 이런 주제에 대해 더 나누고 싶은 생각이 있으면 댓글 및 스닙팟 #AGI 팟 에서 이야기 나누면 좋겠습니다 🤗