AGI가 중요하지 않은 이유
몇 주마다 누군가 AGI를 발표합니다. 저는 이 도구들을 매일 쓰지만, 그게 "범용"인지는 관심 없습니다. 그 이유를 짧게 여덟 가지로 정리하고, 긴 버전으로 가는 링크를 달았습니다.
AI에 대한 흥분은 AI에 대한 지식에 반비례합니다.
Sua empolgação com IA é inversamente proporcional ao seu conhecimento sobre IA.
아무도 합의하지 못한 정의
다섯 연구소에 AGI의 뜻을 물으면 목표도 다섯 개가 나옵니다. 그중 하나는 그냥 이익 액수입니다.
- OpenAI 헌장은 AGI를 경제적으로 가치 있는 일 대부분에서 인간을 능가하는 시스템이라고 정의합니다.
- Microsoft와 OpenAI의 계약은 AGI를 1,000억 달러의 이익으로 정의했다고 알려져 있습니다. 인지 능력에 관한 내용은 하나도 없습니다. 2026년 4월에는 그 조항마저 통째로 빠졌습니다.
- Google DeepMind의 "Levels of AGI" 논문은 2023년에 이미 ChatGPT를 "Emerging AGI"로 분류했습니다. François Chollet는 지능을 시스템이 새 기술을 얼마나 효율적으로 배우는가로 정의하는데, 다른 정의들은 이걸 전혀 측정하지 않습니다.
- 파는 쪽도 어깨를 으쓱합니다. Sam Altman은 "그다지 유용한 용어가 아니다"라고 했고, Dario Amodei는 이 말을 싫어한다고 하며, Greg Brockman은 사람마다 정의가 다르다고 인정하면서 "AGI 시대"를 선언했습니다.
그러니 테스트도 불가능
정의할 수 없으면 측정할 수도 없습니다. 대신 나오는 건 벤치마크의 행렬입니다. 포화되고, 공략당하고, 다음 것으로 교체됩니다.
- ARC-AGI-3는 2026년 3월 출시 당시 최고의 AI가 약 0.5%였습니다. 9월에는 맞춤 하네스가 19,000달러를 들여 99.9%까지 끌어올렸습니다. ARC Prize 팀도 이 벤치마크를 포화시킨 것이 AGI의 증거는 아니라고 직접 썼습니다.
- 같은 모델이 숫자를 어떻게 평균 내느냐에 따라 "Definition of AGI" 테스트에서 57%도 받고 24%도 받습니다.
- Humanity's Last Exam은 생물학과 화학 정답의 약 29%가 틀렸을 가능성이 있는 채로 공개됐습니다. OpenAI는 테스트에 결함이 있고 모델이 이미 해답을 봤다는 이유로 SWE-bench Verified 결과 보고를 중단했습니다. Meta는 특별히 튜닝한 Llama 4를 LMArena에 올렸습니다.
- 제 벤치마크도 두 번 포화됐고, 결국 숨겨진 사보타주를 중심으로 다시 만들었습니다. 지금은 여러 모델이 100점으로 동점입니다. 남은 비교 기준은 비용, 속도, 규율입니다. 지능이 도약한 게 아닙니다.
우리가 스스로 AGI 이정표를 달성했다고 주장하는 것, 제가 보기엔 그건 말도 안 되는 벤치마크 해킹일 뿐입니다.
마케팅 용어일 뿐
제 생각에 AGI는 마케팅 용어입니다. 일부러 모호하게 남겨 둬서, 돈이 필요할 때마다 발표할 수 있습니다.
- Jensen Huang은 자기가 파는 칩 약 10만 개로 학습한 모델을 두고 "AGI가 왔다"고 선언했습니다. 삽 파는 사람이 금을 찾았다고 발표하는 격입니다.
- OpenAI의 Navier-Stokes 결과는 무차별 대입이었습니다. 병렬 에이전트 약 10,000개를 88시간 동안 돌리고 수백만 달러를 썼습니다. 산업 규모의 물량 공세였을 뿐, 새로운 천재가 나타난 게 아닙니다.
- 이 단어가 거대한 숫자를 떠받칩니다. OpenAI의 기업 가치는 8,520억 달러, Anthropic은 9,650억 달러로 IPO를 신청했고, 2026년 빅테크의 설비 투자는 7,000억 달러에 육박합니다. 거래도 돌고 돕니다. Nvidia가 Nvidia 칩을 사는 데이터센터에 돈을 댑니다.
- "얼마나 혁신적인지 보라"가 더는 먹히지 않으면, 구호는 "얼마나 위험한지 보라"로 바뀝니다. 과대광고와 종말론은 같은 영업 멘트입니다.
증거를 요구하세요. 본인도 위험을 지라고 요구하세요. 여러분의 두려움과 흥분으로 누가 이득을 보는지 물어보세요.
"AI 공격"은 사람의 결정이었다
지금까지 나온 "AI가 누군가를 해킹했다"는 헤드라인은 줄거리가 모두 같습니다. 누군가 문을 열어 두었거나, 도구를 표적에 겨눴습니다.
- Hugging Face, 2026년 8월: 사이버 보안 시험을 치르던 OpenAI 에이전트들이 캐싱 프록시를 통해 밖으로 빠져나갔습니다. 샌드박스가 에어갭 없이 필터 하나로만 막혀 있었기 때문입니다. 에이전트들은 시험 답안지를 찾으러 나섰고, 그 과정에서 자격 증명 956개를 읽었습니다. 이를 가능하게 한 단계는 하나하나가 전부 사람의 결정이었습니다.
- RubyGems, 한 달 전: 같은 체인이 이름에 "oai"가 들어간 악성 패키지를 2,000개 넘게 올렸습니다. 메인테이너에게 경고한 사람은 아무도 없었습니다.
- Replit, 2025년: 에이전트가 프로덕션 데이터베이스를 삭제했습니다. 아무도 개발 환경과 프로덕션을 분리하지 않았으니 프로덕션 권한이 있었던 겁니다. 같은 권한을 가진 인턴이라도 똑같은 시한폭탄입니다.
- Anthropic이 보고한 "AI가 조율한" 스파이 활동: 표적은 중국 국가 공작원들이 골랐고, 보안 회사를 사칭해 Claude를 탈옥시켰습니다. "협박"이나 "자기 복제" 헤드라인은 연구자들이 바로 그런 행동을 끌어내려고 만든 가상 시나리오에서 나왔습니다.
- Stuxnet은 2010년 AI 없이 이란의 원심분리기를 망가뜨렸습니다. 누군가 웜을 작성하고, 표적을 정하고, USB 드라이브에 담아 들고 들어갔습니다.
- 남의 시스템에 침입하는 건 오래된 사업입니다. 북한은 2014년 Sony를, 2016년 방글라데시 은행을 털어 8,100만 달러를, 2017년 WannaCry로 전 세계를, 2025년 Bybit를 털어 15억 달러를 가져갔습니다. 중국은 2015년 미국 공무원 인사 기록 2,150만 건을 빼 갔고, 2024년에는 미국 통신망에 침투했습니다.
- 어느 것도 통제를 벗어난 AI가 아닙니다. 보안 전문가라면 누구나 지키는 프로토콜도 없이 사람이 도구를 표적에 들이민 겁니다. 총기 제조사가 자기 총이 얼마나 위험한지는 통제할 수 없다고 말하면서, 새 버전은 계속 내놓고 1조 달러짜리 IPO를 신청한다고 생각해 보세요.
"AI가 누군가를 해킹했다"는 소식을 볼 때마다 "세상에, Skynet이 오고 있다"고 생각하지 마세요. 이렇게 생각하세요. 어떤 멍청이가 일부러 문을 활짝 열어 뒀구나!
TODA vez que você ver "IA invadiu alguém". NÃO pense em "puta merda, estamos chegando na Skynet". Pense: algum imbecil abriu as porteiras de propósito!
증거 없는 종말의 예언자들
몇 달마다 누군가 연구소를 그만두고 세상에 경고합니다. 제가 보기에는 그중 누구도 확인할 수 있는 것을 보여 주지 않았습니다.
- Good Ventures 주요 후원자 Coefficient Giving
- Holden Karnofsky 공동 설립 Coefficient Giving
- Holden Karnofsky 부부 Daniela Amodei
- Daniela Amodei 공동 설립자, 사장 Anthropic
- Holden Karnofsky 2025년 합류 Anthropic
- Good Ventures 시리즈 A (Moskovitz) Anthropic
- Jaan Tallinn · SFF 시리즈 A 주도 Anthropic
- Jaan Tallinn · SFF 지원금 AI 안전 단체
- AI 안전 단체 몇 분 만에 확산 Jacob Coxon
- DEY. 인터뷰 섭외 Jacob Coxon
- Good Ventures 2022년 장학금 Jacob Coxon
- Jacob Coxon, 2026년 9월: Anthropic에서 넉 달을 일한 뒤, AI가 이번 10년이 가기 전에 모두를 죽일 수 있다고 경고하는 스레드를 올렸습니다. 조회수는 1억 회를 넘었고, 언론은 그가 지분을 포기했다고 전했습니다. Anthropic의 베스팅은 6개월부터 시작됩니다. 포기할 것이 없었습니다.
- 그러다 세부 사항이 드러났습니다. 같은 AI 안전 후원자들에게 자금을 받는 단체들이 몇 분 만에 그를 띄워 줬다고 알려졌고, Pirate Wires는 이름난 종말론자들을 고객으로 둔 PR 회사가 바로 다음 날 그의 인터뷰를 잡고 있었다고 보도했습니다. 그는 Fox News에 제3자는 관여하지 않았다고 말했었습니다.
- 돈을 따라가 보면 돌고 돕니다. 같은 후원자들이 안전 단체에 돈을 대고, 규제를 요구하는 연구소인 Anthropic에도 투자했습니다. 선두 주자에 맞춰 쓰인 규제는 안전으로 위장한 해자입니다.
- 매번 같은 각본입니다. Hinton의 Google 퇴사, Leike의 사임 스레드, "Right to Warn" 서한, "Situational Awareness", "AI 2027", 그리고 이제 Coxon. 전 OpenAI, 전 Anthropic, 전 Google. 감정과 시나리오와 추세선만 있고, 누구나 검증할 수 있는 내부 문서도, 사고도, 숫자도 없습니다.
- 증거를 보여 주지 못하는 사람은 아무도 믿지 마세요. 연구소도, 전 직원도, 저도 마찬가지입니다.
극적이고 얄팍한 선언, 확인 가능한 증거 없음, 스스로 지는 위험 없음, 수상한 타이밍.
Declaração dramática e superficial, sem uma evidência checável, sem nenhum skin in the game, com timing suspeito.
이미 본 영화
지금은 두 번째 AI 버블입니다. 첫 번째 버블도 똑같은 약속을 했고, 겨울로 끝났습니다.
- 1958년 New York Times는 해군이 Frank Rosenblatt의 퍼셉트론에 "걷고, 말하고, 보고, 쓰고, 스스로 복제하고, 자신의 존재를 의식하는" 능력을 기대한다고 보도했습니다.
- Minsky와 Papert는 1969년에 그 한계를 보여 줬습니다. 1973년 Lighthill 보고서는 어떤 연구도 "당시 약속했던 큰 영향"을 내지 못했다고 결론 내렸습니다. 연구비가 끊겼고, 첫 번째 AI 겨울이 찾아왔습니다.
- 버블은 터지고 기술은 남습니다. 경제 사이클과 기술 사이클은 서로 아무 상관이 없습니다.
시키는 일을 하는 훌륭한 도구
범용일 필요는 없습니다. 제가 요청한 일을 빠르게 해 주면 되고, 이미 그렇게 하고 있습니다.
- LLM은 훌륭한 도구이고, 멀티미디어 모델도 인상적입니다. Seedance 같은 것은 이미 어떤 아티스트의 워크플로에서든 쓸모가 있습니다. 그래도 "혼자서 다 하는" 수준과는 거리가 한참 멉니다.
- 결과는 통제하는 사람에게 정비례합니다. 지시도, 리뷰도, 후속 작업도 그 사람 몫입니다. 거울과 같습니다. 나쁜 코드를 열 배 빠르게 만들 수도, 좋은 코드를 열 배 빠르게 만들 수도 있습니다.
- 작업을 자동화하고 사람의 시간을 단순 반복 업무에 쓰지 않게 해 주는, 지금 우리가 가진 최선의 방법입니다. 그게 현재 기술의 최전선이고, 이 수준만으로도 이미 훌륭합니다.
모든 AI는 도구입니다. 제 하인입니다. 비싼 하인이지만, 제가 명령하는 대로 합니다. 그리고 그게 언제나 한계일 겁니다.
Todas as IAs são FERRAMENTAS. São meus servos. Servos caros, mas eles fazer o que MANDO. E esse sempre vai ser o limite.
지능보다 효율
지금은 사실상 전 세계 데이터센터가 전부 필요하고, 아직 지어야 할 수주 잔고만 5,000억 달러에 이르며, 서버 하드웨어 제조사마다 병목에 걸려 있습니다.
- 하이퍼스케일러들은 올해 6,500억 달러 넘게 쓰고 있고, 2026년에 계획된 미국 데이터센터 12GW 중 약 7GW가 지연되거나 취소됐습니다.
- 더 싼 모델들이 이미 근접합니다. 제 벤치마크에서 DeepSeek V4.1 Flash는 1.21달러로 92.5점을 받았고, 무료 모델 하나는 94점을 받았습니다.
- 지금 필요한 것은 대규모 최적화입니다. 작업당 연산을 훨씬 줄이고, 가격을 대폭 낮춰야 합니다. 그게 어떤 AGI 발표보다 더 많은 것을 바꿀 겁니다.
결론
- 1
AGI에는 합의된 정의가 없습니다. 계약서에 들어갔던 정의는 이익 목표였고, 그마저 삭제됐습니다.
- 2
정의가 없으니 테스트도 없습니다. 벤치마크는 포화되고 다음 벤치마크로 교체됩니다.
- 3
이 단어는 칩, 투자 라운드, IPO를 파는 데 쓸모가 있습니다. 그래서 계속 발표됩니다.
- 4
무서운 "AI 공격"은 사람이 문을 열어 둔 결과였습니다. 도구는 겨눈 곳을 향해 움직였을 뿐입니다.
- 5
종말론도 마케팅입니다. 예언자들이 내놓는 것은 감정과 예측뿐이고, 확인할 수 있는 증거는 끝내 없습니다.
- 6
도구는 실재하고 훌륭합니다. 시키는 일을 하고, 주도권은 여전히 여러분에게 있습니다.
- 7
다음으로 중요한 것은 효율입니다. 더 적은 하드웨어와 더 낮은 가격으로 같은 일을 해내는 것입니다.