에이전트형 AI, 의사결정은 돕지만 사회 전체 지식 축적은 위협
"더 똑똑한 AI보다 인간이 계속 배우게 하는 제도 설계가 중요"
'바벨의 도서관'은 아르헨티나 작가인 호르헤 루이스 보르헤스(1899~1986)가 쓴 단편소설 제목이다. 여기에 나오는 가상 도서관은 육각형 도서 진열실이 상하로 무한히 연결돼 있는 책의 우주이다. 인류가 유사 이래 쌓아올린 모든 지식의 집대성에 흔히 비유되곤 한다. 얼핏 성경 속 바벨탑과 고대 이집트 알렉산드리아 도서관을 교묘하게 합친 상상의 공간 같기도 하다. 아무튼 인류의 무한 지식창고라는 기발한 상상력에 매혹돼 이후 여러 창작자들이 이 개념을 오마주했다.
이탈리아 기호학자 움베르토 에코는 소설 '장미의 이름'에서, 크리스토퍼 놀란 감독은 영화 '인터스텔라'에서 흡사 바벨의 도서관처럼 보이는 공간을 등장시켰다. 어쩌면 구글, 메타 등 빅테크 기업들이 현재 개발 중인 초인공지능(ASI)이 궁극적인 인류 전체 지식체계의 종착역일지도 모른다.
그런데 노벨상을 받은 저명한 경제학자가 지나친 AI 의존이 인류의 지식체계 붕괴를 초래할 수도 있다며 경고하고 나섰다. 그는 AI가 너무 정확한 답을 내놓지 못하도록 성능을 일부러 조금 낮추자는 제안까지 내놓았다. 다론 매사추세츠공과대학(MIT) 교수팀은 미국 국립경제연구소(NBER) 보고서에서 이 같은 주장을 펼쳐 언론의 집중 조명을 받았다. '인공지능, 인간 인지와 지식 붕괴(AI, Human Cognition and Knowledge Collapse)'란 제목의 보고서는 정식 동료심사를 거친 최종 학술지 논문은 아니지만 파급력이 상당히 컸다. 아제모을루 교수팀의 요지는 "AI가 똑똑해질수록 인간이 더 똑똑해지는 게 아니라, 오히려 인간이 배우고 탐구할 유인이 약해져 사회 전체의 지식 축적이 무너질 수 있다"는 경고다. 특히 문제 삼는 것은 단순 검색 AI가 아니라, 사용자의 상황을 파악해 결론과 행동 지침까지 제시하는 에이전트형 AI다. AI 에이전트는 당장의 의사결정 품질은 높일 수 있겠지만, 장기적으로는 인간이 스스로 배우고 검증하고 경험을 축적하는 노력을 대체해 버릴 수 있다고 주장했다.
논문은 인간 지식 체계를 두 종류로 나눈다. 하나는 사회가 함께 축적한 일반지식이다. 금융투자를 하려면 금융상품의 기본 구조를 알아야 하고, 의료적 판단을 하려면 질병과 치료법에 대한 공통지식이 있어야 한다. 다른 하나는 개인이 처한 상황에 맞는 맥락 특수 지식이다. 내 건강 상태, 내 투자 목적, 내 직장의 특수한 업무 환경 같은 것들이다. 아제모을루 교수팀은 좋은 의사결정이란 이 두 가지가 결합될 때 가능하다고 보았다. 여기서 중요한 대목은 인간의 학습이 단지 개인에게만 이익을 주지 않는다는 점이다. 사람이 어떤 문제를 직접 풀고, 자료를 읽고, 실험하고, 실패하고, 경험을 기록하면 그 결과 중 일부는 공동체의 지식으로 축적된다. 바벨의 도서관이 더 높아지는 것이다. 논문은 이를 일종의 '학습 외부효과'로 본다. 개인은 자기 문제를 해결하려고 공부하지만, 그 과정에서 아주 얇은 공적 기여가 생기고, 그것이 쌓여 사회 전체의 일반지식이 된다.
논문의 가장 중요한 명제는 이렇다. 일반지식은 인간의 학습 노력을 보완하지만, 에이전트형 AI의 맞춤형 추천은 인간의 학습 노력을 대체한다. 일반지식이 풍부하면 사람은 더 많이 배우려 한다. 배워서 얻을 수 있는 보상이 커지기 때문이다. 반대로 AI가 "이 경우에는 이렇게 하라"고 꽤 정확한 답을 주면, 사람은 굳이 공부하고 탐색하고 검증할 이유가 줄어든다. 이것은 당장에는 손해가 아니다. 오히려 개인은 더 좋은 결정을 내릴 수 있다. 예컨대 AI가 내 세금 신고, 투자 포트폴리오, 논문 요약, 진료 정보, 법률 문서 검토를 잘 도와주면 당장의 성과는 올라간다. 하지만 장기적으로는 문제가 생긴다. 인간이 직접 배우지 않으면, 다음 세대가 물려받을 일반지식의 흐름이 약해진다. AI가 제공하는 답변도 결국 인간 사회가 축적한 지식에 기대고 있는데, 그 지식을 새로 생산하는 인간의 노력이 줄어드는 것이다. 바벨의 도서관이 허물어지는 셈이다. 논문은 이것을 '정태적 이익과 동태적 손실의 충돌'로 설명했다.
이는 인공적 합성 데이터로 학습한 AI 모델이 갈수록 성능이 저하되다가 결국 붕괴하고 말더라는 영국 연구진의 조사 결과를 떠올리게 한다. GPT 계열 AI 모델은 좋은 성능을 내기 위해 파라미터(매개변수) 값을 조정하면서 훈련시키는 사전 학습과정이 필수다. 인간이 평생 배울 지식의 양을 엄청난 반도체 계산으로 단기간 내 마친다. 2016년 이세돌과 대결했던 알파고는 인간의 기보(棋譜), 즉 휴먼데이터로 학습했다. 그러나 다음 모델인 알파제로는 바둑 규칙만 입력한 두 대의 AI가 수많은 대국을 치러가며 스스로 배웠다. 합성 데이터 모델이라 할 수 있다. 최신 AI 모델은 2가지 학습 방식을 조합한 하이브리드형이다. 각각 장단점이 있다. 합성 데이터는 프라이버시, 저작권료 등 휴먼 데이터의 제약을 피하려는 수요 때문에 자율주행, 의료 등 첨단 분야에서 꾸준히 확산되고 있다. 그러나 위에 지적한 모델 붕괴 가능성은 해소되지 않은 리스크이다. 그래서 인간 개입 강화학습(RLHF) 등 보완형 기술이 끊임없이 이어지고 있다. 과도한 AI 의존은 인류 지식체계 붕괴뿐 아니라, AI 모델 자체의 붕괴도 초래하는 것이다.
지식 붕괴는 문명이 하루아침에 무너진다는 뜻은 아니다. 더 정확히는 사회 전체의 일반지식이 장기 균형에서 사라지거나 극도로 약화되는 상태를 말한다. 사람들은 여전히 AI에게서 개인 맞춤형 조언을 받을 수 있다. 그런데 인간들이 스스로 배우고 검증하고 지식을 축적하지 않기 때문에, 그 조언을 평가하고 개선하고 사회적으로 공유할 기반이 말라간다. 특히 인간의 학습 노력이 AI의 정확도에 민감하게 반응하는 분야에서 이런 붕괴가 일어날 수 있다고 강조헀다. AI 추천이 조금 좋아졌을 때 사람들이 "이제 내가 굳이 배울 필요가 없다"고 빠르게 반응하는 영역이다. 요즘 실시간 통번역 AI 기술이 발전하자 외국어 학습의 수요가 줄고 있다. 인간 학습이 사라져 언어학의 일반지식이 0에 가까워질 수 있다. 일정한 문턱 아래로 지식 축적량이 떨어지면 다시 회복하기 어렵다. 더 심각하게는 에이전트형 AI의 추천 정확도가 어떤 임계값을 넘을 경우, 고지식 균형 자체가 사라지고 처음부터 지식붕괴 균형으로 수렴할 수 있다. 이를 complete collapse, 즉 완전 붕괴라고 부른다.
논문은 인류의 지식 붕괴를 막기 위해 두 갈래 해법을 제시했다. 첫째, 인간이 생산한 일반지식을 더 잘 모으고 공유하는 능력의 강화이다. 더 좋은 교육, 공개 지식 인프라, 연구 데이터 공유, 전문가 공동체, 위키형 지식 축적, 공공 데이터베이스 같은 것들이 여기에 해당한다. 논문은 일반지식을 잘 모으고 결합하는 능력이 커질수록 사회 복지가 높아지고 지식 붕괴 회복력도 커진다고 분석했다. 둘째, 에이전트형 AI의 추천을 무조건 더 정밀하게 만드는 것이 아니라, 경우에 따라 정보 설계상 규제가 필요할 수 있다고 주장한다. 논문은 AI 추천의 유효 정밀도를 일부러 낮추는 가블링(garbling), 즉 '정보 흐림' 정책까지 이론적으로 검토한다. 표현은 거칠지만 취지는 "AI가 정답을 다 떠먹여 주지 않도록 설계해 인간의 학습 유인을 보존하자"는 것이다.
이 보고서는 AI 공포론이라기보다 인지노동의 공공재 문제를 제기한 논문이다. 인간의 학습은 개인의 사적 행위처럼 보이지만, 실제로는 사회 전체의 지식 생태계를 유지하는 공공재 생산이다. 그런데 AI가 개인에게 너무 편리한 대체재가 되면, 각자는 합리적으로 학습을 줄인다. 하지만 모두가 그렇게 하면 지식 생태계가 쇠퇴한다. 전형적인 공유지의 비극이다.
이 논문이 겨냥하는 것은 AI 자체가 아니라, 인간을 지식 생산자에서 단순 소비자로 밀어내는 AI 사용 방식이다. 물론 이 논문은 실증 보고서가 아니라 이론 모델이다. 실제 사회가 정말로 지식 붕괴로 갈지는 교육제도, 직업훈련, 연구문화, AI 설계, 플랫폼 규제, 인간의 자율성 유지 방식에 따라 달라진다. 그래도 경고는 선명하다. AI 시대의 핵심 과제는 '더 똑똑한 기계'를 만드는 것만이 아니라, 인간이 계속 배우고 판단하고 지식을 남기도록 '더 현명한 제도'를 설계하는 일이다.
 |
| ▲ 노성열 논설위원 |
● 노성열은
30여 년 경력의 경제부 기자로 산업계와 인공지능(AI)을 주로 취재했다. 기획재정부, 산업통상자원부, 과학기술정보통신부 등 정부 부처 및 경제 단체를 출입하면서 삼성, 현대, SK 등 대기업과 중소벤처업계 현장에서 발생하는 뉴스를 다루어왔다. 일본, 법제도, AI를 포함한 첨단 과학기술 등이 주 관심분야다. 언론계뿐 아니라 학계에도 진출해 지식재산권(IP) 인식 제고와 공학교육 개혁에 매진하고 있다.
△KAIST 공학석사, 한양대 국제학대학원 일본지역학 석사, 고대 법대 및 한국외국어대 일본어학과 학사 △1991년 문화일보 입사 △북리뷰팀, 법조팀, 산업팀장, 전국(지방자치)부 부장 △한국지식재산기자협회(KIPJA) 회장(2024~) △대구경북과학기술원(DGIST) 외부협력 총장 보좌역(2024.6~) △영국 옥스퍼드대 VOX(Voice From Oxford) 한국지부 대표(2024~) △한국과학기술단체총연합회 '과학과 기술' 편집위원(2023~) △국가녹색기술연구소 정간물 편집위원(2024~) △식품의약품안전처 정책자문위원(2020~2022) △한국과학기술정보연구원(KISTI) 데이터미래전략위원회 미래정책분과 자문위원(2021~2023) △한국지능정보사회진흥원(NIA) '인공지능 활성화 방안 연구' 총괄위원(2023) △주요 저서: 뇌 우주 탐험(이음, 2022), 인공지능 시대 내 일의 내일(동아시아, 2020)
[저작권자ⓒ KPI뉴스. 무단전재-재배포 금지]
