국제앰네스티는 새 보고서를 통해 기업들이 자사의 생성형 인공지능(AI) 제품을 구축하기 위해 불법적인 웹 스크래핑으로 방대한 온라인 데이터를 추출하고 있으며,
이러한 방식이 대규모 사생활 침해를 구조적으로 가능하게 한다는 점에서 해당 시스템들은 설계상 불법이라고 밝혔다.
새 보고서 〈설계부터 위법: 생성형 AI가 초래하는 인권 침해의 대가를 폭로하다(Unlawful by Design: Exposing the Human Rights Costs of Generative AI)〉는
이러한 시스템을 구축하고 학습시키는 데 사용되고 있는 대규모 데이터 추출 및 처리 과정에 존재하는 심각한 위험 요소들을 논한다.
여기에는 설계상 발생하는 사생활권 침해 및 환경과 역사적으로 소외된 공동체들에 미치는 부정적인 결과 등이 포함된다.
리키타 바너지 국제앰네스티 알고리즘 책무성 연구소 대표는 다음과 같이 밝혔다.
“세계 곳곳의 기업들이 효율성과 정교함을 내세워 생성형 AI 제품을 공급하고 있지만, 그 이면에는 이러한 시스템들은 불법적인 웹 스크래핑에 의존하며 대규모 사생활 침해를 지속화시키고 있다.
웹 스크래핑은 웹 사이트에서 이미지, 소셜미디어 활동 등 개인정보가 포함될 수 있는 데이터를 자동으로 추출해서 AI 모델 학습에 사용하는 과정이다.”
“생성형 AI 시스템을 구축하는 과정에서 활용되는 대규모 데이터 추출 파이프라인, 기술 기업들이 자체적으로 내리는 설계상 선택 그리고 착취적인 공급망에 기반한 기술 개발 방식은 대규모 인권 침해의 위험을 불러일으킨다.”
국제앰네스티는 오픈 AI의 GPT 3, 구글의 제미나이, 메타의 라마, 딥시크 및 미드저니와 스테이블 디퓨전의 도구 등 대중에게 공개된 가장 인기 있는 몇몇 독립형 생성형 AI 도구들을 구동하는 모델들을 조사했다.
이 시스템들은 수십억 개의 공개 온라인 게시물과 이미지에서 정보를 추출하는 방식에 의존하고 있으며,
이 과정은 해당 게시물에 등장하거나 그것을 만든 사람의 명시적인 동의 없이 이루어지는 경우가 많다.
이러한 방식은 설계 단계부터 사생활을 침해하는 것일 뿐만 아니라, AI 모델을 구동하는 데이터 세트가
방대해질수록 혐오적이고 차별적인 콘텐츠가 증폭되는 결과를 낳는다. 더불어 인종과 성별에 기반한
부정적인 고정관념과 편견을 확산시킬 위험도 크다.
인종, 성별 및 문화적 편견은 생성형 AI 시스템이 일관되게 드러내는 특징이다. 이러한 인공지능 시스템은
대부분 웹에서 끌어온 학습 데이터의 산물이므로 현실 세계의 편견들로 오염되어 있으며, 이러한 편견들은
역사적으로 소외된 공동체들에 해를 끼친다.
게다가, 생성형 AI 시스템은 예측 제안을 통해 사용자들의 생각에 영향을 끼치고 개인의 신념을 조성한다는
점에서 사상의 자유에 대한 권리를 위협하기도 한다. 특히 방대한 학습 데이터에 의존하는 대형 모델의 경우에는 더더욱 그렇다.
리키타 바너지 대표는 다음과 같이 말했다.
“이러한 선택이 불가피한 것은 아니다. 우리는 기업들이 개인 데이터를 포함한 학습 데이터, 즉 동의 없이 대규모로 추출되는 데이터에 의존하여 생성형 AI 시스템을 구축하는 설계 상의 선택들에 문제를 제기해야 한다.”
“이는 인권을 경시하는 태도로 사업을 운영하는 AI 기업들 사이에 나타나는 가장 심각한 관행 중 하나이며, 시급히 해결해야 한다. 당국이 지금 당장 나서서 방향을 바로잡는다면, 기술 발전의 궤도를 바꿀 수 있다.”
환경에 미치는 무거운 대가
생성형 AI를 제작하는 기업들의 개발 규모와 속도가 빨라지면서 필요한 기반시설 및 이와 연관된 환경 비용도 늘어나고 있다.
대형 모델들이 처리해야 할 정보량이 늘어남에 따라 더 많은 에너지 집약적 칩과 더 큰 데이터 센터가 필요해지고, 결과적으로 시스템 운용에 드는 에너지와 물도 늘어난다.
그 결과, 생성형 AI의 생산은 종종 역사적으로 소외된 공동체들에 부정적인 영향을 미칠 수 있다.
이들 공동체의 토지와 자원이 데이터 센터 건설과 대규모 연산 수요를 충족시키는 데 착취되기 때문이다.
구글이 2024년에 발표한 자체 지속성 보고서에서는 2019년 이후로 구글의 온실가스 배출량이 무려 48% 증가했다고 지적하면서 그 원인으로 데이터 센터와 공급망 관련 배출을 언급했다.
마이크로소프트(MS) 역시 2020년에서 2024년까지 온실가스 배출량이 29% 증가했는데, 이는 AI 지원 프로세스를 수행하는 데이터 센터가 초래한 결과였다.
생성형 AI 제작에 자원이 집약적으로 사용됨에 따라 칠레의 세리요스, 멕시코의 케레타로 및 미국의 애리조나에서는
이미 가뭄과 전력 부족의 심각한 영향을 받고 있는 지역에 데이터 센터가 들어오는 것을 반대하는 공동체들이 생겨났다.
국제앰네스티는 조사 과정의 일환으로 구글, 오픈 AI, 메타, 스태빌리티 AI, 미드저니, 딥시크에 서한을 보내 이번 조사 결과에 대한 답변 기회를 제공했다.
보고서에는 해당 기업들의 모델이 불법적인 웹 스크래핑에 의존하고 있으며, 이와 관련해 다른 여러 인권 우려사항도 존재한다는 내용이 담겨 있었다.
국제앰네스티는 또한 인텔과 브이엠웨어에도 서한을 보내 차별 위험에 관한 우려를 구체적으로 지적했고,
구글과 마이크로소프트 및 아마존에는 그들의 생성형 AI 시스템과 관련 기반시설이 환경에 끼치는 해악에 대해 문제를 제기했다.
본 보고서 발표 시점까지 국제앰네스티에 답변을 보내온 기업은 마이크로소프트, 아마존, 인텔, 오픈 AI, 메타뿐이다. 그들의 답변 요약도 보고서에 실려 있다.
국제앰네스티는 각국 정부에 웹에서 대량의 학습 데이터를 수집하는 불법적인 웹 스크래핑을 사용해 구축된 독립형 생성형 AI 시스템을 금지할 것을 촉구한다.
또한, 기업들은 AI 학습을 목적으로 동의 없이 개인 데이터를 수집하는 불법적인 웹 스크래핑 관행을 즉시 중단해야 하며,
각국 정부는 시스템 설계와 사업상 결정으로 인해 조금이라도 인권 침해에 연루된 기업에 책임을 물어야 한다.
보고서 개요
본 보고서는 생성형 AI 제품을 구동하는 ‘데이터 파이프라인’⎯데이터 캡처, 분석, 처리 등 이러한 시스템의 전반적인 기능 수행에 필수적인 단계들의 집합⎯을 인권 차원에서 분석한 내용을 담고 있다.
특히, 본문은 생성형 AI 모델의 학습 데이터와 관련해 설계 측면에서 이루어지는 선택의 매개변수와 그 의미를 자세히 살펴본다. 이때 데이터 수집 방법과 출처, 데이터 처리, 모델 스케일링*, 데이터 출력 측면에 초점을 둔다.
* 모델 스케일링(scaling): AI 모델의 성능 향상을 위해 모델의 크기, 데이터 세트의 크기, 연산력 등을 체계적으로 증가시키는 전략
국제앰네스티가 정의하는 독립형 생성형 AI 도구는 AI 챗봇, 이미지/영상/오디오/텍스트 생성기 등 기업 자체의 생성형 AI 기능만을 위해 특화하여 개발, 배포 및 판매되는 제품들을 말한다.
따라서 더 큰 제품군에 생성형 AI가 추가 기능으로 포함된 제품, 이를테면 워드 프로세싱 소프트웨어에 생성형 AI 기능이 선택 사항으로 추가되는 경우 등은 독립형 생성형 AI 도구에 포함하지 않았다.
자세한 내용은 자료실*에서 확인할 수 있다.