무기화된 딥페이크

현실에서 하지 않은 행동을 한 것처럼 보이게 만드는 AI 생성 이미지가 악의적으로 활용되는 사례가 점점 더 늘어나고 있다.

📋한눈에 보는 AI 요약AI 자동 요약▶ 펼쳐보기

AI 기술을 이용해 실제로 하지 않은 말이나 행동을 한 것처럼 꾸며낸 가짜 영상이나 사진을 ‘딥페이크’라고 합니다. 최근 이런 딥페이크가 너무 정교해져서 진짜와 구별하기 어려워졌고, 누구나 쉽고 저렴하게 만들 수 있게 되었습니다. 이런 가짜 콘텐츠가 정치 선전, 성적 이미지 제작, 사기 등에 악용되면서 사회적으로 큰 문제가 되고 있습니다. 특히 여성과 소수자가 가장 큰 피해를 입고 있으며, 딥페이크의 98%가 음란물이고 그중 99%가 여성 대상입니다. 기술적 대응이나 법률 규제가 시도되고 있지만, 쉽게 우회되거나 제대로 집행되지 않아 문제 해결이 쉽지 않은 상황입니다.

왜 중요한가요?

가짜 영상과 이미지가 너무 정교해지면서 우리가 보는 뉴스나 정보를 믿을 수 있는지가 위협받고 있고, 선거나 여론에까지 영향을 미쳐 민주주의와 사회 신뢰의 근간을 흔들 수 있기 때문에 모든 사람에게 중요한 문제입니다.

주요 용어 설명

AI 슬롭 (AI Slop)

AI가 대량으로 찍어낸 품질이 낮고 의미 없는 콘텐츠를 말합니다. 인터넷에 넘쳐나는 조잡한 AI 생성 이미지나 글처럼, 자세히 보면 가짜임을 비교적 쉽게 알아볼 수 있는 저품질 콘텐츠를 가리킵니다.

워터마크 (Watermark)

사진이나 영상에 눈에 잘 보이지 않는 표시를 넣어서 원본 출처나 AI가 만든 것인지를 확인할 수 있게 하는 기술입니다. 지폐에 위조 방지용 숨겨진 무늬가 있는 것처럼, 디지털 콘텐츠에도 비슷한 ‘인증 마크’를 삽입하는 방식입니다.

⚡ Claude AI가 독자를 위해 자동 생성한 요약입니다. 원문을 함께 읽어보세요.

수년간 전문가들은 딥페이크, 즉 현실에서 하지 않은 행동이나 발언을 한 것처럼 보이게 만드는 AI 생성 영상·이미지·음성이 악의적으로 활용될 수 있다고 경고해 왔다.

이제 이러한 위험은 현실이 됐다. 딥페이크 기술의 발전과 사용이 쉽고 저렴한(혹은 무료) 생성형 모델의 확산으로 누구나 이전보다 훨씬 더 손쉽게 현실을 조작할 수 있게 됐으며 이를 식별하기는 점점 더 어려워지고 있다.

문제는 단순히 인터넷을 뒤덮은 비교적 쉽게 가짜임을 알아볼 수 있는 ‘AI 슬롭(AI slop)’이 아니다. 성적으로 노골적인 이미지부터 사기 게시물, 정치 선전에 이르기까지 ‘무기화된 딥페이크(weaponized deepfake)’는 놀라울 만큼 실제처럼 보일 수 있다. 이미 전 세계에서 이러한 딥페이크가 폭력을 부추기고, 여론을 바꾸려 하며(심지어 투표 결과에까지 영향을 미치려 하며), 전반적인 불신을 확산시키는 사례가 나타나고 있다.

이 때문에 전문가들은 무기화된 딥페이크가 비판적 사고 능력뿐 아니라 제도와 타인에 대한 신뢰까지 심각하게 훼손할 수 있다고 우려한다. 이는 사회 전반과 거버넌스에 중대한 영향을 미치는 건 물론이고 직접적인 피해 대상에게도 치명적 결과를 초래할 수 있다. 다른 기술 피해 사례들과 마찬가지로 이러한 영향은 여성과 소외된 집단에 더욱 크게 작용할 가능성이 높다. 실제로 2023년 연구에 따르면 딥페이크의 98%가 음란물 성격을 띠고 있었으며, 그중 99%는 여성을 대상으로 한 것으로 나타났다.

대표적인 사례가 일론 머스크가 지난해 말 출시한 ‘그록’이다. 이 AI 챗봇의 ‘이미지 편집’ 기능 사용자들은 아동과 여성을 포함한 수백만 장의 성적 대상화 이미지를 생성했다. 그록으로 생성된 이미지의 81%가 여성을 묘사한 것으로 추정된다는 보고서도 나왔다. 광범위한 비판에도 불구하고 그록을 만든 xAI의 초기 대응은 해당 기능을 유료 이용자에게만 제한하는 것이었다. 이후에는 일부 국가에서 불법인 경우 노출 생성 기능을 차단했다.

정치적 딥페이크 역시 급증하고 있다. 예를 들어 도널드 트럼프 행정부는 AI로 생성된 이미지와 영상을 지속적으로 제작·공유해 왔다. 이 가운데 일부는 애초에 사실처럼 보이려는 의도가 없지만, 다른 일부는 여론을 조작하거나 특정 인물을 조롱하기 위한 목적으로 제작된 것으로 보인다.

한편 지난 1월, 켄 팩스턴(Ken Paxton) 텍사스주 법무장관은 공화당 상원 예비선거 경쟁자인 존 코닌(John Cornyn) 상원의원과 민주당 후보 경선 주자인 재스민 크로켓(Jasmine Crockett)이 함께 춤을 추는 것처럼 보이는 영상을 공유했다. 그러나 이는 실제로 일어난 일이 아니었으며, 해당 광고는 이를 명확히 밝히지 않았다.

그러나 이러한 접근에는 한계가 있다. 기술적 대응은 쉽게 우회될 수 있으며, 악의적 행위자들은 안전장치가 없는 오픈소스 모델로 이동할 수 있다. 사진에 워터마크를 추가하거나 온라인에 개인 정보를 덜 공개하도록 행동을 바꾸는 것도 현실적으로 쉽지 않다. 규제 역시 강력한 집행이 뒤따라야 하지만, 트럼프 대통령이 딥페이크 음란물을 범죄로 규정하는 법안에 서명했음에도 그의 행정부는 여전히 다른 유형의 유해한 딥페이크를 게시하고 있다. 실제로 올해 1월 말 백악관은 미니애폴리스의 한 민권 변호사 사진을 변조해 피부색을 어둡게 하고 차분한 표정을 과장된 표정으로 바꾼 이미지를 공유하기도 했다.

이 문제는 가까운 시일 내 더욱 악화될 가능성이 크다. 올해 11월 미국에서는 중요한 중간선거가 예정돼 있지만, 전통적으로 선거 관련 정보의 신뢰성을 관리해 온 연방 기관들의 기능이 약화된 상태다. 사실 확인과 선거 관련 허위정보 대응에 힘써 온 외부 연구기관들 역시 비슷한 상황에 놓여 있다.

The post 무기화된 딥페이크 appeared first on MIT 테크놀로지 리뷰 | MIT Technology Review Korea.