딥페이크 음악이란 무엇인가요? 그리고 어떻게 만들어지나요?

오랫동안 음악은 사람의 목소리를 합성하는 것이 너무 복잡하다는 이유로 딥페이크의 세계를 피할 수 있었습니다. 하지만 AI 기술의 발전으로 모든 것이 바뀌었습니다. 그 결과 유명 아티스트의 목소리를 복제하여 새로운 보컬 트랙을 제작할 수 있게 되었습니다.

일반인도 AI 도구에 쉽게 접근할 수 있게 되면서 딥페이크 음악은 점점 더 큰 문제가 되고 있습니다. 딥페이크가 무엇이며 어떻게 만들어지는지 알아보세요.

딥페이크 음악의 진화

스포티파이나 유튜브에서 좋아하는 아티스트의 노래를 들으면 그것이 가짜일 수 있다고는 거의 생각하지 못하지만, AI의 발전으로 인해 이것이 현실이 되었습니다. 가짜 이미지와 동영상과 함께 딥페이크 음악도 존재합니다.

AI 도구는 목소리의 오디오 샘플로 AI 모델을 학습시켜 사람의 노래하는 목소리를 충실하게 재현할 수 있습니다. 아티스트의 팬이나 AI 기술에 관심이 많은 사람들이 보컬 도플갱어를 만들려고 시도하고 있습니다.

컴퓨터로 목소리를 합성하려는 시도는 1961년 IBM 7094가 최초로 노래를 부를 때로 거슬러 올라가 수년 동안 계속되어 왔습니다. 데이지 벨을 노래하는 컴퓨터 생성 음성을 YouTube 클립 에서 들어보고 이 순간이 얼마나 놀라웠는지 상상해 보세요.

21세기로 넘어오면서 인공지능 기술은 합성 음성의 품질을 향상시켰을 뿐만 아니라 사람의 목소리를 복제하는 등 지금까지는 불가능하다고 생각했던 일들을 가능하게 했습니다.

로베르토 닉슨이 아티스트이자 래퍼인 카니예 웨스트의 목소리로 변신한 이 영상을 보세요. 영상을 보면 정말 카니예와 똑같이 들리는 기묘한 느낌이 들지만, 한편으로는 보기가 불편하기도 합니다. 아티스트의 생각이나 감정을 충분히 고려하지 않고 허락 없이 다른 사람의 목소리를 도용한 것으로 비춰질 수 있기 때문입니다.

데이지 벨의 컴퓨터 렌더링과 달리 AI 보컬 복제는 누군가의 목소리를 정확하게 재현할 수 있으며, 여기에는 그 사람의 고유한 보컬 프로필을 식별하는 데 도움이 되는 미묘한 음색의 차이도 모두 포함됩니다. 그러나 허가 없이 무단으로 사용되는 딥페이크 음악에는 몇 가지 심각한 문제가 있으며, 이에 대해서는 나중에 자세히 설명하겠습니다.

딥페이크 노래 제작 방법

딥페이크 노래를 만드는 데는 다양한 방법이 사용되고 있지만, 그 중 상당수는 AI 기술을 사용합니다. 예를 들어, 깃허브의 SoftVC VITS 노래하는 목소리 변환 프로젝트 와 같은 오픈 소스 프로젝트는 이름 그대로 오디오 샘플을 노래하는 목소리로 변환하는 AI 모델을 개발했습니다.

이 모델은 누군가가 노래하는 기존 오디오 파일을 가져와 다른 사람의 목소리로 변환합니다. 원래 목소리의 가사나 리듬 등은 그대로 유지되지만 톤, 음색, 개인의 보컬 특성은 훈련 데이터 세트에서 지정한 목소리로 변환됩니다.

원 아티스트와 동일한 스타일과 장르로 비트와 멜로디를 만드는 등 노래의 다른 부분은 여전히 수동으로 제작될 수 있습니다.

카니예 웨스트의 목소리 딥페이크 제작을 위해서는 실제 카니예의 목소리 샘플이 포함된 타사 데이터셋을 SoftVC VITS 모델에 입력해야 했습니다. 이후 해당 데이터 세트가 포함된 파일은 작성자가 삭제했는데, 무단 데이터 세트에 수반될 수 있는 불투명한 법적 영역을 고려할 때 이는 놀라운 일이 아닙니다.

상용 앱으로 전환되지는 않았지만, 구글 콜라보 에서 더 사용자 친화적인 SoftVC VITS 모델 버전을 찾을 수 있습니다.

윤리적, 법적 경계가 확립되기 전까지는 아티스트 드레이크의 이름을 딴 노래로 텍스트 설명을 바꿔주는 드레이크잇(Drayk.it) 앱과 크게 다르지 않은 더 사용하기 쉬운 음성 복제 앱이 등장할 수 있습니다. 이 앱은 나중에 종료되었습니다.

딥페이크 음악을 만드는 데 사용되는 다른 도구로는 유명 아티스트의 스타일로 가사를 작성하는 데 사용할 수 있는 ChatGPT 과 같은 대규모 언어 모델과 처음부터 완전히 원시 오디오 형태로 음악을 만들 수 있는 생성형 AI 모델인 OpenAI의 Jukebox 및 Google의 MusicLM 등이 있습니다.

차이점이 들리세요?

2023년 4월, 익명의 사용자 Ghostwriter가 만든 트랙은 아티스트 Drake와 The Weeknd가 부른 가사로 인해 TikTok에서 입소문을 타기 시작했습니다. 물론 이는 아티스트의 실제 목소리가 아니라 가짜 목소리였습니다.

보컬이 원곡의 좋은 카피가 아니었다면 히트곡이 되지 못했을 수도 있습니다. 조금만 파보면 진짜인지 아닌지 금방 알 수 있지만, 귀로만 들어서는 진짜인지 아닌지 짐작만 할 수 있습니다.

AI가 생성한 이미지를 식별하려면 최소한 몇 가지 시각적 수차를 찾아볼 수 있습니다. 오디오의 경우, 저음질 오디오나 트랙의 글리치와 같은 징후는 음악 제작에 항상 사용되는 창의적인 선택이므로 큰 의미가 없습니다.

더욱 흥미로운 점은 많은 사람들이 이 노래가 드레이크나 위켄드의 실제 목소리가 아니라는 사실을 알고도 진정으로 좋아한다는 것입니다. 찬사하는 사람들은 모든 것이 단순히 AI로 생성된 것은 아니며 가사를 쓰고, 비트를 작곡하고, 모든 것을 조합하는 데 실제 기술과 노력이 들어갔다고 지적했습니다.

이 곡은 며칠 후 삭제되기 전에 Spotify와 YouTube에 올랐는데, 팬들이 MP3로 다운로드한 후에야 겨우 내려갔습니다. 온라인에서 “Heart On My Sleeve, Drake ft. The Weeknd”를 검색하세요.

조만간 AI가 생성한 보컬 클론과 실제 사람의 목소리를 구별하는 것은 거의 불가능해질 것입니다. 이를 염두에 두고 사람들은 이것이 애초에 AI 기술의 좋은 사용인지, 심지어 합법적인 사용인지에 대해 의문을 제기하고 있습니다.

딥페이크 음악의 문제점

한편으로 사람들은 자신이 좋아하는 아티스트의 팬 메이드 매시업을 듣는 것을 즐기고 이를 현실로 만드는 데 들어가는 창의성을 존중합니다. 그러나 애초에 보컬 클론을 만들 수 있는 능력은 승인되거나 승인되지 않은 데이터 세트에 의존합니다.

허가 없이 사람의 목소리 샘플을 데이터 세트에 수집하여 AI 음성 변환 모델을 학습하는 데 사용합니다. 이는 Dall-E 또는 Midjourney와 같은 AI 이미지 생성기를 훈련하는 데 사용되는 훈련 데이터세트에서 자신의 이미지를 제거하려는 아티스트가 직면하는 문제와 유사합니다.

저작권법도 딥페이크 음악을 다룰 준비가 되어 있지 않습니다. 2020년, 아티스트 Jay-Z는 윌리엄 셰익스피어의 “To Be or Not to Be” 독백에 나오는 대사를 랩하는 AI 생성 오디오를 유튜브에서 강제로 내리게 하려다 실패했습니다.

스포티파이나 유튜브에 딥페이크 곡이 업로드되면 누가 돈을 버는지에 대한 의문도 생깁니다. 다른 사람의 목소리를 거의 그대로 베낀 노래로 돈을 벌 수 있을까요?

홀리 허든 은 자신의 목소리 모델을 사용하여 독창적인 작품을 만드는 대가로 사람들에게 보상을 받을 수 있는 시스템을 만들려고 시도한 아티스트 중 한 명입니다. 닉 케이브 와 같은 다른 아티스트들은 인공지능 에 반대하는 목소리를 냈습니다:

노래는 고통에서 비롯되며, 이는 창작이라는 복잡하고 내적인 인간 내면의 투쟁을 전제로 한다는 의미이며, 제가 아는 한 알고리즘은 느끼지 못한다는 것을 의미합니다.

때때로 인공지능이 생성한 텍스트는 창의성이 전혀 없는데도 온라인에 게시되는 경우가 있습니다. AI는 노력이 거의 투입되지 않은 나쁜 음악을 많이 만들어낼 수 있습니다.

음악과 AI 사이의 균형 찾기

딥페이크 음악은 승인되지 않은 데이터 세트에 대해 학습된 AI 도구와 AI 모델을 사용하여 만들어집니다. 일부 모델은 오픈 소스이며 자유롭게 액세스할 수 있는 반면, 다른 모델은 사용자 친화적인 앱으로 패키지화하려는 시도를 하고 있습니다.

더 많은 사람들이 딥페이크 음악 모델이나 앱을 사용하게 되면서 아티스트에게 미치는 영향에 대해 생각해 볼 필요가 있습니다. 학습 데이터 세트에 대한 동의와 아티스트에 대한 보상은 AI 음악 기술에서 직면한 문제 중 일부에 불과합니다.