: 멀티모달 데이터로 본 AI 음악 생성 현황

by [email protected]

1. Intro

음악을 만들어 보고 싶다는 생각. 누구나 한번즘은 해보지 않을까요? 근데 왜 우리들은 그 생각을 실천에 옮기지 않을까요? 아마 그건 너무나 많은 난관이 기다리고 있기 때문이겠죠. 악기를 마스터하기 위한 노력과 화성학, MIDI 같은 이론의 장벽들이 꽤 거대하게 느껴지거든요.

하지만 이제 세상이 바뀌어버렸네요. 음악과 우리 사이에 AI가 스며들고 있어요. 인내심이 필요한 F코드와 콩나물 대신 우린 단지 음악을 잘 설명하기만 하면 된답니다. 음악 AI가 여러분이 느낀 감정과 장면을 음악으로 만들어주는 시대가 왔어요. 낭만이 없는 것 같다구요? 하지만 음악을 만들어 보고 싶다는 순수한 생각은 여전히 낭만적이지 않나요?

자, 그럼 오늘은 AI를 통해 요즘 사람들이 ‘어떻게’ ‘어떤’ 음악을 만들어내고 있는지, 그 달라진 풍경을 저희 믹스오디오에 축적된 데이터를 통해 한번 엿보도록 하겠습니다.

참고로 믹스오디오는 2023년 11월 첫 베타서비스를 시작으로 2024년 2월 유료화를 진행해 활발히 서비스되고 있는 AI 음악 생성기에요. 특히 세계 최초로 멀티모달 기능을 탑재해 ‘프롬프트' 뿐 아니라 ‘이미지', ‘오디오'를 입력해 그에 매칭되는 음악을 생성할 수 있는 멋진 녀석이랍니다! 현재까지 특별한 광고 캠페인도 없이 입소문만으로 12,000명이 넘는 가입자를 확보했구요, 36만 곡이 넘는 곡을 생성해오고 있습니다!

2. 사람들은 어떻게 음악을 만들까요? (멀티모달 사용 행태)

믹스오디오에서는 음악을 만들기 위해 3가지 주요한 방식을 사용할 수 있어요. 하나는 프롬프트, 그리고 다른 하나는 이미지, 마지막으로 오디오를 입력할 수 있는데요. 프롬프트는 챗GPT처럼 자연어를 기반으로 원하는 음악을 요청하는 방식이구요. 이미지는 이미지 파일을 입력하거나, 웹상의 이미지라면 URL을 입력해 그 이미지에 어울리는 음악을 AI가 생성해주는 방식이에요. 마지막으로 오디오는 역시 파일과 링크URL로 입력 가능한데요. AI에게 레퍼런스음악을 들려주는 것이라고 생각하면 되요. 입력된 음악을 분석해서 그와 유사한 무드, 장르의 음악을 생성해준답니다. 자, 그러면 과연 사람들은 이러한 멀티모달 기능을 어떻게 이용했을까요?

✔️ 어떤 방식을 많이 사용했나요? (사용빈도)

결과는 프롬프트의 승리(?)였네요. 사용자들은 3가지 방식을 단일하게 이용하기도 하고, 서로 섞어서 사용하기도 했는데요. 그 중에서도 프롬프트 단일 입력 방식이 전체의 60%를 차지 했어요. 그 다음이 프롬프트와 오디오를 함께 입력한 경우로 전체의 약 9%를 차지했습니다. 아무래도 ChatGPT, 미드저니 등 자연어 기반의 생성형 AI가 대중화된 결과일까요? 사람들은 프롬프트를 통해 음악을 생성하는 경험을 가장 친숙하게 생각하는 것 같네요!

✔️ 어떤 방식이 제일 만족스러웠을까요? (사용만족도)

Graph2_Multimodal Conversion (1).png

많이 사용했다고 해서 그 방식이 더 탁월하다고는 말할 수 없는데요. 왜냐면 사용만족도를 확인하는 데이터에서는 조금 다른 결과가 나왔기 때문이죠! 저희는 만족도를 측정해보기 위해 입력 후 생성된 음악을 최종적으로 다운로드까지 한 횟수를 통해 계산해봤어요. 여기서는 오디오 단일 입력의 케이스가 1위를 기록했어요. 그 다음 2위는 이미지, 오디오, 프롬프트를 모두 입력한 케이스, 3위는 텍스트, 이미지를 함께 입력한 케이스였습니다!