해외 강의 영상을 번역해 팀에 공유하고 싶었지만 더빙 의뢰 비용이 부담이었다. ElevenLabs로 내 목소리를 5분 분량으로 학습시키고, HeyGen의 자동 더빙 기능을 썼더니 내 목소리로 영어 강의가 한국어로 더빙됐다.
1. AI 더빙 활용 두 가지 방법
방법 1 — 기존 영상 자동 번역 더빙: HeyGen의 “Video Translate” 기능을 쓰면 영상을 올리고 목표 언어를 선택하는 것만으로 자동 번역 + 더빙이 된다. 입술 움직임도 번역된 내용에 맞게 자동 조정(립싱크)된다.
방법 2 — 내 목소리 복제 후 더빙: ElevenLabs에서 내 목소리를 학습시키고, 번역된 스크립트를 내 목소리로 TTS(텍스트 음성 변환)해서 원본 영상에 붙인다.
| 방법 | 장점 | 단점 |
|---|---|---|
| HeyGen 자동 더빙 | 빠름, 립싱크 자동 | 월정액 필요, 원본 목소리 아님 |
| ElevenLabs 복제 | 내 목소리 유지 가능 | 별도 편집 필요, 시간 더 걸림 |
2. ElevenLabs 음성 복제 시작하기
elevenlabs.io에 접속해 “Voice Lab” → “Add a new voice” → “Instant Voice Cloning”을 선택한다. 잡음 없는 환경에서 녹음한 1~5분 분량의 오디오를 올리면 내 목소리 모델이 생성된다. 이후 텍스트를 입력하면 내 목소리로 읽어주는 오디오가 나온다.
한국어 TTS 품질도 상당히 좋아졌다. 억양이나 자연스러움에서 아직 영어만큼은 아니지만, 실용적 수준에는 도달했다.
자주 묻는 질문
무료로 써볼 수 있나요?
ElevenLabs는 무료 플랜에서 월 10,000자 TTS가 가능합니다. 음성 복제 기능은 유료 플랜($5/월~)에서 지원합니다. HeyGen 자동 더빙은 유료 기능입니다.
한국어 더빙이 자연스럽게 들리나요?
2025년 현재 HeyGen의 한국어 자동 더빙과 ElevenLabs의 한국어 TTS 모두 많이 개선됐습니다. 공식 더빙이 필요한 고품질 콘텐츠보다는 내부 교육 자료나 SNS 콘텐츠에 적합한 품질입니다.
해외 유용한 강의나 영상을 팀에 공유해야 한다면 HeyGen 더빙 기능을 시도해보자. 몇 분 안에 한국어 더빙 버전이 나와 팀 교육 자료로 쓸 수 있다. 영상 제작 더 알아보려면 Runway·Pika 영상 생성 가이드를 참고하자.