영화/드라마 등 영상에서 자막 추출하기.(Feat. 팟플레이어)

안녕하세요. 달소입니다.

주말동안에 OTT에서도 없는 영화를 보려고 이모조모 노력해서 영상은 받았는데

자막이 맞는게 없어서 찾다보니 신기한것들이 많이 생겼더라구요.

그래서 간단하게(?) 영화/드라마 등 영상에서 자막을 추출하고 번역하는 가이드를 작성해보려고합니다.

첫글은 자막 추출 편 입니다 ㅎㅎ

준비물은 팟 플레이어입니다.

카카오TV 톡에서 즐기는 동영상 콘텐츠! 지금 카톡에서 카카오TV 채널을 추가해보세요. from TV.KAKAO.COM

설치 후 추출전에 간단하게 과정에 대한 설명을 드리겠습니다.

팟플레이어에서 지원하는 영상에서 소리추출은 Whisper AI를 이용해서 진행됩니다.

1. Whisper AI란 무엇인가요?

Whisper AI는 ChatGPT로 유명한 OpenAI가 개발한 인공지능 음성 인식 모델입니다. 이 모델은 방대한 양의 음성 데이터를 학습하여, 사람의 말을 놀라울 정도로 정확하게 텍스트로 변환해주는 기술(STT, Speech-to-Text)입니다.

주요 특징:

• 높은 정확도: 다양한 억양, 배경 소음이 있는 환경에서도 음성을 비교적 정확하게 인식합니다.
• 다국어 지원: 한국어를 포함한 90개 이상의 다양한 언어를 인식하고 처리할 수 있습니다.
• 오픈소스: 기술이 공개되어 있어, 팟플레이어와 같은 다양한 프로그램에서 이 기술을 활용한 기능을 개발할 수 있습니다.
• 다양한 활용: 동영상 자막 생성, 강의나 회의록 작성, 음성 명령 등 여러 분야에서 활용되고 있습니다.

간단히 말해, Whisper AI는 '듣는 AI'로서, 영상 속 대사나 사람의 말을 알아듣고 자동으로 글자로 받아 적어주는 똑똑한 비서라고 생각할 수 있습니다.

2. 팟플레이어에서 '소리로 자막 생성' 기능 사용하기

팟플레이어는 바로 이 Whisper AI 기술을 활용하여 영상의 소리만으로 자막을 실시간으로 만들어주는 강력한 기능을 제공합니다. 더 이상 자막 파일을 찾아다닐 필요 없이, 외국어 영상이나 자막이 없는 영상도 편리하게 감상할 수 있습니다.

단계별 사용 방법:

1. 영상 재생 및 메뉴 열기
   • 자막을 만들고 싶은 영상을 팟플레이어에서 재생합니다.
   • 영상 화면 위에서 마우스 오른쪽 버튼을 클릭하여 메뉴를 엽니다.
2. '소리로 자막 생성' 선택
4. AI 엔진 다운로드 및 설정 (최초 1회)
   • 처음 사용하는 경우, AI 엔진(모델)을 다운로드해야 합니다. Whisper AI 엔진 항목 옆의 [다운로드] 버튼을 눌러 설치를 진행합니다.
   • 모델 크기 선택: 모델의 크기에 따라 속도와 정확도가 달라집니다.
     • Small: 가장 빠르고 리소스를 적게 사용합니다. 일반적인 환경에서 추천합니다.
     • Medium, Large: 더 정확하지만, 처리 시간이 오래 걸리고 높은 컴퓨터 성능을 요구합니다.
5. 자막 생성 시작
   • 설정이 완료되면 [시작] 버튼을 누릅니다.
6. 자막 확인 및 저장
   • 변환이 완료되면 영상에 맞춰 자막이 자동으로 나타납니다.
   • 생성된 자막을 파일로 저장하고 싶다면, 자막 > 자막 저장 > SMI/SRT 파일로 자막 저장을 선택하여 저장할 수 있습니다.

영상 전체의 소리를 분석하여 자막을 만들기 시작하며, 영상 길이에 따라 몇 분 정도의 처리 시간이 필요할 수 있습니다.

언어 설정: 영상의 언어를 직접 지정하면 정확도가 향상됩니다. 한국어 영상이라면 Korean을 선택하고, 잘 모를 경우 Auto로 설정합니다.

자막 > 소리로 자막 생성 메뉴로 이동합니다.

이 경우 영어로 출력하게되면 영어자막이 생기는데 

실시간 자막 번역 -> 사용 을 해주시면 단순 번역정도는 기본적으로 됩니다만,, 번역 퀄리티가 만족스럽지 못하게 나오긴합니다.

그래서 다음글에서는 이렇게 추출한 srt 자막파일을 LLM을 통해서 번역해보도록 하겠습니다.