Jump to content

오픈 소스 SoniTranslate를 사용하여 비디오를 더빙할 때 발생하는 주요 문제(말하기 속도 저하)를 해결합니다. (Community Wishlist/W374/ko)

Community opportunity
From Meta, a Wikimedia project coordination wiki

View all wishes.

Description
여기 0:34와 1:05에
여기 0:47에

이것이 위키미디어 도구가 아니라는 것은 알고 있습니다. 하지만 오픈 소스이고 위키미디어 목적으로 사용된다면, 사실상 위키미디어 사용자들이 위키미디어를 위해 사용하는 도구이며, 이 도구의 일부 문제는 위키미디어 사용자들에게 영향을 미칩니다. 기존에 무료 라이선스를 받은 도구가 있다면 굳이 새 도구를 개발할 필요는 없습니다. 오히려 위키미디어에 더 특화되고 몇 가지 문제점을 수정하기 위해 필요하다면 포크할 수 있습니다.

SoniTranslate는 파이썬으로 작성되었으며 Apache-2.0 라이선스에 따른 무료 소프트웨어이고, 최고의 오픈소스 더빙/전사/AI 음성 도구일 수 있습니다.

저는 위키백과 문서의 팟캐스트 오디오를 제작하는 데 이 기능을 광범위하게 사용했는데, 그 오디오는 매우 훌륭하고 아마추어 내레이터가 말하는 오디오보다 훨씬 듣기 좋았습니다. 그리고 팟캐스트 대신 이런 오디오를 듣는 쪽으로도 일부 눈을 돌렸습니다.

이 도구는 영상에 자막을 추가하고 다른 언어로 더빙하는 데에도 사용할 수 있는데, 이는 완전히 수동으로 작업하는 것보다 많은 시간을 절약할 수 있으며 보통 아무런 문제 없이 작동합니다.

하지만 몇 가지 문제가 있습니다. 사소한 문제처럼 보이지만 꽤 귀찮고 화질을 떨어뜨립니다. 가장 큰 문제는 이 도구가 가끔 음성 속도를 느리게 만든다는 것입니다. 옆에 있는 두 개의 예시 영상을 확인해 보세요. 이 도구를 사용하여 독일어에서 영어로 재더빙했는데, 지정된 타임스탬프에서 음성 속도가 느려집니다.

이 문제를 해결하고 위키미디어 리더빙에 더욱 적합하도록 도구를 개선하면 위키미디어 시청각 콘텐츠와 다국어 지원에 큰 도움이 될 것입니다. Terra X의 공용 카테고리 비디오만 해도 리더빙 가능한 고품질 교육 비디오가 엄청나게 많습니다. 위키미디어에서 지금까지 자막 추가 및 비디오 번역을 위해 어떤 노력을 기울였든, 이 도구를 사용하면 단 1년 만에 그 두 배를 달성할 수 있습니다.

문제는 다음과 같습니다: 번역된 오디오의 속도가 느려집니다. (#89)

추가적인 주요 문제는 c:Help:AI video dubbing#Known problems에 나열되어 있습니다.

관련 소원: 공용의 비디오에 대한 TimedTexts 자막 생성 속도를 높이기 위한 자동 변환 도구

Assigned focus area

Unassigned

Type of wish
Bug report
Tags
Affected users

위키백과 독자, 공용 사용자

Other details
Voting

This wish currently has 1 supporter. Voting for this wish is open until it is completed.

Supporters of this wish
Support Prototyperspective (talk) 14:11, 14 April 2025