VoiceCraft

VoiceCraft : édition vocale zero-shot et synthèse vocale (TTS) en conditions réelles

VoiceCraft est un outil open source puissant qui offre des performances de pointe pour l’édition vocale et la synthèse vocale zero-shot (TTS). Il excelle dans le traitement de données audio variées et réelles, notamment les livres audio, les vidéos sur Internet et les podcasts. Ce qui distingue VoiceCraft, c’est sa capacité à cloner ou à modifier une voix inédite en utilisant seulement quelques secondes d’audio de référence.

Qu’est-ce que VoiceCraft ?

VoiceCraft est un modèle de langage de codec neuronal de remplissage de jetons conçu pour des tâches d’édition vocale et de TTS de haute qualité. Il tire parti de l’apprentissage zero-shot, ce qui signifie qu’il peut s’adapter à de nouvelles voix avec un minimum de données d’entraînement.

Comment fonctionne VoiceCraft ?

VoiceCraft fonctionne comme un modèle de langage de codec neuronal. Les aspects clés de sa fonctionnalité sont les suivants :

• Remplissage de jetons: VoiceCraft utilise une technique de remplissage de jetons pour éditer et générer de la parole de manière fluide.
• Apprentissage Zero-Shot: Il peut s’adapter à de nouvelles voix avec seulement quelques secondes d’audio de référence, éliminant ainsi le besoin de données d’entraînement importantes.
• Modèle de langage de codec neuronal: Cette architecture permet une synthèse et une édition vocales de haute qualité.

Comment utiliser VoiceCraft ?

Il existe plusieurs façons d’utiliser VoiceCraft :

• Google Colab: La façon la plus simple de commencer est d’utiliser les blocs-notes Google Colab fournis pour l’édition vocale et l’inférence TTS.
• Docker: Utilisez l’image Docker fournie pour un environnement cohérent et reproductible.
• Script autonome: Intégrez VoiceCraft dans vos projets à l’aide des scripts autonomes.

Voici une ventilation de chaque méthode :

Google Colab

Google Colab offre un moyen simple de commencer à utiliser VoiceCraft. Suivez ces étapes :

1. Ouvrez le bloc-notes Speech Editing Colab.
2. Ouvrez le bloc-notes TTS Inference Colab.
3. Suivez les instructions dans les blocs-notes pour exécuter les démos.

Docker

Docker fournit un environnement cohérent pour exécuter VoiceCraft. Voici comment le configurer :

1. Clonez le référentiel :

   git clone git@github.com:jasonppy/VoiceCraft.git
   cd VoiceCraft
   

2. Construisez l’image Docker :

   docker build --tag "voicecraft" .
   

3. Démarrez le conteneur Docker :

   ./start-jupyter.sh  # linux
   start-jupyter.bat   # windows
   

4. Ouvrez l’URL indiquée dans les journaux Docker dans votre navigateur.

5. Ouvrez inference_tts.ipynb et suivez les instructions.

Script autonome

Pour utiliser VoiceCraft comme script autonome :

1. Assurez-vous que votre environnement est correctement configuré (consultez la section Configuration de l’environnement).

2. Utilisez les scripts tts_demo.py et speech_editing_demo.py.

   python3 tts_demo.py -h
   

Pourquoi choisir VoiceCraft ?

• Capacité Zero-Shot: S’adapte rapidement à de nouvelles voix avec un minimum de données.
• Sortie de haute qualité: Offre des performances de pointe en matière d’édition vocale et de TTS.
• Polyvalence: Fonctionne bien avec diverses sources audio.
• Open Source: Encourage les contributions et la personnalisation de la communauté.

À qui s’adresse VoiceCraft ?

VoiceCraft est idéal pour :

• Les chercheurs: Exploration de la synthèse vocale et des techniques d’édition.
• Les développeurs: Intégration de capacités TTS avancées dans les applications.
• Les créateurs de contenu: Génération de voix off de haute qualité et d’audio modifié.
• Les amateurs: Expérimentation avec le clonage de voix et la manipulation audio.

Principales caractéristiques:

• Smart Transcript: Permet aux utilisateurs de spécifier exactement ce qu’ils veulent générer.
• Mode TTS: TTS zero-shot pour générer de la parole à partir de texte.
• Mode Édition: Capacités d’édition vocale pour modifier l’audio existant.
• Mode TTS long: Simplifie la TTS sur les textes longs.

Configuration de l’environnement:

Pour configurer votre environnement pour VoiceCraft :

1. Créez un nouvel environnement Conda :

   conda create -n voicecraft python=3.9.16
   conda activate voicecraft
   

2. Installez les packages nécessaires :

   pip install -e git+https://github.com/facebookresearch/audiocraft.git@c5157b5bf14bf83449c17ea1eeb66c19fb4bc7f0#egg=audiocraft
   pip install xformers==0.0.22
   pip install torchaudio==2.0.2 torch==2.0.1
   apt-get install ffmpeg
   apt-get install espeak-ng
   pip install tensorboard==2.16.2
   pip install phonemizer==3.2.1
   pip install datasets==2.16.0
   pip install torchmetrics==0.11.1
   pip install huggingface_hub==0.22.2
   conda install -c conda-forge montreal-forced-aligner=2.2.17 openfst=1.8.2 kaldi=5.5.1068
   mfa model download dictionary english_us_arpa
   mfa model download acoustic english_us_arpa
   conda install -n voicecraft ipykernel --no-deps --force-reinstall
   

Formation et mise au point:

VoiceCraft prend en charge la formation et la mise au point sur des ensembles de données personnalisés. Le processus implique :

1. Préparation des énoncés et de leurs transcriptions.
2. Codage des énoncés en codes à l’aide d’Encodec.
3. Conversion des transcriptions en séquences phonémiques.
4. Création d’un fichier manifeste.

La meilleure façon d’exploiter VoiceCraft est d’utiliser les scripts et les blocs-notes fournis, et de les adapter à votre cas d’utilisation spécifique. Qu’il s’agisse d’édition vocale, de TTS ou de clonage vocal, VoiceCraft offre une solution robuste et flexible.

VoiceCraft est concédé sous licence CC BY-NC-SA 4.0 (LICENSE-CODE) pour le code de base et Coqui Public Model License 1.0.0 (LICENSE-MODEL) pour les pondérations du modèle. Il incorpore également du code provenant d’autres référentiels sous les licences MIT et Apache 2.0.