Clips AI

O que é Clips AI?

Clips AI é uma biblioteca Python de código aberto projetada para converter automaticamente vídeos longos em clips mais curtos. É particularmente útil para vídeos centrados em áudio e baseados em narrativas, como podcasts, entrevistas, discursos e sermões. A biblioteca fornece funcionalidades para segmentar vídeos em vários clips e redimensionar suas proporções de aspecto de 16:9 para 9:16.

Principais Recursos do Clips AI

• Recorte Automático de Vídeos: Utiliza um algoritmo de recorte que analisa a transcrição de um vídeo para identificar e criar clips.
• Redimensionamento Dinâmico de Vídeos: Redimensiona vídeos para focar no orador atual, convertendo o vídeo em várias proporções de aspecto.
• Integração com WhisperX: Utiliza WhisperX para transcrever vídeos, que inclui funcionalidade adicional para detectar os tempos de início e fim de cada palavra.
• Diarização de Oradores: Utiliza Pyannote para diarização de oradores, exigindo um token de acesso do Hugging Face.

Como o Clips AI Funciona?

1. Transcrição: O vídeo é primeiro transcrito usando WhisperX, que fornece carimbos de tempo detalhados para cada palavra.
2. Identificação de Clips: O algoritmo de recorte analisa a transcrição para identificar segmentos que podem ser convertidos em clips.
3. Redimensionamento de Vídeo: O algoritmo de redimensionamento reenquadra dinâmicamente o vídeo para focar no orador atual, ajustando a proporção de aspecto conforme necessário.

Como Usar o Clips AI?

Instalação

Para instalar o Clips AI, você precisa configurar um ambiente virtual e instalar as dependências necessárias:

pip install clipsai
pip install whisperx@git+https://github.com/m-bain/whisperx.git

Além disso, você precisa instalar libmagic e ffmpeg.

Criando Clips

Aqui está um exemplo simples de como criar clips a partir de um vídeo:

from clipsai import ClipFinder, Transcriber

transcriber = Transcriber()
transcription = transcriber.transcribe(audio_file_path="/abs/path/to/video.mp4")

clipfinder = ClipFinder()
clips = clipfinder.find_clips(transcription=transcription)

print("StartTime: ", clips[0].start_time)
print("EndTime: ", clips[0].end_time)

Redimensionando um Vídeo

Para redimensionar um vídeo, você precisa de um token de acesso do Hugging Face para Pyannote:

from clipsai import resize

crops = resize(
    video_file_path="/abs/path/to/video.mp4",
    pyannote_auth_token="pyannote_token",
    aspect_ratio=(9, 16)
)

print("Crops: ", crops.segments)

Por que Escolher o Clips AI?

• Eficiência: Automatiza o processo de conversão de vídeos longos em clips, economizando tempo e esforço.
• Flexibilidade: Suporta várias proporções de aspecto e foca no orador atual para melhor engajamento.
• Código Aberto: Gratuito para usar e modificar, com uma comunidade de desenvolvedores contribuindo para sua melhoria.

Para Quem é o Clips AI?

Clips AI é ideal para desenvolvedores, criadores de conteúdo e qualquer pessoa que deseje reutilizar vídeos longos em clips mais curtos e envolventes. É particularmente útil para podcasts, entrevistas, discursos e sermões.

A Melhor Forma de Reutilizar Vídeos

Clips AI oferece uma maneira fluida de reutilizar vídeos longos em clips mais curtos, facilitando o compartilhamento e o engajamento com seu público. Seja você um criador de conteúdo, um profissional de marketing ou um desenvolvedor, o Clips AI pode ajudá-lo a maximizar o valor do seu conteúdo de vídeo.