Sesame

Sesame AI: Cruzando o Vale da Estranheza da Voz Conversacional

O que é Sesame AI? A Sesame AI se dedica a alcançar a "presença de voz" na inteligência artificial, com o objetivo de tornar as interações faladas reais, compreendidas e valorizadas. Sua pesquisa se concentra na criação de parceiros de conversação que se envolvem em um diálogo genuíno, construindo confiança ao longo do tempo.

Como funciona a Sesame AI? A Sesame AI apresenta o Modelo de Fala Conversacional (CSM), uma tarefa de aprendizado multimodal de ponta a ponta usando transformadores. O CSM aproveita o histórico da conversa para produzir uma fala mais natural e coerente.

Componentes-chave:

• Inteligência emocional: ler e responder a contextos emocionais.
• Dinâmica conversacional: tempo natural, pausas, interrupções e ênfase.
• Consciência contextual: ajustar o tom e o estilo para corresponder à situação.
• Personalidade consistente: manter uma presença coerente, confiável e apropriada.

Detalhes Técnicos do CSM:

• O CSM opera como um modelo de estágio único, melhorando a eficiência e a expressividade.
• Ele usa dois transformadores auto-regressivos baseados na arquitetura Llama.
• O modelo processa texto e áudio intercalados para modelar o codebook zero.
• Um decodificador de áudio separado usa um cabeçalho linear distinto para cada codebook para reconstruir a fala a partir das representações da espinha dorsal.

Amortização de Computação:

Para resolver os desafios de infraestrutura durante o treinamento, a Sesame AI usa um esquema de amortização de computação que alivia o gargalo de memória, preservando a fidelidade dos codebooks RVQ completos. O decodificador de áudio é treinado apenas em um subconjunto aleatório de 1/16 dos quadros de áudio, enquanto o codebook zero é treinado em todos os quadros.

Experimentos e Resultados:

A Sesame AI treinou três tamanhos de modelo (Tiny, Small e Medium) em um grande conjunto de dados de áudio disponível publicamente. A avaliação incluiu métricas objetivas como Taxa de Erro de Palavras (WER) e Similaridade de Falantes (SIM), bem como novos benchmarks baseados em transcrição fonética para desambiguação de homógrafos e consistência de pronúncia.

Métricas subjetivas, usando estudos de Pontuação Média de Opinião Comparativa (CMOS) no conjunto de dados Expresso, revelaram que, embora a naturalidade esteja saturada, permanece uma lacuna entre a prosódia gerada e a humana na geração de fala conversacional.

Por que escolher Sesame AI? A abordagem da Sesame AI oferece um caminho promissor para conversas de IA mais naturais e envolventes. Ao se concentrar na inteligência emocional, na consciência contextual e na dinâmica conversacional, a Sesame AI visa criar companheiros digitais que realmente entendam e respondam às necessidades humanas.

Como usar Sesame AI? Experimente a visualização da fala conversacional no site da Sesame AI para experimentar o potencial de sua abordagem. Os modelos estarão disponíveis sob uma licença Apache 2.0.

Para quem é a Sesame AI? A Sesame AI é para pesquisadores, desenvolvedores e qualquer pessoa interessada em avançar no campo da IA conversacional. Seu trabalho tem aplicações em diversas áreas, incluindo:

• Assistentes de IA
• Atendimento ao cliente
• Educação
• Entretenimento

Código Aberto e Trabalho Futuro:

A Sesame AI está comprometida em abrir o código de componentes-chave de sua pesquisa, permitindo que a comunidade experimente, construa e aprimore sua abordagem. O trabalho futuro inclui aumentar o tamanho do modelo, aumentar o volume do conjunto de dados, expandir o suporte a idiomas e explorar maneiras de utilizar modelos de linguagem pré-treinados.