Les avancées de la voix et de l'audio : modèles et produits de synthèse vocale, de dialogue en temps réel, de génération musicale et de compréhension audio.
63 sélections30 derniers jours 16 entréesTotal : 183 entrées
mise à jour
Archives de la sélection · page 2
23 septembremer.21–40 entrées · Au total 63 entrées
Google DeepMind annonce Gemini 3.8 Flash TTS et Gemini 3.8 Flash-Lite TTS, deux modèles de synthèse vocale générative disponibles dans Google AI Studio.
Motif de la recommandation :Google DeepMind détaille les capacités vocales et les garde-fous des deux modèles TTS, utile pour évaluer les usages en doublage et agents vocaux.
Motif de la recommandation :Les deux modèles de dialogue en temps réel de Google DeepMind sont présentés avec leurs scores sur plusieurs benchmarks vocaux et agentiques, ce qui permet de situer leurs capacités et leur positionnement prix.
Motif de la recommandation :L'original présente les capacités vocales et le support téléphonique de GPT-Live-1, ce qui permet de juger des scénarios de voix en temps réel dans l'API.
Motif de la recommandation :Le modèle de transcription vocale de Google expose les taux d'erreur, la latence et les API, ce qui permet de juger son intégration dans les flux vocaux existants.
Motif de la recommandation :Trois sondes quantifient l'optimisation aux benchmarks en ASR et montrent que les meilleurs scores WER ne garantissent pas la fidélité au signal audio.
Motif de la recommandation :L'article détaille l'architecture multi-agents asynchrone et le protocole d'évaluation randomisé d'AMIE (Video), utile pour comprendre comment un système vocal et visuel temps réel est structuré et testé.
Motif de la recommandation :Le benchmark couvre plus de 40 modèles vocaux et 15 dimensions, avec des données d'évaluation humaine à grande échelle qui permettent de comparer les capacités réelles des systèmes vocaux.
Motif de la recommandation :L'article détaille l'architecture MoE, les variantes de quantification et le support d'inférence jour 0, ce qui aide à évaluer les besoins matériels et les options de déploiement.
OpenAI présente GPT-Live, une nouvelle génération de modèles vocaux destinés à l'interaction naturelle entre l'humain et l'IA, désormais utilisés par ChatGPT Voice.
Motif de la recommandation :L'original expose une architecture vocale ouverte et modulaire avec les composants et le point d'accès au code, ce qui permet de juger comment assembler un pipeline speech-to-speech temps réel.
Google DeepMind publie Gemini 3.5 Live Translate, un modèle audio capable de détecter automatiquement plus de 70 langues et de générer une traduction vocale naturelle en temps réel.
Motif de la recommandation :Le modèle prend en charge plus de 70 langues et est déployé sur l'API Gemini Live, Google Meet et Google Translate, ce qui permet de comparer les scénarios d'application de la traduction vocale en temps réel.
Motif de la recommandation :L'architecture sans encodeur et l'exécution locale sur 16 Go de VRAM permettent de juger de l'impact sur les déploiements embarqués.
Motif de la recommandation :Guide pas à pas pour exécuter localement toute la chaîne vocale de Reachy Mini, avec composants recommandés et options de déploiement interchangeables.
Motif de la recommandation :L'original présente les nouvelles capacités des modèles vocaux en temps réel dans l'API OpenAI, ce qui permet de juger de leur impact sur les applications vocales existantes.
Motif de la recommandation :L'original détaille l'architecture hybride Mamba-Transformer-MoE et les gains sur les benchmarks documents, vidéo et audio, ce qui permet de situer les capacités omni-modales ouvertes.
Google DeepMind annonce Gemini 3.1 Flash TTS, un nouveau modèle de synthèse vocale offrant un contrôle granulaire via des balises audio en langage naturel. Le modèle atteint un score Elo de 1 211 sur le classement TTS d'Artificial Analysis, prend en charge plus de 70 langues et le dialogue multi-locuteurs natif. Il est déployé en preview pour les développeurs via l'API Gemini et Google AI Studio, pour les entreprises sur Vertex AI, et pour les utilisateurs Workspace via Google Vids. Tous les audios générés sont marqués par SynthID.
Motif de la recommandation :Le nouveau modèle de synthèse vocale introduit des balises audio en langage naturel et un support de plus de 70 langues, avec un déploiement en preview via l'API Gemini et Vertex AI.
Motif de la recommandation :Le modèle de voix de Google DeepMind améliore la précision et réduit la latence, avec des scores sur ComplexFuncBench Audio et Audio MultiChallenge qui permettent de situer les capacités de dialogue en temps réel.
Motif de la recommandation :Mistral publie son premier modèle TTS avec architecture, latence et tarification détaillées, utile pour évaluer les briques vocales d'un agent.
Google Research présente WAXAL, un corpus vocal ouvert couvrant 27 langues d'Afrique subsaharienne parlées par plus de 100 millions de locuteurs dans plus de 26 pays. La publication inclut environ 1 846 heures d'audio transcrit pour la reconnaissance automatique de la parole (ASR) et plus de 565 heures d'enregistrements haute fidélité pour la synthèse vocale (TTS), sous licence CC-BY-4.0. Le projet, mené depuis 2021 avec des universités et organisations communautaires africaines, vise à soutenir la recherche et le développement de technologies vocales inclusives.
Motif de la recommandation :L'article détaille la composition et les licences d'un corpus vocal multilingue, utile pour évaluer la couverture des langues à faibles ressources.