Les dessous de l'entraînement : construction de jeux de données, données synthétiques, méthodes de pré-entraînement et de post-entraînement, puissance de calcul et coûts d'entraînement.
421 sélections30 derniers jours 196 entréesTotal : 1 416 entrées
mise à jour
Archives de la sélection · page 16
31 juilletven.301–320 entrées · Au total 421 entrées
Motif de la recommandation :L'analyse expose le mécanisme d'un réseau de fraude publicitaire utilisant des TV boxes comme source de trafic captive, avec des chiffres de revenus estimés.
Motif de la recommandation :Le système complet est ouvert, du boîtier à la chaîne de traitement, ce qui permet de juger du coût et des étapes pour collecter soi-même des données de manipulation.
Google Research présente SensorFM, un grand modèle de fondation de capteurs pré-entraîné sur plus de mille milliards de minutes de signaux multimodaux issus de cinq millions de participants consentants, couvrant plus de 100 pays et plus de 20 modèles d'appareils Fitbit et Pixel Watch. Le modèle apprend par reconstruction auto-supervisée avec le cadre Adaptive and Inherited Masking (AIM), qui traite les données manquantes comme un artefact naturel plutôt que de les imputer ou de les écarter. Sur 35 tâches de santé issues de trois études prospectives totalisant 13 985 participants, les sondes linéaires sur les embeddings de SensorFM surpassent la baseline supervisée à caractéristiques d'ingénierie sur 34 tâches, et le plus grand modèle (SensorFM-B) réduit la perte de reconstruction de 31 % par rapport à la plus petite variante, avec un gain moyen de 9 % en AUC sur les tâches de classification et de 21 % en coefficient de Pearson sur les tâches de régression. Un système d'agents LLM collaboratifs et concurrents a exploré plus de 30 000 solutions candidates pour construire des têtes de prédiction, battant une sonde linéaire simple sur 16 des 20 tâches de classification et 12 des 15 tâches de régression. Intégré à un Personal Health Agent, SensorFM a permis des résumés de santé jugés significativement meilleurs que la baseline sur cinq dimensions par un panel de cliniciens, sans différence statistiquement significative avec l'utilisation de mesures de référence réelles.
Motif de la recommandation :L'article détaille un modèle de fondation entraîné sur plus de mille milliards de minutes de données de capteurs, avec des gains mesurés sur 35 tâches de santé.
Google Research présente TabFM, un modèle de fondation pour la classification et la régression sur données tabulaires qui élimine l'entraînement manuel.
Motif de la recommandation :L'article détaille l'architecture hybride et l'entraînement sur données synthétiques de TabFM, ce qui permet de comprendre comment le zero-shot s'applique aux données tabulaires.
Des chercheurs ont utilisé un modèle de raisonnement d'OpenAI pour aider au diagnostic de maladies rares, identifiant 18 nouveaux diagnostics dans des cas auparavant non résolus.
Motif de la recommandation :Les benchmarks comparatifs de la bibliothèque PEFT montrent que LoRA n'est pas toujours le meilleur compromis, avec des chiffres et des configurations transférables.
Motif de la recommandation :L'essai contrôlé randomisé pré-enregistré en Sierra Leone fournit des chiffres d'effet et des données d'interaction, utiles pour évaluer l'usage pédagogique de l'IA.
Google Research présente PHRM, un système de recherche qui utilise la caméra frontale du smartphone pour capturer des vidéos du visage après le déverrouillage et estime la fréquence cardiaque par photopléthysmographie à distance et apprentissage profond, avec une MAPE inférieure à 10 % par rapport à l'électrocardiogramme. Le système agrège les mesures de la journée pour estimer la fréquence cardiaque au repos quotidienne, avec une MAE inférieure à 5 bpm par rapport aux objets portables. L'étude s'appuie sur plus de 350 000 clips vidéo de près de 700 participants, en veillant à la représentation des différents tons de peau, et publie le plus grand ensemble de données vidéo de smartphone disponible pour la recherche ainsi qu'un modèle pré-entraîné PHRM-mini.
Motif de la recommandation :Le système PHRM utilise la caméra frontale du téléphone pour surveiller en arrière-plan la fréquence cardiaque et la fréquence cardiaque au repos, avec une précision proche de celle des objets portables, et publie le plus grand ensemble de données diversifié à ce jour.
Motif de la recommandation :Mistral acquiert Emmi AI pour intégrer la physique dans ses modèles et ses agents d'ingénierie, un signal sur la convergence entre IA et industrie.
Motif de la recommandation :L'article détaille les performances d'ERA sur plusieurs benchmarks et huit cas d'application scientifique, permettant de juger de l'apport de l'outil à la recherche computationnelle.
Google DeepMind présente l'utilisation de Co-Scientist par les biologistes Omar Abudayyeh et Jonathan Gootenberg pour accélérer la recherche sur le vieillissement cellulaire. L'outil a analysé des dizaines de milliers d'articles et proposé plus de 20 facteurs génétiques nouveaux et plausibles à tester ; des tests en laboratoire ont validé quelques hypothèses, les facteurs recommandés ayant conduit les cellules vers un état plus jeune avec une fonction globale améliorée. Co-Scientist réduit aussi le temps d'analyse des données de criblage, qui pouvait prendre jusqu'à six mois, à quelques jours seulement.
Motif de la recommandation :L'original montre comment Co-Scientist propose des cibles génétiques et réduit de six mois à quelques jours l'analyse de criblage, une méthode transférable à d'autres équipes.
Motif de la recommandation :Un cas concret montre comment un système d'IA propose des médicaments candidats et comment deux d'entre eux bloquent la fibrose sur cellules hépatiques humaines.
Motif de la recommandation :Quatre cas scientifiques concrets montrent comment ERA s'articule avec Gemini Deep Think et les données d'observation existantes, offrant un aperçu des modes de collaboration entre LLM et recherche.
Motif de la recommandation :L'article détaille le pipeline de pré-entraînement en cinq phases et la recette RL de Granite 4.1, utile pour comprendre comment un dense 8B rivalise avec un MoE 32B.
Google DeepMind publie un article sur Decoupled DiLoCo, une architecture distribuée qui divise les entraînements LLM en îlots de calcul découplés avec flux de données asynchrone.
Motif de la recommandation :L'article détaille l'architecture Decoupled DiLoCo et ses résultats sur Gemma 4, permettant de comprendre comment l'entraînement distribué gagne en résilience et en efficacité.
Google Research présente Simula, un cadre de génération de données synthétiques sans seed qui construit des jeux de données à partir de principes premiers via la conception de mécanismes. Le système décompose la génération en quatre axes contrôlables : diversification globale par taxonomies hiérarchiques, diversification locale par méta-prompts, complexification configurable et contrôle qualité par boucle à double critique. Évalué avec Gemini 2.5 Flash comme modèle enseignant et Gemma-3 4B comme élève sur cinq domaines (cybersécurité, raisonnement juridique, GSM8k, Global MMLU), il génère jusqu'à 512K points par domaine ; une complexité élevée apporte un gain de 10 % en mathématiques mais nuit au raisonnement juridique. Simula alimente l'écosystème Gemma (ShieldGemma, FunctionGemma, MedGemma) et des fonctions de protection des utilisateurs comme la détection d'arnaques sur Android et le filtrage de spam dans Google Messages.
Motif de la recommandation :L'article expose une méthode de génération de données synthétiques pilotée par le raisonnement et ses résultats sur cinq domaines, utile pour comprendre comment couvrir des cas rares sans données réelles.
Motif de la recommandation :L'article détaille comment des neurones synthétiques générés par IA réduisent les erreurs de reconstruction et le temps de relecture manuelle, avec des chiffres concrets.
Google Research présente Vantage, une expérience de recherche qui évalue les compétences durables des élèves en les plaçant dans des conversations simulées avec des avatars IA. Un Executive LLM pilote le dialogue pour susciter des occasions de démontrer des compétences comme la résolution de conflits ou la gestion de projet, puis un AI Evaluator note la conversation selon une grille d'évaluation. Une étude conjointe avec la New York University menée auprès de 188 testeurs de 18 à 25 ans indique que l'accord entre l'AI Evaluator et les experts humains est comparable à celui entre deux évaluateurs experts. Vantage est disponible en anglais sur Google Labs.
Motif de la recommandation :L'article détaille un dispositif d'évaluation des compétences durables par des avatars IA pilotés par un Executive LLM, avec validation par des experts humains.
Motif de la recommandation :Le modèle compact et son adaptateur LoRA sont décrits avec les benchmarks de tableaux, graphiques et KVP, ce qui aide à juger son intérêt pour l'extraction documentaire.
Google Quantum AI a publié un livre blanc montrant que de futurs ordinateurs quantiques pourraient casser la cryptographie à courbes elliptiques protégeant les cryptomonnaies avec moins de qubits et de portes que estimé auparavant. Les circuits compilés pour l'algorithme de Shor sur ECDLP-256 utilisent moins de 1 200 qubits logiques et 90 millions de portes Toffoli, ou moins de 1 450 qubits logiques et 70 millions de portes Toffoli, exécutables en quelques minutes sur un CRQC supraconducteur de moins de 500 000 qubits physiques, soit une réduction d'environ 20 fois du nombre de qubits physiques nécessaires. Google recommande la transition des blockchains vers la cryptographie post-quantique (PQC) et a développé une preuve à divulgation nulle de connaissance pour permettre la vérification des vulnérabilités sans fournir de feuille de route aux acteurs malveillants, en collaboration avec le gouvernement américain et selon une échéance 2029.
Motif de la recommandation :Google Quantum AI détaille les ressources quantiques nécessaires pour casser ECDLP-256 et propose une divulgation par preuve à divulgation nulle de connaissance.