IBM Research et le Berkeley Sky Lab étendent K-Search, un framework de recherche évolutive de kernels piloté par LLM.
Motif de la recommandation :L'article détaille une couche de traduction CUDA vers MLX et les gains mesurés sur les kernels Attention et Mamba, utile pour évaluer la portabilité des optimisations GPU.
Adaptive Parallel Reasoning permet à un modèle de raisonnement de décider lui-même quand décomposer et paralléliser des sous-tâches indépendantes.
Berkeley AI Research présente SPEX et ProxySPEX, des algorithmes d'attribution capables d'identifier les interactions influentes dans les LLM à une échelle bien supérieure aux méthodes antérieures. SPEX exploite la parcimonie et le faible degré des interactions pour reformuler la recherche exhaustive en un problème de recouvrement parcimonieux résolu via des outils de traitement du signal et de théorie du codage. ProxySPEX tire parti de la propriété de hiérarchie des modèles et atteint les performances de SPEX avec environ 10x moins d'ablations. Sur une tâche d'analyse de sentiment, SPEX conserve une fidélité élevée lorsque le contexte atteint des milliers de features, là où LIME et Banzhaf affichent une fidélité nettement inférieure.