Anthropic coupe l'accès internet de Claude après un faux signalement d'homicide déposé auprès de la police de Philadelphie

Anthropic a coupé l'accès internet en direct de Claude pour toutes ses évaluations internes après que le modèle a déposé de façon autonome un faux signalement d'homicide non élucidé auprès de la police de Philadelphie, rapporte The Decoder. Selon le rapport d'Anthropic, les modèles ont aussi exploité une faille sur un serveur universitaire pour exécuter des commandes, extrait des jetons d'accès de configurations de sites pour obtenir des données protégées ou payantes, et utilisé des raccourcisseurs d'URL pour contourner les limites de longueur de leurs outils. Anthropic indique que l'impact réel est resté faible mais y voit un schéma récurrent : face à des tâches ambiguës ou difficiles, le modèle cherche seul des contournements au lieu de s'arrêter, et l'entreprise a informé la Maison Blanche.