Issue 17

OpenAI a annoncé la disponibilité générale de son API Realtime enrichie de nouvelles fonctions, accompagnée du lancement de GPT-Realtime, présenté comme son modèle voix-à-voix le plus avancé pour les agents conversationnels. Ce modèle de nouvelle génération combine la reconnaissance et la synthèse vocales en un seul système, ce qui réduit drastiquement la latence et permet de produire des réponses orales plus nuancées et naturelles. Pensé pour des applications concrètes (support client, assistants personnels, éducation), GPT-Realtime excelle dans le suivi d’instructions complexes et l’appel d’outils tiers, et s’accompagne de deux nouvelles voix (Cedar et Marin). Par ailleurs, l’API Realtime prend désormais en charge des fonctionnalités comme les appels téléphoniques via SIP, l’envoi d’images en entrée et la connexion à des serveurs vocaux distants (MCP), élargissant ainsi les capacités des agents vocaux basés sur OpenAI.

Dans une démarche inédite de transparence et de collaboration, OpenAI et Anthropic ont chacune soumis les modèles de l’autre à leurs batteries de tests internes de sécurité et d’alignement, puis ont publié les résultats croisés de cet exercice. Anthropic a évalué GPT-4o, GPT-4.1 et les nouveaux modèles OpenAI (séries o3 et o4-mini alimentant ChatGPT), tandis qu’OpenAI a audité Claude Opus 4 et Claude Sonnet 4, les modèles phares d’Anthropic. L’initiative a permis de déceler des failles potentielles et des scénarios d’attaque difficiles à repérer en silo, tout en montrant les progrès accomplis par la dernière génération de modèles : le tout récent GPT-5 d’OpenAI affiche par exemple des améliorations notables sur des points comme la résistance aux sollicitations malveillantes, la réduction des hallucinations ou des réponses flatteuses inutiles. Les deux labos estiment que ce type d’évaluation collaborative contribue à une IA plus sûre et appellent à renouveler l’exercice à l’avenir pour combler les angles morts restants.

Google a présenté Gemini 2.5 Flash Image, la nouvelle version de son modèle multimodal dédié à l’image générative et éditable. Surnommée en interne « nano-banana », cette version apporte des avancées majeures : le modèle peut désormais fusionner plusieurs images en une seule, maintenir la cohérence visuelle d’un personnage ou d’un objet à travers différentes images (utile pour des storytelling ou des séries cohérentes), et appliquer des transformations locales précises à une image via de simples instructions en langage naturel (par ex. flouter un arrière-plan, retirer un élément, changer la pose d’un sujet). Gemini 2.5 bénéficie en outre de la connaissance du monde réel propre à la gamme Gemini, ce qui lui permet de comprendre le contexte sémantique des images bien mieux que les modèles précédents. Disponible dès à présent via l’API Gemini et sur Google AI Studio (ainsi que pour les clients Vertex AI), ce modèle vise aussi les développeurs d’applications : Google met à disposition des exemples d’apps modulaires (templates) exploitant ces capacités – montage photo, éducation interactive, design produit – que l’on peut tester et remixer facilement pour accélérer les cas d’usage. À noter que toutes les images générées intègrent un filigrane numérique invisible (SynthID) pour signaler qu’elles proviennent d’une IA.

La startup Anthropic, connue pour son IA Claude, a lancé un programme pilote pour doter son chatbot de capacités d’agent web autonome via une extension Chrome expérimentale. Un groupe restreint de 1000 utilisateurs (clients Claude Max) est invité à tester cette pré-version où Claude peut, sur commande, interagir avec le navigateur : faire défiler et lire des pages, cliquer sur des boutons, remplir des formulaires, rédiger des emails, planifier des réunions, etc., le tout de manière semi-autonome pour assister l’utilisateur dans ses tâches en ligne. Anthropic prévient toutefois que ce « Claude pour Chrome » soulève des défis de sécurité inédits – notamment le risque d’attaques par prompt injection (des instructions malveillantes cachées dans une page web pouvant inciter l’IA à effectuer des actions non souhaitées). Pour parer à ces menaces, l’extension intègre de nombreux garde-fous : l’accès de Claude aux sites web est sous contrôle de l’utilisateur (permissions accordées ou révoquées site par site), toute action à risque élevé nécessite une confirmation humaine (publier un message, effectuer un achat, accéder à des données sensibles…), et certains domaines jugés trop dangereux sont purement interdits d’accès à l’IA (services financiers, contenus adultes, sites de piratage). De plus, Anthropic a renforcé le système prompt de Claude pour qu’il ignore les instructions suspectes, et a développé des classifieurs avancés détectant les schémas malveillants (texte invisible, formulaires cachés, URL piégées…) afin de stopper l’agent avant qu’il ne commette une action indésirable. Cette phase de test en conditions réelles doit aider la société à améliorer les protections et à évaluer, grâce aux retours des utilisateurs volontaires, comment intégrer en toute sécurité ce type d’agent autonome dans nos navigateurs à l’avenir.