L’intelligence artificielle est en passe de transformer radicalement notre interaction avec les smartphones. Google, par la voix de Matthew McCullough, Vice-président de la gestion produit pour le développement Android, dévoile des innovations majeures qui permettent aux agents d’IA comme Gemini de prendre les commandes de nos applications. Fini les tâches manuelles pas à pas : place à une assistance intelligente et proactive qui promet de nous faire gagner un temps précieux.
Le grand virage de l’IA sur Android : vers un écosystème « agentique »
Les attentes des utilisateurs vis-à-vis de l’intelligence artificielle sur leurs appareils ont fondamentalement changé. Plutôt que d’ouvrir des applications pour accomplir des tâches étape par étape, ils demandent désormais à l’IA de faire le gros du travail pour eux. Dans ce nouveau modèle d’interaction, le succès ne réside plus dans l’ouverture d’une application, mais dans la capacité à accomplir les tâches de l’utilisateur de manière fluide et rapide. Pour anticiper ce futur « agentique », Google déploie des capacités de développement préliminaires conçues pour relier les applications existantes aux applications pilotées par l’IA et aux assistants personnalisés, tel que Google Gemini. Ces fonctionnalités, encore en phase de bêta, intègrent la confidentialité et la sécurité dès leur conception, marquant une première étape essentielle dans cette transformation de l’écosystème applicatif.
AppFunctions : le pont intelligent pour vos applications
Au cœur de cette révolution se trouve AppFunctions, une nouvelle fonctionnalité Android qui permet aux applications d’exposer leurs données et leurs fonctionnalités directement aux agents et assistants d’IA. Grâce à la bibliothèque Jetpack AppFunctions et aux API de la plateforme, les développeurs peuvent créer des fonctions auto-descriptives que les applications agentiques peuvent découvrir et exécuter via le langage naturel. À l’image de la manière dont les capacités de backend sont déclarées via les serveurs cloud MCP, AppFunctions offre une solution directement sur l’appareil pour les applications Android. Similaire à WebMCP, elle exécute ces fonctions localement, garantissant une meilleure réactivité et une protection accrue des données.
L’exemple concret avec Samsung et Gemini : une fluidité inédite
L’intégration de la Galerie Samsung avec Gemini sur la série Galaxy S26 illustre parfaitement le potentiel d’AppFunctions. Au lieu de parcourir manuellement vos albums photo, vous pouvez désormais simplement demander à Gemini : « Montre-moi les photos de mon chat depuis la Galerie Samsung. » Gemini interprète la requête de l’utilisateur, identifie et déclenche intelligemment la fonction appropriée, puis affiche les photos directement dans l’application Gemini. L’utilisateur n’a donc jamais besoin de quitter l’assistant. Cette expérience multimodale, réalisable par la voix ou le texte, permet même d’utiliser les photos obtenues dans des conversations ultérieures, comme les envoyer à des amis. Cette fonctionnalité est déjà disponible sur les Galaxy S26 et sera bientôt étendue aux appareils Samsung sous OneUI 8.5 et versions ultérieures. Gemini peut déjà automatiser des tâches dans des catégories d’applications comme le Calendrier, les Notes et les Tâches, sur des appareils de divers fabricants.
L’automatisation intelligente de l’interface utilisateur : la « solution zéro code »
Si AppFunctions offre un cadre structuré et un contrôle accru pour la communication des applications avec les agents d’IA, Google reconnaît que toutes les interactions ne bénéficient pas encore d’une intégration dédiée. C’est pourquoi un cadre d’automatisation de l’interface utilisateur est également en développement. Celui-ci permettra aux agents et assistants d’IA d’exécuter intelligemment des tâches génériques sur les applications installées par les utilisateurs, avec une transparence et un contrôle intégrés. C’est la plateforme qui effectue le travail lourd, offrant aux développeurs une portée agentique « zéro code », une manière simple d’étendre la portée de leurs applications sans effort d’ingénierie majeur. Une première version bêta est lancée sur les séries Galaxy S26 et certains appareils Pixel 10, où les utilisateurs pourront déléguer des tâches complexes à Gemini d’une simple pression longue sur le bouton d’alimentation. Cette fonction, disponible aux États-Unis et en Corée, prend en charge une sélection d’applications de livraison de repas, d’épicerie et de VTC. Qu’il s’agisse de commander une pizza complexe pour la famille, de coordonner un covoiturage multi-arrêts, ou de renouveler une commande d’épicerie, Gemini pourra compléter ces tâches en utilisant le contexte de vos applications.
Le contrôle utilisateur : une priorité pour une IA de confiance
Malgré cette automatisation poussée, l’utilisateur reste maître à bord. Pendant l’exécution d’une tâche en arrière-plan via l’automatisation de l’interface utilisateur, il a la possibilité de surveiller la progression via des notifications ou une « vue en direct ». Il peut également reprendre le contrôle manuel à tout moment. Gemini est également conçu pour alerter les utilisateurs avant de finaliser des tâches sensibles, comme un achat, garantissant ainsi une sécurité et une tranquillité d’esprit optimales. Cette approche met l’accent sur la confiance et la transparence, des éléments cruciaux pour l’adoption massive de ces technologies par le grand public, notamment en Europe où les questions de vie privée sont primordiales.
Perspectives d’avenir : l’Android de demain est déjà là
Pour Android 17, Google ambitionne d’étendre ces capacités à un public encore plus large d’utilisateurs, de développeurs et de fabricants d’appareils. Actuellement, des expériences sont développées en partenariat avec un petit groupe de développeurs d’applications, dans le but d’assurer des expériences utilisateur de haute qualité à mesure que l’écosystème évolue. Google promet de partager plus de détails plus tard cette année sur la manière dont les développeurs pourront exploiter AppFunctions et l’automatisation de l’interface utilisateur pour des intégrations agentiques. L’ère des smartphones intelligents, capables d’anticiper et d’agir pour nous, ne fait que commencer, et Android semble prêt à mener la danse.
Mots-clés : Android, Intelligence Artificielle, Gemini, AppFunctions, Automatisation
Source : Article original