Qu’est-ce que le projet Astra : la réponse de Google au GPT-4o d’OpenAI

Lors de sa conférence annuelle I/O en Californie, Google a fait plusieurs annonces liées à l’IA, notamment de nouveaux modèles et des mises à niveau des modèles existants. L’une des annonces les plus intéressantes a été le projet Astra, un assistant multimodal qui fonctionne en temps réel et combine les capacités de Google Lens et de Gemini pour vous fournir des informations sur votre environnement.

Comment fonctionne le projet Astra ? Lors de la conférence, Google a présenté une première version du projet Astra, qui fonctionne comme un chatbot basé sur une caméra et peut recueillir des informations sur votre environnement à l’aide de la caméra de votre appareil. En tant qu’assistant d’IA multimodal, il peut utiliser l’audio, la vidéo et les images comme entrées et fournir la sortie nécessaire en fonction de celles-ci. Il fonctionne sur le modèle Gemini 1.5 Pro, ce qui le rend incroyablement puissant.

Le chatbot analyse les objets et leur environnement en temps réel et peut répondre aux requêtes très rapidement, ce qui le rend assez similaire à un assistant humain ou au JARVIS bien-aimé de Tony Stark. Le projet Astra fonctionne également avec des appareils portables tels que des lunettes intelligentes, ce qui signifie qu’il existe un grand potentiel d’intégration du chatbot IA dans différents appareils.

Le projet Astra peut mieux comprendre le contexte dans lequel il est utilisé, traiter les informations plus rapidement et les conserver pour un rappel plus rapide. Ses capacités vocales sont également bien améliorées par rapport à celles des modèles Gemini précédents, de sorte que le son est plus naturel et plus humain.

Que peut faire le projet Astra ? Dans la courte démo présentée par Google, il semble que le projet Astra puisse aider à accomplir beaucoup de choses. Il peut observer et comprendre des objets et des emplacements grâce à l’objectif de la caméra et au microphone et vous fournir des informations à leur sujet. Par exemple, vous pouvez simplement pointer votre téléphone vers un morceau de code et en discuter avec le chatbot, ou lui demander d’identifier un objet et son utilisation.

Source : discours d’ouverture de Google I/O

De même, grâce aux capacités de connaissance de la localisation, Project Astra peut fournir des informations sur votre localité simplement en jetant un œil à votre environnement. Il peut également conserver les informations qui lui sont présentées, ce qui peut être très pratique si vous souhaitez localiser des objets égarés, comme démontré dans la démo lorsqu’il a aidé l’utilisateur à retrouver ses lunettes.

Vous pouvez également demander à l’assistant IA des idées créatives, tout comme avec Gemini sur votre téléphone. Par exemple, vous pouvez lui demander de proposer les paroles d’une chanson, le nom d’un groupe musical ou toute autre chose. Fondamentalement, Project Astra vise à être un assistant IA universel capable de vous fournir des informations en temps réel de manière très conversationnelle.

Générer un nom de groupe à l’aide du projet Astra. Source : discours d’ouverture de Google I/O

Quand le projet Astra sera-t-il disponible ? Pour l’instant, Google n’a fait aucune annonce concernant la disponibilité du projet Astra. La version présentée dans la démo est un premier prototype, mais Google a laissé entendre que ces fonctionnalités pourraient être intégrées ultérieurement à l’application Gemini existante.

Avec le projet Astra, Google s’efforce de diriger l’évolution des assistants IA afin qu’ils deviennent encore plus utiles et plus faciles à utiliser. Cependant, Google n’est pas le seul à poursuivre cet objectif. OpenAI a également récemment annoncé GPT-4o, rendant son ChatGPT multimodal, améliorant ainsi ses capacités et son efficacité. Le nouveau mode vocal de ChatGPT (qui sera bientôt publié) peut également utiliser l’entrée vidéo de la caméra de l’appareil tout en interagissant avec les utilisateurs.

À l’heure actuelle, la différence entre les deux est que GPT-4o sera bientôt disponible sur tous les appareils exécutant ChatGPT, tandis que Project Astra devrait être disponible en tant que Gemini Live dans le futur, bien qu’il n’y ait pas de date de sortie pour le moment. ChatGPT propulsé par GPT-4o étant disponible plus tôt, il reste à voir si le projet Astra de Google sera assez performant pour rivaliser avec le chatbot plus populaire d’OpenAI.