Microsoft heeft een opwindende nieuwe toevoeging aan zijn AI-gestuurde Copilot-tool in preview onthuld: Copilot Vision. Deze functie stelt de AI-assistent in staat om visuele content op webpagina’s te interpreteren en gebruikers te betrekken bij discussies over die informatie.
Momenteel wordt deze functie uitgerold naar een selecte groep Copilot Pro-abonnees in de Verenigde Staten, toegankelijk via Copilot Labs. Een abonnement op Copilot Pro kost $ 20,00 per maand.
Copilot Vision is een van de eerste functionaliteiten die zijn geïntroduceerd in Copilot Labs, dat dient als Microsofts experimentele platform voor verschillende AI-initiatieven, naast Think Deeper. De techgigant onthulde Copilot Vision voor het eerst in oktober, toen ze ook andere verbeteringen lieten zien, zoals een vernieuwde interface, Voice-mogelijkheden, Copilot Daily en Personalized Discover, en nog veel meer.
De functionaliteit is in eerste instantie ontworpen om te werken met een zorgvuldig gekozen reeks websites, wat de voorzichtige aanpak van Microsoft weerspiegelt. Het bedrijf wil echter de toegankelijkheid in de toekomst verbreden op basis van feedback van gebruikers en waargenomen gebruikspatronen.
Momenteel is Copilot Vision uitsluitend beschikbaar via de Microsoft Edge-browser, een veelgebruikte strategie van Microsoft bij de lancering van functies die hen een concurrentievoordeel opleveren. Dit was ook het geval bij de eerste lancering van Copilot (oorspronkelijk bekend als Bing AI).
Binnen de Edge-browser verschijnt Copilot nu handig onderaan, weergegeven door een pictogram dat lijkt op een RSS-feed. Wanneer geactiveerd, verwerkt deze functie visuele informatie die op de pagina wordt weergegeven, waardoor gebruikers een dialoog kunnen aangaan met de AI over de inhoud. Deze aanpak probeert het eerdere probleem op te lossen van gebruikers die hun visuele ervaringen aan Copilot moeten beschrijven, waardoor de webbrowsingervaring wordt verbeterd, die Microsoft karakteriseert als een verschuiving van een “eenzame ervaring”.
Privacy is een cruciaal aspect van Copilot Vision. Gebruikers moeten zich aanmelden om de functie te activeren, waarbij ze de controle over het gebruik ervan behouden. Eenmaal ingeschakeld, blijft de functie actief gedurende de browsersessie, tenzij de gebruiker ervoor kiest om deze te deactiveren.
Alle conversatiegegevens, inclusief context die met Copilot wordt gedeeld, worden aan het einde van elke sessie verwijderd. De door Copilot gegenereerde reacties worden echter wel geregistreerd om de beveiligingsmaatregelen te verbeteren. Microsoft heeft met name verduidelijkt dat Copilot Vision geen content van uitgevers bewaart of gebruikt voor het trainen van zijn modellen, en dat het voldoet aan webmastertools, zoals robots.txt.
Deze nieuwste toevoeging illustreert Microsofts voortdurende toewijding om AI-mogelijkheden in te bedden in zijn reeks producten en services. Eerder kreeg de ‘Recall’-functie kritiek vanwege privacyproblemen die verband hielden met de mogelijkheden voor schermopname. Met Copilot Vision heeft het bedrijf gekozen voor een meer privacygerichte methodologie door webpagina-inhoud rechtstreeks te analyseren, waarmee eerdere zorgen effectief worden aangepakt. In tegenstelling tot Recall heeft de AI alleen toegang tot uw scherm als er toestemming is verleend.
“Het ziet de pagina waarop u zich bevindt, het leest met u mee en u kunt samen het probleem bespreken waarmee u wordt geconfronteerd.” — Microsoft
In verschillende demonstraties heeft Copilot Vision laten zien dat het gebruikers kan helpen bij het organiseren van leuke activiteiten voor hun nichtje of bij het kiezen van een kersttrui. Het kan helpen bij het doorzoeken van talloze producten om de producten te vinden die bij uw behoeften passen en alle relevante vragen te beantwoorden. De ervaring lijkt op een videogesprek met vrienden die u helpen beslissingen te nemen via schermdeling, maar met Copilots vermogen om alles direct te analyseren. Het kan ook leren of interactief gamen vergemakkelijken.
De uitrol van Copilot Vision benadrukt de toenemende trend om AI-technologieën te integreren in online browsen, wat fundamenteel verandert hoe mensen omgaan met content op internet. Microsoft is van plan om gebruiksgegevens en feedback te evalueren tijdens deze previewfase voordat de functie breder wordt uitgebracht.