Microsoft научила ИИ-ассистента Copilot понимать контекстную информацию с экрана компьютера во время серфинга в интернете.

Когда пользователь включает Copilot Vision, нейросеть видит веб-страницу, понимает текст и изображения. Далее искусственному интеллекту можно задавать вопросы о посещаемых сайтах с помощью Microsoft Edge. Например, открыв блюдо на экране, можно узнать у ИИ его рецепт.

Среди других функций Copilot Vision - перевод и предоставление краткой выжимки текста; выполнение разных задач вроде демонстрации товаров со скидкой в каталоге магазина; помощь в играх, таких как шахматы.

«Это новый способ пригласить искусственный интеллект вместе с вами перемещаться по интернету, аккуратно разместив его в нижней части браузера Edge, когда понадобится помощь», - отметили в Microsoft.

Корпорация обещает удаление пользовательских данных после каждого сеанса. Полученная ИИ информация не используется для обучения.

Напомним, в октябре Microsoft представила обновленную версию ИИ-помощника Copilot с голосовым режимом и пониманием изображения на экране.

Photo by Google DeepMind