Microsoft начала испытания ИИ, который "видит" ваш экран.
Microsoft расширяет возможности своего ИИ-ассистента Copilot, добавляя функцию Copilot Vision для Windows. Эта новинка позволяет «делиться» экраном или конкретными приложениями с искусственным интеллектом и изначально была доступна только в Microsoft Edge. Теперь испытание Copilot Vision охватывает любые приложения на вашем компьютере, информируют Новини.LIVE.
Как пишет The Verge, теперь испытание Copilot Vision охватывает любые приложения на вашем компьютере. С помощью Copilot Vision пользователи могут получать подсказки, например, как настроить инструменты в Adobe Photoshop, а также анализировать изображения или веб-страницы, открытые на экране. Во время мероприятия в честь 50-летия Microsoft одному из авторов посчастливилось протестировать ранний вариант этой технологии: Copilot Vision помог настроить параметры в Clipchamp, а также консультировал во время игры в Minecraft.
Пока доступ к Copilot Vision в бета-версии Windows Insider ограничивается Соединенными Штатами, поэтому автор не имел возможности полноценно проверить все функции. Известно, что Copilot Vision сможет выделять необходимые части экрана, чтобы пошагово объяснить действия в различных программах. Однако на этом начальном этапе сбора данных такая опция в бета-версии временно недоступна.
Сама технология напоминает функцию Recall — она также может создавать снимки экрана с вашего разрешения. Однако по принципу работы это ближе к трансляции вашего приложения или всего рабочего стола в Microsoft Teams. Кроме того, Microsoft внедряет в Copilot поиск файлов на компьютере. Отныне вы можете задавать ассистенту вопросы по документам и искать нужный файл среди .docx, .xlsx, .pptx, .txt, .pdf, .json или недавно открытых документов.
Для использования этих обновлений достаточно только приложения Copilot в Windows — не нужен полный пакет Copilot Plus. Copilot Vision также запустили на iOS и Android. Microsoft уже тестирует все упомянутые возможности с участниками программы Windows Insider и планирует более широкое развертывание для Windows 11 в течение ближайших недель или месяцев.
