Microsoft розпочала випробування ШІ, який "бачить" ваш екран.
Microsoft розширює можливості свого ШІ-асистента Copilot, додаючи функцію Copilot Vision для Windows. Ця новинка дозволяє “ділитися” екраном або конкретними застосунками зі штучним інтелектом і спочатку була доступна лише в Microsoft Edge, інформують Новини.LIVE.
Як пише The Verge, тепер випробування Copilot Vision охоплює будь-які програми на вашому комп’ютері. За допомогою Copilot Vision користувачі можуть отримувати підказки, наприклад, як налаштувати інструменти в Adobe Photoshop, а також аналізувати зображення чи вебсторінки, що відкриті на екрані. Під час заходу на честь 50-річчя Microsoft одному з авторів пощастило протестувати ранній варіант цієї технології: Copilot Vision допоміг налаштувати параметри у Clipchamp, а також консультував під час гри в Minecraft.
Поки що доступ до Copilot Vision у бета-версії Windows Insider обмежується Сполученими Штатами, тож автор не мав змоги повноцінно перевірити всі функції. Відомо, що Copilot Vision зможе виділяти необхідні частини екрана, щоб покроково пояснити дії в різних програмах. Проте на цьому початковому етапі збирання даних така опція в бета-версії тимчасово недоступна.
Сама технологія нагадує функцію Recall — вона також може створювати знімки екрана за вашим дозволом. Однак за принципом роботи це ближче до трансляції вашого додатка або всього робочого столу в Microsoft Teams. Крім того, Microsoft упроваджує у Copilot пошук файлів на комп’ютері. Відтепер ви можете ставити асистентові запитання щодо документів і шукати потрібний файл серед .docx, .xlsx, .pptx, .txt, .pdf, .json або нещодавно відкритих документів.Для використання цих оновлень достатньо лише застосунку Copilot у Windows — не потрібен повний пакет Copilot Plus. Copilot Vision також запустили на iOS та Android. Microsoft уже тестує всі згадані можливості з учасниками програми Windows Insider і планує ширше розгортання для Windows 11 впродовж найближчих тижнів чи місяців.
