GitHub Copilot nově ovládá desktopové aplikace a umí řídit víc agentů podle kódu
Copilot CLI a aplikace Copilot pro macOS a Windows dostaly computer use: klikají, píšou a procházejí workflow i v programech bez API. Druhou novinkou jsou dynamické workflow, ve kterých kód určuje postup a agenti dělají úsudek.
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
GitHub Copilot umí od 1. října ovládat desktopové aplikace. Copilot CLI a aplikace Copilot pro macOS a Windows podle changelogu GitHubu čtou obsah oken, klikají na ovládací prvky, píšou a upravují text, mačkají klávesy, scrollují, přetahují a procházejí workflow napříč aplikacemi. Cílem je dostat agenta i k softwaru, který nemá API ani příkazovou řádku.
Co se změnilo
Dosud Copilot pracoval hlavně s kódem, terminálem a službami, které nabízejí rozhraní pro stroje. Computer use mu otevírá vrstvu, kde v mnoha firmách leží skutečná práce: starší účetní systémy, interní nástroje, desktopové klienty a grafická rozhraní, ke kterým žádná integrace neexistuje.
⚡ Computer use
Computer use je schopnost AI agenta ovládat počítač podobně jako člověk. Agent si udělá snímek obrazovky nebo přečte strukturu okna, rozhodne, kam kliknout nebo co napsat, akci provede a výsledek znovu zkontroluje. Výhodou je, že funguje i u programů bez API. Nevýhodou je nižší rychlost a spolehlivost: stačí změněné rozložení okna nebo nečekaný dialog a agent může zaváhat nebo udělat chybu.
Funkce je v public preview. V CLI se zapíná příkazem /computer on, v aplikaci přepínačem v nastavení. Copilot se před přístupem ke každé aplikaci ptá uživatele a schválené aplikace lze později zkontrolovat a resetovat. Na macOS potřebuje oprávnění Accessibility a Screen Recording. Organizace mohou funkci centrálně vypnout. Changelog neuvádí, které plány předplatného ani které modely funkci pohánějí.
Dynamické workflow: kód drží postup, agent úsudek
Druhou novinkou ze stejného dne jsou dynamické workflow. Jde o programy, které kombinují pevně dané kroky s prací agentů. Kód určuje pořadí a paralelizaci, agenti dělají analýzu a rozhodování. Workflow umí spouštět příkazy, volat služby, předávat strukturované výsledky mezi fázemi, nechat jednoho agenta ověřit zjištění jiného, požádat uživatele o vstup nebo se zastavit na kontrolním bodě.
GitHub uvádí příklady jako release checky s posouzením agentem a lidskou kontrolou, paralelní review mnoha souborů v pull requestu nebo kontrolu, zda staré review komentáře stále platí, pomocí různých modelů. Workflow jsou dostupné ve všech plánech Copilotu, v CLI zatím jen s přepínačem --experimental.
Co to znamená v praxi
Obě funkce míří stejným směrem: z asistenta, který odpovídá v editoru, se stává orchestrátor, který řídí delší procesy a sahá i mimo vývojové prostředí. Computer use přitom zůstává nejméně spolehlivým způsobem, jak agent pracuje. Klikání podle obrazovky je pomalejší a křehčí než volání API a každé povolení přístupu k aplikaci rozšiřuje plochu pro chyby i pro útoky typu prompt injection. Schvalování po jednotlivých aplikacích a firemní vypínač jsou proto rozumné minimum, ne nadstandard.