Découvrir d'abord, puis agir sur un bureau Windows

Pour qui

Pour qui veut que Claude, Cursor ou un autre client MCP voie et pilote un bureau Windows 10/11. Les capacités officielles incluent screenshots, UI Automation, Chrome CDP, keyboard / mouse, terminal, et semantic discover-then-act, en évitant pixel-coordinate guessing.

Ce n'est pas un bureau distant multiplateforme. Cette machine doit être Windows 10/11. Le texte officiel écrit aussi 32 tools, native Rust engine (UIA in 2 ms), zero-config PowerShell fallback, full CJK support, MIT licensed ; il peut piloter Notepad, Excel, Chrome, Windows Terminal et d'autres applications locales.

Page officielle :

https://github.com/Harusame64/desktop-touch-mcp

Premier essai en 3 minutes

Suivre uniquement la commande officielle :

npx -y @harusame64/desktop-touch-mcp

L'ajouter à la configuration Claude / Cursor / VS Code Copilot. Ne pas chercher un installeur absent.

Prérequis : Windows 10/11 ; cette machine peut exécuter npx. Au premier essai, ne pas bouger la souris pour cliquer une application, et ne pas ouvrir Key Locker. D'abord retenir l'arrêt d'urgence : tenir la souris dans le coin supérieur gauche de l'écran principal (within 10px of 0,0) pendant 500ms.

Emplacement de configuration : la configuration MCP de ces clients. Le texte officiel ne donne pas de chemin de fichier.

Le premier appel doit utiliser le desktop_discover nommé. Il renvoie interactive entities et short-lived leases, pas des coordonnées brutes. Succès : vous voyez les entités et les baux, et aucune saisie clavier ni clic souris n'est tombé sur une fenêtre.

Ne pas appeler desktop_act tout de suite. Cela va operate on what you mean ; le texte officiel a des per-action perception guards qui vérifient identity et bounds de la fenêtre cible avant que la saisie n'atterrisse, mais c'est encore une écriture.

La découverte en lecture seule n'est pas risque zéro : elle prend des captures, lit l'arbre UI, et peut toucher Chrome CDP. Le contenu du bureau local entre dans le client.

Cas d'usage

Cas 1 : d'abord découvrir, puis décider d'agir. Appeler desktop_discover et lire les entités et baux renvoyés. Le texte officiel n'écrit ni durée de bail ni table de champs d'entité. Pour l'instant, on ne va que jusqu'à « voir des objets interactifs, pas des points pixels ».

Cas 2 : exécuter une action sur un bail existant. Appeler desktop_act. Le texte officiel insiste : il opère sur what, pas where, avec des perception guards contre wrong-window typing. Aucune énumération d'actions. Avant d'appeler, un point de confirmation doit être visible et l'arrêt d'urgence en haut à gauche prêt.

Key Locker est une autre capacité nommée : enregistrer une fois un justificatif dans son propre dialogue de sécurité (chiffrement Windows DPAPI, never shown to the assistant), puis ouvrir une console avec key_locker(action='launch_console') ; les invites cachées ssh / sudo remplissent le secret automatiquement. Ne pas emprunter ce chemin au premier essai.

Limites d'usage

Limite de plateforme : Windows 10/11. Limite de capacité : les outils nommés sont desktop_discover, desktop_act, key_locker ; 32 tools au total, les autres noms n'apparaissent pas.

Limite de sécurité : l'arrêt d'urgence est le coin supérieur gauche de l'écran principal, 10px, 500ms. Les justificatifs ne sont pas montrés à l'assistant, mais restent sur cette machine. Le texte officiel ne décrit ni session distante ni repli hors Windows.