Auf Windows zuerst entdecken, dann den Desktop bedienen

Für wen

Für alle, die Claude, Cursor oder einen anderen MCP-Client einen Windows-10/11-Desktop sehen und bedienen lassen wollen. Offizielle Fähigkeiten: screenshots, UI Automation, Chrome CDP, keyboard / mouse, terminal, und semantic discover-then-act, ohne pixel-coordinate guessing.

Das ist kein plattformübergreifender Ferndesktop. Dieser Rechner muss Windows 10/11 sein. Offiziell stehen auch 32 tools, native Rust engine (UIA in 2 ms), zero-config PowerShell fallback, full CJK support, MIT licensed; es kann Notepad, Excel, Chrome, Windows Terminal und andere lokale Apps steuern.

Offizielle Seite:

https://github.com/Harusame64/desktop-touch-mcp

Erster Versuch in 3 Minuten

Nur den offiziellen Befehl:

npx -y @harusame64/desktop-touch-mcp

In die Claude- / Cursor- / VS-Code-Copilot-Konfiguration einfügen. Keinen nie erscheinenden Installer suchen.

Voraussetzungen: Windows 10/11; dieser Rechner kann npx ausführen. Beim ersten Versuch die Maus nicht bewegen, um eine App zu klicken, und Key Locker nicht öffnen. Zuerst den Notstopp merken: die Maus 500ms in der linken oberen Ecke der Hauptanzeige halten (within 10px of 0,0).

Konfiguration: die MCP-Konfiguration dieser Clients. Offiziell kein Dateipfad.

Der erste Aufruf muss das genannte desktop_discover nutzen. Es gibt interactive entities und short-lived leases zurück, keine Rohkoordinaten. Erfolg: Sie sehen die Entitäten und Leases, und kein Tastatureingabe oder Mausklick ist auf einem Fenster gelandet.

Nicht sofort desktop_act aufrufen. Das wird operate on what you mean; offiziell gibt es per-action perception guards, die vor dem Landen der Eingabe identity und bounds des Zielfensters prüfen, aber es bleibt ein Schreibvorgang.

Schreibgeschütztes Entdecken ist nicht risikofrei: es macht Screenshots, liest den UI-Baum und kann Chrome CDP berühren. Lokaler Desktopinhalt gelangt in den Client.

Anwendungsfälle

Fall 1: zuerst entdecken, dann entscheiden, ob gehandelt wird. desktop_discover aufrufen und die zurückgegebenen Entitäten und Leases lesen. Offiziell keine Leasedauer und keine Entitätsfeldtabelle. Derzeit nur bis „interaktive Objekte sind sichtbar, keine Pixelpunkte“.

Fall 2: eine Aktion auf einem vorhandenen Lease ausführen. desktop_act aufrufen. Offiziell betont: es arbeitet auf what, nicht where, mit perception guards gegen wrong-window typing. Keine Aktionsenum. Vor dem Aufruf muss ein Bestätigungspunkt sichtbar sein und der Notstopp oben links bereit.

Key Locker ist eine weitere genannte Fähigkeit: einmal in seinem eigenen Sicherheitsdialog ein Zugangsdatum speichern (Windows-DPAPI-Verschlüsselung, never shown to the assistant), dann mit key_locker(action='launch_console') eine Konsole öffnen; versteckte ssh- / sudo-Aufforderungen füllen das Geheimnis automatisch. Diesen Weg beim ersten Versuch nicht gehen.

Grenzen

Plattformgrenze: Windows 10/11. Fähigkeitsgrenze: genannte Werkzeuge sind desktop_discover, desktop_act, key_locker; insgesamt 32 tools, die übrigen Namen erscheinen nicht.

Sicherheitsgrenze: Notstopp ist oben links auf dem Hauptschirm 10px, 500ms. Zugangsdaten sieht die Assistenz nicht, sie bleiben aber auf diesem Rechner. Offiziell keine Fernsitzung und kein Nicht-Windows-Rückfall.