에이전트가 마우스를 뺏지 않는다…버셀 랩스, 데스크톱 조작 도구 '에이전트 데스크톱' 오픈소스로 공개

버셀 랩스(Vercel Labs)가 AI 에이전트에 데스크톱 앱을 조작하는 능력(컴퓨터 유즈)을 붙여 주는 오픈소스 도구 '에이전트 데스크톱(agent-desktop)'을 깃허브에 공개했다.

깃허브 저장소 설명에 따르면 러스트(Rust)로 짠 명령줄 도구(CLI)이자 C 라이브러리다. 화면을 캡처하는 대신 운영체제의 접근성 API로 앱의 화면 구조를 읽어 JSON으로 돌려주고, 에이전트가 누를 수 있는 요소마다 참조값(ref)을 붙인다. 기본 동작은 마우스 포인터를 움직이거나 창 초점을 가져가지 않는 백그라운드 방식이며, 실제 입력이 필요하면 `--headed` 옵션을 쓴다. 맥OS·윈도·리눅스를 지원하고 라이선스는 아파치 2.0(Apache-2.0)이다. 별은 약 6,700개이고 `npm install -g agent-desktop`으로 깔 수 있다.

중국 개발자 무양(@yyyole)이 이를 소개한 X 글은 '좋아요' 1,900여 개를 받았다. 그는 스크린샷 없이 접근성 트리를 읽고, 백그라운드에서 돌며, 에이전트 여러 개가 각자 커서로 동시에 일할 수 있다고 소개했다. 다만 저장소 설명에는 다중 커서 동작을 따로 풀이한 대목이 없고, 세션 명령 목록에 `cursor-overlay`가 있을 뿐이다.

제약도 있다. 맥에서는 설치가 끝나도 접근성 권한을 따로 켜야 창을 조작할 수 있다는 답글이 달렸다. 문서는 스냅숏·스크린샷·클립보드에 개인 정보가 담길 수 있으니 공개 로그에 남기지 말라고 안내한다. 키·마우스 버튼을 누른 채 유지하는 명령 4개는 데몬이 준비되기 전까지 실행을 거부한다. "봇에 인터페이스를 직접 짜게 하면 되는데 왜 이런 도구에 열광하느냐"는 반응도 나왔다.