Автоматизация движения мыши внутри VM независимо от реальной мыши

Question

Я пытаюсь автоматизировать некоторые тесты пользовательского интерфейса для моей компании. Я написал автоматизацию, которая проходит через весь процесс. Он делает все, что мне нужно. Для этого я использую API Sikuli из своего Java-кода.

Теперь моя проблема заключается в том, что моя мышка была захвачена во время тестового процесса. Было бы удобно, если бы я мог запускать эти тесты без моей мыши. Моя первая мысль заключалась в том, чтобы запускать тесты внутри виртуальной машины и управлять «VM Mouse», используя автоматизацию вместо запуска тестов с моего рабочего стола и управления моей «Desktop Mouse».

Я видел несколько вопросов и ссылок по этой теме, но ни один с ясным ответом. Можно ли сделать это? Если да, то как? Имейте в виду, что любое решение работает - ему не обязательно быть Java или Sikuli, я просто хочу знать, можно ли автоматизировать движение мыши внутри виртуальной машины, не затрагивая мою «настоящую» мышь.

Answer 1

Вы не можете задавать вопрос о том, что вы сделали с помощью Сикули, а затем сказать, что это не обязательно должен быть Сикули. Если вас в целом интересует способ, которым вы можете запускать безглавую или удаленную настольную автоматизацию, просто спросите об этом как есть.

Сказать, что вы не можете использовать Сикули, не жертвуя своим экраном и мышью. Причиной этого является реализация Sikuli, которая выполняется с использованием класса Java Robot, который контролирует ввод пользователя для взаимодействия с базовым программным обеспечением.

Существует попытка обойти это ограничение с помощью VNC. Описывается here.