Automatización de Escritorio y UI

Vivabots incluye herramientas de automatización de interfaz de usuario de Windows (UI Automation) que permiten interactuar con aplicaciones locales, simular eventos de mouse y teclado nativos, realizar OCR y gestionar el estado de las ventanas de forma robusta.

1. Automatización UI y Grabador de Elementos

La actividad Automatización UI permite interactuar de forma lógica con los controles y componentes internos de aplicaciones de escritorio (campos de texto, botones, menús descolgables) a través del estándar de accesibilidad de Windows.

Grabar Elemento (Element Recorder):
1. Presiona el botón Element Recorder dentro de la ventana de configuración de la actividad.
2. Selecciona la aplicación de destino (ej. la Calculadora) e inicia la grabación.
3. Haz clic en el elemento visual específico (ej. un botón). Vivabots extraerá automáticamente una tabla con sus propiedades de accesibilidad (AutomationId, ClassName, Name, FrameworkId).
4. Marca el checkbox de la propiedad más adecuada para identificar de forma unívoca ese control (generalmente AutomationId).
Operaciones Soportadas:
- Hacer Clic a Elemento: Simula clics nativos de mouse (izquierdo, derecho o medio) directamente en la ubicación física que ocupe el elemento.
- Tomar Valor de Elemento: Extrae las propiedades internas del control (como el texto de una etiqueta o estado de un campo) y las almacena en una variable.
- Chequear si Elemento Existe: Devuelve un valor Booleano (TRUE o FALSE) indicando la presencia del elemento en pantalla.

2. Emulación de Mouse y Teclado

2.1 Enviar Pulsaciones de Teclas (Keystrokes)

Simula la escritura nativa de caracteres y comandos en la ventana que se encuentre en primer plano.

Nombre de Ventana: Ventana a la que se enviará la escritura (deja en blanco o selecciona de la lista desplegable).
Teclas Especiales: Para simular teclas de control, enciérralas entre llaves {}:
- {ENTER}, {TAB}, {ESCAPE}, {BACKSPACE}, {DELETE}
- Modificadores: + (Shift), ^ (Ctrl), % (Alt).
- Ejemplo: +(EC) mantiene presionado Shift mientras escribe E y C. {LEFT 42} pulsa la flecha izquierda 42 veces consecutivas.

2.2 Enviar Pulsaciones de Teclas Avanzadas

Proporciona un control más minucioso sobre el teclado, permitiendo simular de forma explícita las acciones de Key Down (presionar y mantener) y Key Up (soltar) para teclas combinadas complejas.

2.3 Enviar Clic del Mouse

Simula eventos de clic en la posición física actual del puntero. Soporta clics sencillos y dobles, así como botones izquierdo, derecho y central.

2.4 Enviar Movimiento del Mouse

Mueve el puntero a coordenadas específicas de la pantalla.

Capturador de Posición: Haz clic en Capturar posición del mouse, coloca el puntero en la zona deseada de tu monitor y pulsa la tecla ESPACIADORA para registrar automáticamente las coordenadas XY.
Clic al Finalizar: Permite ejecutar de forma opcional un clic en la coordenada de destino una vez completado el movimiento.

3. Cuadros de Diálogo y Formularios de Entrada

3.1 Solicitud de Entrada

Genera de forma dinámica un formulario emergente en pantalla para solicitar datos interactivos al usuario durante la ejecución del bot.

Tipos de Campo: Soporta TextBox (entrada de texto), CheckBox (selección binaria) y ComboBox (menús despegables).
Mapeo de Variables: Los datos ingresados se guardan en las variables correspondientes asignadas a cada campo.

3.2 Solicitud de Entrada HTML

Permite desplegar un formulario web interactivo altamente personalizado diseñado en HTML.

Lanzador de HTML Builder: Integra un constructor HTML visual. Del lado izquierdo editas el código HTML/CSS del formulario, y del lado derecho observas una previsualización en tiempo real.
Mapeo: Utiliza el atributo personalizado v_applyToVariable="nombreVariable" en las etiquetas <input> de tu formulario para enlazar las respuestas de los usuarios con variables de Vivabots.

4. Imágenes y Reconocimiento Visual (OCR)

4.1 Realizar OCR

Extrae el contenido de texto visible en un archivo de imagen local (JPEG, PNG). Utiliza de forma nativa el motor de reconocimiento óptico de caracteres de Microsoft (OneNote OCR) y vuelca el resultado en una variable de tipo String.

4.2 Reconocimiento de Imagen

Localiza un patrón visual específico en la pantalla. Genera una huella digital a partir de una Imagen de Referencia previamente recortada y busca coincidencias en tiempo real. Si la imagen es encontrada, el bot puede mover el puntero o hacer clic automáticamente sobre ella.

4.3 Tomar Captura de Pantalla

Captura el estado actual de la pantalla completa o de una ventana específica en ejecución y guarda la imagen resultante en un archivo de disco en una ruta especificada.

5. Control de Ventanas

Permite orquestar el comportamiento de las aplicaciones de Windows mediante la manipulación de sus ventanas activas:

Activar Ventana: Trae una ventana especificada por su título al primer plano.
Cambiar Tamaño: Modifica las dimensiones físicas de la ventana indicando el nuevo ancho y alto en píxeles.
Cerrar Ventana: Envía una señal de cierre ordenado a la ventana destino.
Esperar por Ventana: Pausa la ejecución del flujo hasta que una ventana con un título determinado aparezca y esté lista para interactuar.
Establecer Estado de Ventana: Cambia de forma directa el estado de la ventana a Minimizado, Maximizado o Restaurado.
Mover Ventana: Desplaza la ventana a una nueva posición en pantalla especificando las coordenadas de origen en píxeles.