AVA — agentes locales en una sola GPU

Una carpeta, cuatro motores

Toda la plataforma se instala de forma portátil dentro del repositorio — unos 25 GB, sin permisos de administrador para el software del proyecto. Cada servicio escucha solo en 127.0.0.1.

Cinco agentes, cada uno con sus permisos

Todos razonan sobre qwen3:8b-64k, y cada uno tiene su propio Modelfile, lanzador (<nombre>.exe) y agent.json con sus permisos. Ava crea agentes nuevos cuando hacen falta.

Una ventana para todo el equipo

Así es la aplicación de escritorio: las pestañas a la izquierda, un botón por agente y el chat con el agente elegido, con la etapa de cada solicitud en una barra de progreso. Pruébala: esta réplica no está conectada a ningún modelo.

AVA ─☐✕

hotel_cancellations	2026-10-07 02:10	3	2	2	4

2026-10-07 02:10

• gradient_boosting: roc_auc = 0.9112, accuracy = 0.8571, f1 = 0.8013

🗄 hotel

▦ hotel_bookings_dataset

hotel · varchar

is_canceled · bigint

lead_time · bigint

arrival_date_year · bigint

adults · bigint

adr · double

country · varchar

▦ payments

🗄 sales

SELECT * FROM hotel.hotel_bookings_dataset LIMIT 100;

hotel	is_canceled	lead_time	arrival_date_year	adults	adr	country
Resort Hotel	0	342	2015	2	0.0	PRT
Resort Hotel	0	737	2015	2	0.0	PRT
Resort Hotel	0	7	2015	1	75.0	GBR
Resort Hotel	0	13	2015	1	75.0	GBR
Resort Hotel	0	14	2015	2	98.0	GBR
Resort Hotel	1	85	2015	2	82.0	PRT
Resort Hotel	1	75	2015	2	105.5	PRT

Réplica interactiva: cambia de pestaña, elige un agente o envía un mensaje. Las respuestas son de ejemplo; en la aplicación real las escribe el modelo en tu GPU. Los datos de las pestañas son ilustrativos.

El relevo de GPU

Con 12 GB de VRAM, cada agente necesita la GPU entera para su modelo y su contexto. Por eso un gestor no retiene la GPU mientras su equipo trabaja: la cede.

Ventana activa más memoria comprimida

La ventana activa en la GPU crece 8k → 16k → 32k → 48k → 64k tokens mientras el modelo quepa en el 90 % de la VRAM (pesos + caché KV + búferes). Cuando la ventana se llena, los turnos más antiguos pasan completos a archivos gzip, la ventana vuelve a empezar y el agente los recupera con recall_memory, hasta 1M de tokens por conversación.

dbagent aprende practicando

En un entorno aislado, dbagent resuelve 13 familias de tareas generadas con comprobaciones automáticas. Lo que funciona se convierte en sus habilidades.

Recompensa (máx. 1): proporción de comprobaciones superadas − 0,03 por llamada extra − 0,05 por llamada fallida − 0,5 por infracción. Las semillas múltiplo de 5 se reservan para evaluar, y solo se promociona lo que mejora en ellas.

Permisos comprobados en cada llamada

Los agentes solo reciben las herramientas de los privilegios que tienen. Una revocación surte efecto al instante.

Una pregunta a AVA

Una grabación breve de la ventana de AVA. El cronómetro arranca cuando se envía la pregunta y se detiene cuando termina la respuesta: así ves cuánto tarda el modelo local.

Latencia por agente y por GPU

De agents/benchmark.py: cada agente arranca con todos los modelos descargados de la GPU y responde «di quién eres y qué puedes hacer», con su propio prompt, herramientas y razonamiento. Cada barra separa la carga del modelo, la espera hasta el primer token y la generación. Segundos; menos es más rápido.

Usar AVA web en local o por Internet con Tailscale

AVA_web.cmd sirve en el navegador lo mismo que la ventana de AVA: una página de inicio de sesión y una página por usuario del archivo de credenciales, con sus pestañas y sus agentes. Sin abrir puertos: en este equipo, en tus dispositivos de la tailnet o, para las páginas que apruebes, en Internet con Tailscale Funnel.

Esta es la aplicación original de AVA web (agents/web/login.html y AVA_agents.html, sin cambios), como plantilla: un servidor simulado en el navegador sustituye al de AVA, así que no está conectada a nada. Entra con cualquier usuario (cualquier contraseña), cambia de pestaña, escribe a un agente, consulta las tablas de ejemplo o añade filas. Las respuestas y los datos son de ejemplo.

Cada GPU tiene su Ollama y su cola de modelos; cada sesión de AVA web, un nombre, una GPU y sus puertos. Varias sesiones en una GPU se turnan en su cola, una sesión parada se despierta con la primera petición, y las GPU se intercambian entre sesiones con un botón. Cuando escribes en la réplica de arriba, su petición aparece aquí.

Réplica de AVA monitor con datos simulados: arranca, para o reinicia sesiones, cámbiales la GPU, intercámbialas o crea una nueva. El monitor real lee nvidia-smi, Ollama y la cola de cada GPU cada pocos segundos.

# en el servidor
AVA\agents\web\AVA_web.cmd          → http://127.0.0.1:8630
AVA_monitor\AVA_monitor.cmd              → http://127.0.0.1:8650
# tailnet e Internet: netagent publica las URL (privilegio lan.publish ava_web)
AVA\agents\netagent\netagent.exe "Publica AVA web en la tailnet y en Internet"

Instalación en una sola ventana

Windows 10/11 x64, una GPU NVIDIA, ≥ 30 GB libres y una ruta de carpeta sin espacios.

1. 1 · Descarga el repositorio

   git clone https://github.com/gamindful/AVA.git

2. 2 · Ejecuta AVA_installer.exe

   Responde a todas las preguntas una sola vez en la primera ventana; después la instalación sigue hasta el final sin preguntar nada.

3. 3 · Abre AVA Agents desde la barra de tareas

   Pestañas: Agents, Analysis, Clients, Databases. O desde la terminal: python manage.py chat.