Creando criaturas y dándoles vida con ML Agents de Unity.

Usando los ML Agents de Unity he empezado a crear lo que se llaman NPC’s. Son aquellos caracteres que pueblan un juego y que no son usados por el jugador. Su nombre es ingles es Non Playable Characters.

Lo mas sencillo, y lo más inteligente, es continuar usando las mismas técnicas de movimiento que usamos con cualquier otro carácter en Unity. Es decir desplazarlo como siempre, mediante vectores, o incluso mediante un navmeshagent, y tener una animación que acompañe al movimiento.

Pero cómo pequeños experimentos he empezado a crear caracteres que aprendan a moverse usando Deep Learning Reinforcement. (Me encantan estas palabrejas, así que ahora voy a meter algunas mas) Una parte del Machine Learning, que es la usada por los ML Agents de Unity a través del motor Anaconda….

Venga! Ahora en serio! Se trata de dar premios o castigos a estas criaturas dependiendo de sus acciones. Las acciones las toma en base a observar las variables que nosotros le indiquemos del entorno y los premios.

Tenéis un vídeo de unos 5 minutos donde se explican los puntos claves del Machine Learning adaptados a un desarrollo para UNITY.

Estas criaturas que voy a ir creando, tiene de especial, que no saben moverse! Se diseñan, se crean las partes, le puedes poner patitas, ruedas, unas juntas….. y el motor de Machine Learning empieza a mover estas partes.

¿El objetivo? Por ahora todas estas criaturas van a compartir el mismo! Perseguir y tocar un target que cambia de posición cuando se le toca.

Al tener que diseñar el cuerpo nos encontramos con más problemas que con un agente normal. No tan solo tenemos que solucionar la definición de un buen entorno de aprendizaje y decidir qué variables son las importantes. Sino que tenemos que diseñar un cuerpo eficiente!… o no. Ademas de decidir qué acciones puede hacer el agente con su cuerpo.

Para cada una de las criaturas definiremos su cuerpo y las variables que esta observando el ML Agent.