Creando small models eficientes con Llama 3.2 y Pruning.
Martra Una de las técnicas primordiales, en la creación de Small Language Models es el Pruning, pero para ejecutar un proceso de pruning exitoso es imprescindible conocer la estructura de los…
Montamos un sistema NL2SQL con Azure OpenAI Studio.
En el artículo anterior, aprendimos a montar un prompt que era capaz de generar órdenes SQL desde peticiones realizadas en lenguaje natural por parte del Usuario. Ahora veremos como utilizar…
Crear un SuperPrompt de conversión de Lenguaje Natural a SQL para OpenAI.
Una de las cosas que más ha cambiado en estos últimos meses, desde el Boom de ChatGPT, ha sido la aparición de modelos de lenguaje inmensos, que son capaces de…
QLoRA: entrenar un Gran Modelo de Lenguaje en una GPU de 16 GB.
Si juntamos las dos técnicas podemos cargar un gran modelo de lenguaje en mucha menos memoria de la que necesitaría y fine-tunearlo. Combinando las dos somos capaces de fine-tunear modelos…
Fine-Tuning eficiente con LoRA. Entrena de forma óptima los Grandes Modelos de Lenguaje.
LoRA es una de las técnicas más eficientes y efectivas de Fine-Tuning aplicable a Grandes Modelos de Lenguaje que existe actualmente. Es una técnica de reparametrizacion, actualizando el peso de…
Prompt Tuning de Modelos con la Librería PEFT de Hugging Face.
Si estás leyendo esto, es que realmente estás interesado en nuevas técnicas de Fine-Tuning de Grandes Modelos de Lenguaje. He sido totalmente incapaz de crear un título que sea medio…
Introducción al FineTuning con Soft Prompting y LoRA de la librería PEFT de Hugging Face.
Realizar un entreno desde 0 de uno de los Grandes Modelos de Lenguaje actuales es una acción al alcance de muy poco. Las horas de GPUs necesarias y el coste…
Creación de un sistema automoderado de comentarios con LLAMA-2 y LangChain.
En este artículo veremos como crear un sistema que sea capaz de responder a los comentarios de los usuarios de un supuesto foro de opinión o soporte de una empresa.…
Creación de un sistema de comentarios con LangChain y OpenAI.
Como disclaimer me gustaría indicar que este artículo es tan solo un ejemplo creado para ver como funciona la herramienta LangChain. Hay muchas formas diferentes de crear un sistema automoderado…
Cómo evaluar la calidad de los resúmenes generados por grandes modelos de lenguaje mediante ROUGE.
Los Grandes Modelos de lenguaje están introduciendo cambios en muchos ámbitos. En el campo que nos toca: el de dar soluciones mediante la inteligencia artificial ha provocado una pequeña revolución.…