Token
Un token es la unidad más pequeña de texto que procesa un modelo de lenguaje: una palabra, parte de una palabra o un carácter. Cuántos caracteres caben en un token depende del modelo y del idioma.
En la práctica (ilustrativo): una conversación larga con el cliente, sumada a las instrucciones del agente y a fragmentos del catálogo, puede llegar a miles de tokens.
Cuidado: muchos proveedores de modelos cobran por tokens de entrada y de salida. Las instrucciones y los documentos enviados junto con los mensajes también cuentan, así que el costo de un agente depende de cómo está diseñado, no solo del número de conversaciones. Mira cuánto cuesta la IA para empresas.
Ventana de contexto
Es la cantidad de texto que el modelo puede considerar de una vez para generar la respuesta: su memoria de trabajo en ese momento. Es distinta de lo que el modelo aprendió en el entrenamiento.
En la práctica (ilustrativo): para responder a un pedido de cambio, la ventana necesita las partes relevantes: la regla de cambios, lo que el cliente ya dijo sobre el pedido y los datos del pedido.
Cuidado: lo que no está en la ventana, el modelo no lo ve. En conversaciones largas, partes antiguas pueden quedar fuera. Recordar al cliente de una semana a otra exige guardar información fuera del modelo, con reglas claras sobre qué guardar. Mira los riesgos de la memoria de IA.
Prompt
El prompt es el texto que se envía al modelo: la pregunta, el contexto y las instrucciones. En un agente, las instrucciones de rol, tono de voz, reglas y límites (el llamado prompt de sistema) se envían al modelo en cada ejecución, según el diseño del agente.
En la práctica (ilustrativo): "Atiendes a la tienda X. Solo informa plazos que estén en el sistema. Los pedidos de descuento superiores al 10% van al gerente."
Cuidado: una instrucción escrita orienta al modelo, pero no garantiza que la cumpla siempre. Por eso las reglas importantes también quedan en los permisos y en los sistemas, y el prompt se ajusta con un criterio de éxito y pruebas con conversaciones reales. Mira prompt de sistema para agentes de IA.
Embedding
Un embedding representa un texto como una lista de números (un vector). La distancia entre dos vectores sugiere cuánto se relacionan los textos: los textos de sentido parecido tienden a quedar cerca.
En la práctica (ilustrativo): "quiero devolver el producto" y "cómo cambio el producto" tienden a quedar cerca, porque tratan del mismo asunto, aunque la intención no es idéntica: quien devuelve quiere el dinero, quien cambia quiere otro artículo.
Cuidado: la cercanía sugiere relación; no garantiza que el texto encontrado responda a la pregunta. Mira gestión del conocimiento con IA.
Búsqueda vectorial
Es la búsqueda que usa embeddings para traer fragmentos potencialmente relevantes para la pregunta, incluso sin la palabra exacta. Es una de las formas en que el RAG, descrito arriba, elige qué entregar al modelo.
En la práctica (ilustrativo): el cliente pregunta "¿puedo devolverlo después de usarlo?" y la búsqueda puede traer el párrafo de la política sobre productos usados, aunque no diga "devolver".
Cuidado: la búsqueda puede traer un fragmento solo parecido, y no el correcto. Un documento desactualizado puede contaminar la respuesta, y las bases duplicadas o contradictorias aumentan el riesgo de error. Mantener la base y verificar lo que se usó es parte del trabajo.
Llamada a herramientas
También llamada function calling. El modelo decide, a partir del pedido y de la descripción de una herramienta, que necesita una acción externa y devuelve un pedido estructurado. Quien la ejecuta es el software responsable de la herramienta, que puede ser la aplicación de la empresa o un servicio del propio proveedor del modelo, bajo los permisos configurados; el resultado vuelve al modelo.
En la práctica (ilustrativo): el cliente pregunta dónde está su pedido; el agente llama a la herramienta "consultar pedido" con el número informado, el sistema devuelve el estado y el agente redacta la respuesta.
Cuidado: si falta un dato obligatorio, el modelo puede intentar deducir un valor. Las acciones que cambian algo (cancelar, cobrar, modificar un registro) piden datos confirmados y permisos bien definidos. Mira integración de sistemas.
Alucinación
Es cuando el modelo afirma con seguridad algo equivocado o inventado. El NIST llama a este fenómeno confabulación.
En la práctica (ilustrativo): sin acceso al plazo de entrega, el modelo responde "llega en tres días" porque suena plausible.
Cuidado: permitir que el agente diga "no lo sé", responder con base en documentos de la empresa (el RAG, arriba) y verificar la información en la fuente reducen el problema, pero no lo eliminan. La información crítica (precio, plazo, contrato) debe venir de un sistema o documento, y la calidad debe medirse por resolución verificada. Mira métricas de atención con IA.
Participación humana (human in the loop)
Es el diseño en el que una persona revisa, aprueba o asume etapas definidas del trabajo de un agente de IA, con roles y responsabilidades claros.
En la práctica (ilustrativo): un descuento por encima del límite va a aprobación del gerente; un reclamo pasa a una persona con el historial completo.
Cuidado: una revisión que se vuelve trámite no protege. El NIST señala riesgos como el sesgo de automatización y la confianza excesiva en el sistema; quien aprueba necesita tiempo, criterio y autoridad para decir que no. Mira intervención humana en la atención con IA.