En asociación con Elastic
El auge de la inteligencia artificial ha impactado en todas las industrias, y las organizaciones del sector público enfrentan una presión creciente para acelerar su adopción. Al mismo tiempo, las instituciones gubernamentales enfrentan restricciones distintivas en torno a la seguridad, la gobernanza y las operaciones que las diferencian de sus contrapartes comerciales. Por esta razón, los modelos de lenguaje pequeños (SLM) diseñados a medida ofrecen un camino prometedor para operacionalizar la IA en estos entornos.
Un estudio de Capgemini reveló que el 79 por ciento de los ejecutivos del sector público a nivel mundial desconfían de la seguridad de los datos en la IA, una cifra comprensible dada la alta sensibilidad de la información gubernamental y las obligaciones legales que rodean su uso. Como afirma Han Xiao, vicepresidente de IA en Elastic: “Las agencias gubernamentales deben ser muy restringidas sobre qué tipo de datos envían a la red. Esto establece muchos límites sobre cómo piensan y gestionan sus datos”.
La necesidad fundamental de control sobre la información sensible es uno de los muchos factores que complican el despliegue de la IA, particularmente cuando se compara con las suposiciones operativas estándar del sector privado.
Desafíos operativos únicos
Cuando las entidades del sector privado expanden la IA, típicamente asumen que ciertas condiciones estarán presentes, incluyendo conectividad continua a la nube, dependencia de infraestructura centralizada, aceptación de una transparencia de modelo incompleta y restricciones limitadas al movimiento de datos. Para muchas instituciones estatales, sin embargo, aceptar estas condiciones podría ser desde peligroso hasta imposible.
Las agencias gubernamentales deben garantizar que sus datos permanezcan bajo su control, que la información pueda ser cotejada y verificada, y que las interrupciones operativas se mantengan al mínimo absoluto. Al mismo tiempo, a menudo tienen que ejecutar sus sistemas en entornos donde la conectividad a internet es limitada, poco confiable o inexistente. Estas complejidades impiden que muchos pilotos prometedores de IA en el sector público avancen más allá de la experimentación. “Mucha gente subestima el desafío operativo de la IA”, comenta Xiao. “El sector público necesita que la IA funcione de manera confiable con todo tipo de datos y que luego pueda crecer sin romperse. La continuidad de las operaciones a menudo se menosprecia”. Una encuesta de Elastic a líderes del sector público encontró que el 65 por ciento lucha por utilizar datos de manera continua en tiempo real y a escala.
Las restricciones de infraestructura agravan el problema. Las organizaciones gubernamentales también pueden tener dificultades para obtener las unidades de procesamiento gráfico (GPU) utilizadas para entrenar y acceder a modelos de IA complejos. Como señala Xiao: “El gobierno no suele comprar GPU con frecuencia, a diferencia del sector privado; no están acostumbrados a gestionar infraestructura de GPU. Por lo tanto, acceder a una GPU para ejecutar el modelo es un cuello de botella para gran parte del sector público”.
Un modelo más pequeño y práctico
Los numerosos requisitos no negociables en el sector público hacen que los modelos de lenguaje extensos (LLM) sean inviables. Sin embargo, los SLM pueden alojarse localmente, ofreciendo mayor seguridad y control. Los SLM son modelos de IA especializados que típicamente utilizan miles de millones en lugar de cientos de miles de millones de parámetros, lo que los hace mucho menos exigentes desde el punto de vista computacional que los LLM más grandes.
El sector público no necesita construir modelos cada vez más grandes alojados en ubicaciones centralizadas fuera de sus instalaciones. Un estudio empírico encontró que los SLM funcionaron tan bien o mejor que los LLM. Los SLM permiten que la información sensible se utilice de manera efectiva y eficiente, evitando al mismo tiempo la complejidad operativa de mantener modelos masivos. Xiao lo explica de esta manera: “Es fácil usar ChatGPT para hacer correcciones de textos. Es muy difícil ejecutar tus propios modelos de lenguaje extensos con la misma fluidez en un entorno sin acceso a la red”.
Los SLM están diseñados específicamente para las necesidades del departamento o agencia que los utilizará. Los datos se almacenan de forma segura fuera del modelo y solo se accede a ellos cuando se realiza una consulta. Los prompts cuidadosamente diseñados mediante prompt engineering aseguran que solo se recupere la información más relevante, proporcionando respuestas más precisas. Utilizando métodos como la recuperación inteligente (smart retrieval), la búsqueda vectorial (vector search) y el anclaje en fuentes verificables (verifiable source grounding), se pueden construir sistemas de IA que satisfagan las necesidades del sector público.
Por lo tanto, la próxima fase de adopción de la IA en el sector público puede consistir en llevar la herramienta de IA hacia los datos, en lugar de enviar los datos hacia la nube. Gartner predice que para 2027, los modelos de IA pequeños y especializados se utilizarán tres veces más que los LLM de propósito general.
Capacidades de búsqueda superiores
“Cuando la gente en el sector público escucha hablar de IA, probablemente piensa en ChatGPT. Pero podemos ser mucho más ambiciosos”, afirma Xiao. “La IA puede revolucionar la forma en que el gobierno busca y gestiona las grandes cantidades de datos que posee”.
Mirar más allá de los chatbots revela una de las oportunidades más inmediatas de la IA: una búsqueda dramáticamente mejorada. Al igual que muchas organizaciones, el sector público tiene montañas de datos no estructurados, incluyendo informes técnicos, documentos de adquisiciones, actas y facturas. La IA actual, sin embargo, puede entregar resultados provenientes de medios mixtos, como PDF legibles, escaneos, imágenes, hojas de cálculo y grabaciones, y en múltiples idiomas. Todo esto puede ser indexado por sistemas impulsados por SLM para proporcionar respuestas personalizadas y redactar textos complejos en cualquier idioma, garantizando al mismo tiempo que los resultados cumplan con la legalidad. “El sector público tiene muchos datos y no siempre sabe cómo usarlos. No conocen las posibilidades”, dice Xiao.
Incluso más potente es el hecho de que la IA puede ayudar a los empleados públicos a interpretar los datos a los que acceden. “La IA de hoy puede proporcionarte una visión completamente nueva de cómo aprovechar esos datos”, dice Xiao. Un SLM bien entrenado puede interpretar normas legales, extraer ideas de consultas públicas, apoyar la toma de decisiones ejecutivas basadas en datos y mejorar el acceso ciudadano a los servicios y la información administrativa. Esto puede contribuir a mejoras drásticas en la forma en que el sector público lleva a cabo sus operaciones.
La promesa de los modelos pequeños
Centrarse en los SLM cambia la conversación de qué tan integral puede ser el modelo a qué tan eficiente es. Los LLM incurren en costos significativos de rendimiento y computación, y requieren hardware especializado que muchas entidades públicas no pueden costear. A pesar de requerir algunos gastos de capital, los SLM son menos intensivos en recursos que los LLM, por lo que tienden a ser más económicos y reducen el impacto ambiental.
Las agencias del sector público a menudo enfrentan requisitos de auditoría estrictos, y los algoritmos de los SLM pueden documentarse y certificarse como transparentes. Algunos países, particularmente en Europa, también tienen regulaciones de privacidad como el GDPR que los SLM pueden diseñarse para cumplir.
Los datos de entrenamiento personalizados producen resultados más dirigidos, reduciendo errores, sesgos y las alucinaciones a las que la IA es propensa. Como señala Xiao: “Los modelos de lenguaje extensos generan texto basado en aquello con lo que fueron entrenados, por lo que hay una fecha de corte en su entrenamiento. Si preguntas sobre cualquier cosa posterior a eso, alucinará. Podemos resolver esto obligando al modelo a trabajar a partir de fuentes verificadas”.
Los riesgos también se minimizan manteniendo los datos en servidores locales, o incluso en un dispositivo específico. No se trata de aislamiento, sino de autonomía estratégica para habilitar la confianza, la resiliencia y la relevancia.
Al priorizar modelos específicos para tareas diseñados para entornos que proveen autonomía, el sector público puede finalmente cerrar la brecha entre la experimentación y la implementación operativa real.
Vía CNX Software.
