2024.07.17. The Fair Economy — La empresa tecnológica de IA CrowdWorks (CEO Kim U-seung) anunció el día 17 que ha iniciado el proyecto 'Desarrollo de un marco de evaluación de confiabilidad para IA generativa' para establecer las bases de la confiabilidad de la inteligencia artificial (IA).
CrowdWorks recientemente ganó el proyecto 'Estudio de enfoques prácticos para la evaluación de la confiabilidad de la IA generativa', organizado por la Asociación de Tecnologías de la Información y Comunicaciones de Corea (TTA). CrowdWorks participa en un consorcio con la startup especializada en soluciones de procesamiento de lenguaje natural Teddysum (CEO Ham Yeong-gyun) y el equipo de investigación del profesor Kim Han-saem de la Universidad de Yonsei.
Según CrowdWorks, este proyecto tiene como objetivo establecer directrices para garantizar la seguridad y confiabilidad de la IA generativa, con la meta de 'desarrollar y difundir un marco de evaluación de confiabilidad para IA generativa'. Se sistematizarán las definiciones de los principales factores de riesgo de la IA generativa, que varían según la investigación, y se desarrollará un marco práctico de evaluación de confiabilidad que considere las características socioculturales para minimizar los riesgos y efectos secundarios de la IA generativa.
El alcance del proyecto incluye: ▲definición y clasificación sistemática de riesgos de la IA generativa ▲diseño de la estructura de mapeo de la matriz riesgo-evaluación ▲recopilación de técnicas de red teaming y elaboración de materiales educativos ▲diseño de mecanismos de evaluación ▲aplicación piloto para evaluar la viabilidad práctica de los métodos de evaluación.
CrowdWorks, basándose en su experiencia en la construcción de datos de entrenamiento y la evaluación y verificación de modelos LLM como HyperCLOVA X y EXAONE, así como en su experiencia técnica en el desarrollo del sLLM WorksOne, se encargará del desarrollo de materiales educativos y la validación del marco para la difusión del marco de evaluación de IA generativa.
Para ello, recopilará técnicas de red teaming nacionales e internacionales, identificará características y patrones de prompts maliciosos basados en datos, y elaborará una guía de entrenamiento en red teaming que incluya análisis de técnicas y tipos de prompting ofensivo. Además, para validar la guía del marco de evaluación de confiabilidad de IA generativa, se realizarán ataques reales contra modelos de IA nacionales y se presentarán mejoras y medidas de respuesta.
CrowdWorks está ampliando su liderazgo y su base tecnológica en IA gracias a su inigualable competitividad en tecnología de datos y su experiencia diferenciada en el ecosistema de IA. En 2022, dos tecnologías de etiquetado de datos desarrolladas por CrowdWorks fueron adoptadas como estándares de grupo a través de TTA, y las 'Consideraciones de diseño de tareas' y las 'Especificaciones de datos de resultados' adoptadas como estándares de grupo han sentado las bases para la activación de la industria de datos nacional.
Kim U-seung, CEO de CrowdWorks, declaró: "El marco de evaluación de confiabilidad y seguridad de la IA acelerará la estandarización de la evaluación de la IA y aumentará la interoperabilidad y compatibilidad de la IA, lo que acelerará el desarrollo de la industria de la IA. Haremos todo lo posible para asegurar el liderazgo y la competitividad en el ámbito de la tecnología de confiabilidad de la IA y para que nuestro país pueda dar el salto hacia una potencia de IA".
0 comentarios
Aún no hay comentarios.