La IA agéntica necesita gobernanza para escalar de forma segura

Las empresas avanzan rápidamente en el despliegue de sistemas de IA agéntica y autónoma, y más del 60% de las organizaciones espera utilizar agentes de IA en los próximos dos años, según una investigación de Gartner. El impulso está motivado por el potencial de automatizar flujos de trabajo complejos, aumentar la productividad y pasar de los insights generados por IA a la acción autónoma. La velocidad de adopción y el tiempo de implementación se están convirtiendo, por sí mismos, en factores diferenciadores de competitividad.

Así lo plantea Octavian Tanase, Chief Product Officer (CPO) de Hitachi Vantara, quien advierte que si no se toma el tren correcto en el momento adecuado, todo aquello que una empresa esté desarrollando con tecnología de IA podría convertirse en un estándar básico o, peor aún, en una noticia del pasado cuando finalmente llegue a destino.

A medida que los sistemas de IA obtienen un mayor acceso a los datos empresariales y adquieren la capacidad de tomar decisiones y ejecutar acciones de manera autónoma, las empresas deben comprender y abordar los mayores riesgos que esto implica. Sin las salvaguardas adecuadas, la automatización puede escalar los errores, exponer datos sensibles y propagar problemas con mayor rapidez. Esto no significa que la respuesta sea ralentizar la adopción; significa que, para tener éxito, las empresas deben incorporar la gobernanza, la protección de datos y la ciberresiliencia en sus estrategias de IA empresarial desde el principio.

Cambiando las reglas del juego y multiplicando el riesgo

De acuerdo con el directivo, todos hablan de cómo la automatización ayuda a escalar, pero las mismas capacidades de IA que permiten a las empresas automatizar a gran escala también incrementan sus riesgos y los de sus grupos de interés. La IA facilita que atacantes, defraudadores y otros actores maliciosos repliquen exploits y causen un mayor daño. Una automatización defectuosa, debido a la deriva del modelo u otros problemas que muchas veces pasan inadvertidos, puede amplificar los errores a escala. Esto representa un problema real cuando la IA forma parte de los sistemas de TI empresariales, pero puede resultar aún más catastrófico en el mundo físico.

Tanase señala que la preocupación ya no pertenece a la ciencia ficción. A manera de ejemplo, menciona a los nefastos droides de Star Wars y apunta que la idea de un ejército de droides no parece tan descabellada si se considera que, según Morgan Stanley Research, el número de robots humanoides podría superar los 1.000 millones para 2050. Esto significa que el riesgo de que la IA física termine siendo corrompida por el lado oscuro es una preocupación legítima.

Las consecuencias de comprometer sistemas de IA física podrían adoptar muchas formas. Un ataque contra un vehículo autónomo podría hacer que un automóvil o camión desacelerara cuando debería acelerar, provocando potencialmente un accidente. El texto original del comunicado concluye en este punto.