El mundo de la informática moderna no permanece inmóvil, sino que cambia y evoluciona constantemente. Desarrollos y programas aparentemente totalmente nuevos están siendo sustituidos por otros más modernos, más interesantes, más cómodos y más rápidos.

No hace mucho, investigadores de la Universidad de Stanford, en estrecha colaboración con científicos del Instituto Canadiense de Inteligencia Artificial MILA, presentaron al público en general un algoritmo de IA experimental y fundamentalmente nuevo llamado Hiena.

Hyena sigue sometiéndose a diversos tipos de pruebas para garantizar que los usuarios reciban un producto realmente de alta calidad. Las primeras pruebas de las capacidades de la inteligencia artificial han demostrado que puede suponer un gran avance en este ámbito.

Los desarrolladores de la aplicación ya han realizado un gran número de pruebas, una de las cuales fue La Pila. Consta de un gran volumen de textos de diversos géneros y direcciones, cuyo volumen total es de aproximadamente 825 GB, lo que equivale a 250000 libros. Esta colección fue creada hace tres años por Eleuther.ai, una organización sin ánimo de lucro que desarrolla y pone a prueba la inteligencia artificial. Todos los textos se descargaron aquí de fuentes profesionales como: PubMed, GitHub o la Oficina de Patentes de EEUU.

Cómo funciona e innova la nueva inteligencia artificial

Antes de la creación de Hiena

La GPT-4 se basa en un principio caracterizado por ciertas limitaciones técnicas, es decir, el rendimiento de la IA disminuye en función de la cantidad de información que haya que analizar.

Este modelo de aprendizaje profundo se llama Transformer. Utiliza un mecanismo de “atención” que pondera por separado la importancia de cada parte de los datos que recibe a la entrada.

La “atención” en el contexto de las redes neuronales imita la atención cognitiva humana, lo que significa que la IA selecciona los datos importantes para introducirlos y, por tanto, les asigna más potencia de cálculo.

De este modo, Transformer utiliza la “atención”, que toma información, por ejemplo, palabras que pertenecen al primer grupo de símbolos y las traslada al segundo grupo de símbolos que generan la respuesta correcta.

El transformador funciona según el principio cuadrático de la complejidad computacional, es decir, el tiempo del programa aumenta en proporción al cuadrado de la cantidad de información de entrada.

Tras la creación de Hiena

Tras analizar todos los pros y los contras de los actuales principios de atención con los que funcionan las IA, Michael Poli y sus colegas de la Universidad de Stanford propusieron cambiar el principio de atención. Informaron de ello en un artículo científico “Jerarquía de hienas: hacia modelos lingüísticos más cohesivos”.

Utilizaron un nuevo enfoque para procesar los datos de la información. Michael Poli ha reducido la dependencia de su algoritmo de los cálculos cuadráticos sustituyendo la operación de “atención” por una “convolución” basada en un filtro que selecciona los elementos de datos independientemente de su origen. Pueden ser píxeles, fotos digitales o palabras que se convierten en frases y texto coherente.

De este modo, los desarrolladores combinaron dos tecnologías: filtros convolucionales para la secuencia correcta de palabras y filtros de redimensionamiento.

En consecuencia, puedes utilizar una convolución muchas veces seguidas hasta una cantidad ilimitada de texto. No es necesario copiar ningún dato adicional.

Durante las pruebas, se comprobó que la versión experimental de Hiena conseguía casi el mismo número de respuestas que GPT, pero utilizaba muchos menos datos de entrada.

Los desarrolladores también observaron que el rendimiento del nuevo algoritmo de IA aumentaba con el incremento de los datos de entrada en comparación con la “atención”.

Así pues, los investigadores creen que la nueva capacidad de Hyena de utilizar un filtro que puede “estirarse” eficazmente sobre miles de palabras significa que el “contexto” de una consulta a una aplicación lingüística es prácticamente ilimitado.