En 2017, el Inteligencia artificial (AI) experimentó una importante revolución con la aparición de un innovador estudio llamado “Atención es todo lo que necesitas“, hecho por Noam Shazeer, Leon Jones, Jakob Uszkoreit, Illia Polosukhin, Ashish Vaswani, Niki Parmar, Lukasz Káiser y Aidán Gómez.
El modelo, al que llamaron “transformador”, se distingue por depender exclusivamente de mecanismos de atención, que prescinde de redes neuronales recurrentes (RNN) y redes que se utilizaban tradicionalmente en tareas de traducción de secuencias. El análisis se convirtió una milla para el desarrollo de tecnologías avanzadas como ChatGPT, Dall-Ey A mitad del viajeredefiniendo el enfoque de las redes neuronales mediante la implementación de transformadores y la técnica de autoatención.
Él “transformador”ha demostrado ser eficaz en otras aplicaciones de procesamiento del lenguaje natural. Lo que sugiere que el “transformador”fue una herramienta valiosa en una variedad más amplia de tareas de ingeniería. inteligencia artificialpromovió avances significativos en el campo.
Los experimentos realizados por los especialistas revelan que esta arquitectura es capaz de obtener resultados superiores no sólo en términos de precisión y calidad del texto generado, sino también en eficiencia operativa. La capacidad de “transformador“Operar sin las complejidades asociadas con las redes convencionales abre nuevas posibilidades para el desarrollo futuro de la inteligencia artificial.
El impacto de esta innovación se extendió rápidamente fuera del ámbito científico y reformuló la forma en que se aborda el procesamiento del lenguaje natural, para impulsar también una reevaluación de la estrategia de innovación dentro de empresas líderes como Google. A pesar de sus aplicaciones potenciales enormemente valiosas, Google no fue la entidad líder en capitalizar este avance, lo que permitió a startups como Abierto AI avanzar con tecnologías basadas en transformadores como GPT.
- Noam Shazeer: cofundador y director ejecutivo de Personaje IA. Se sorprendió al ver que era el primero en el artículo revolucionario en el campo de AIporque eligieron democráticamente a sus coautores por presentarse como contribuyentes equitativos.
- Jakob Uszkoreit: hijo de un reconocido lingüista computacional Hans Uszkoreitse convirtió en cofundador y director ejecutivo de Inicial. Su interés por la traducción de idiomas le llevó a incorporarse Googledonde su trabajo contribuiría a cambiar el rumbo del inteligencia artificial.
- Illia Polosukhin: originalmente ucranio y cofundador de Cercano. Trabajó en Google intentando hacer más eficientes las búsquedas online, lo que finalmente le llevó a colaborar en el desarrollo de transformadores.
- Ashish Vaswani– Con experiencia previa en la creación de modelos de traducción automática, pasó a Googledonde se involucró radicalmente en el proyecto transformador, antes de cofundar IA esencial.
- Niki Parmar: después de terminar sus estudios de maestría, parmar decidió unirse Googledonde tuvo la oportunidad de trabajar en el equipo de Transformers, lo que marcó un punto de inflexión en su carrera y finalmente la llevó a cofundar IA esencial.
- Leon Jones: De galés y cofundador de IA sakana, jones se unió al equipo de Transformers impulsado por su curiosidad y su creencia en el potencial de la autoconciencia para cambiar el procesamiento del lenguaje natural en AI.
- Łukasz Kaiser: polacoy una figura clave en Abierto AIquien contribuyó a la teoría computacional, se unió al proyecto transformador y contribuyó significativamente a su éxito.
- Aidán Gómez: canadiense y cofundador de Adherirseeste joven investigador se unió Google Como pasante, jugó un papel crucial en el desarrollo de Transformers gracias a su nueva perspectiva y energía.
Mientras contemplamos el legado que “Atención es todo lo que necesitas” y sus autores se han ido, está claro que han establecido un nuevo paradigma sobre cómo las máquinas entienden y generan el lenguaje. Este trabajo ha marcado un antes y un después en el procesamiento del lenguaje natural y también ha inspirado una exploración continua de los límites de lo que inteligencia artificial podemos lograr, lo que confirma que, de hecho, a veces, todo lo que se necesita puede ser atención.
Cada uno de estos investigadores, provenientes de diferentes partes del mundo y con historias personales únicas, se unieron en Google para crear los transformadores. El equipo, crisol de talentos y experiencias, se destacó por la colaboración y el respeto por la igualdad de contribuciones, incluso en la nomenclatura de su trabajo fundamental. A pesar de diversas perspectivas y trayectorias, lograron avanzar significativamente en el inteligencia artificial y sentar las bases para futuras innovaciones en este campo. Ahora mismo, todos, en camino después Googlecontinúa impactando el mundo tecnológico, llevando el legado de su colaboración hacia nuevas fronteras de exploración y desarrollo en AI.
