La sorpresa de MidJourney: una nueva investigación sobre la fabricación de LLMS escribe de manera más creativa

MidJourney: Expandiendo sus Horizontes en IA

La empresa MidJourney es reconocida por ser uno de los principales creadores de imágenes de IA, con una amplia base de usuarios en su canal de discordia. Sin embargo, recientemente ha comenzado a ampliar sus ambiciones al adentrarse en un nuevo campo de investigación junto a expertos en aprendizaje automático de la Universidad de Nueva York (NYU).

Nuevas Técnicas para la Creatividad en Modelos de Lenguaje Basados en Texto

En un reciente trabajo de investigación publicado en AI Code Community Hugging Face, MidJourney ha presentado dos nuevas técnicas: Optimización de Preferencias Directas Diversificadas (DDPO) y Optimización de Preferencias de Odds Ratios Diversificadas (DORPO). Estas técnicas están diseñadas para ampliar la gama de posibles resultados en la capacitación de modelos de idiomas grandes basados en texto, como Meta’s Open Source Llama y los modelos homónimos de MITRAL.

El Problema: Homogeneidad en la Escritura Generada por IA

En el ámbito de la escritura creativa, los modelos de lenguaje basados en texto a menudo tienden a generar respuestas homogéneas, limitando la diversidad y la originalidad. Esto se debe a diversas razones, como la priorización de la preferencia del usuario sobre la originalidad y la falta de técnicas efectivas para promover la diversidad en el proceso de aprendizaje del modelo.

La Solución: Priorizar la Diversidad en los Métodos Posteriores a la Capacitación

Para abordar este problema, los investigadores de MidJourney introdujeron las técnicas DDPO y DORPO, que se centran en la desviación para guiar la capacitación de los modelos. Al incorporar la desviación en la optimización de preferencia directa y de odds ratio, los modelos aprenden a producir respuestas más variadas y creativas, evitando la convergencia en estructuras predecibles.

Implicaciones Empresariales y Futuro de la Escritura Creativa Generada por IA

Estos hallazgos tienen importantes implicaciones para las organizaciones que dependen del contenido generado por IA en aplicaciones como IA conversacional, marketing de contenidos y desarrollo de juegos. Además, el éxito de las nuevas técnicas sugiere un futuro brillante para los proyectos creativos generados por IA, con la posibilidad de integrar el aprendizaje basado en la desviación en modelos empresariales y explorar su aplicación en diversas tareas generativas.

En resumen, la investigación de MidJourney marca un avance significativo en la capacitación de modelos de lenguaje basados en texto, ofreciendo nuevas perspectivas para mejorar la creatividad y la diversidad en la escritura generada por IA. Esto abre oportunidades para desarrollar sistemas de IA más dinámicos y creativos, que no solo sean inteligentes, sino también verdaderamente imaginativos.