Inteligencia artificial de China es capaz de escribir novelas enteras
Asimismo, los técnicos indican que la limitación de salida de los LLM, la cual suele posicionarse en las mil palabras; se relaciona directamente a la longitud de los textos utilizados durante el ajuste fino supervisado. Por consiguiente, desarrollaron un sistema denominado AgentWrite para descomponer tareas de generación, y permitir que los LLM generaran salidas coherentes extensas.
El equipo se basó en un modelo de código abierto desarrollado por su propia universidad, identificado como GLM-4 9B, y entrenado con 10 billones de tokens en 26 idiomas para crear LongWriter-glm4-9b. También utilizó la versión 8B de los modelos de código abierto «Llama 3.1» para crear LongWriter-llama3.1-8b.
Inicialmente, los investigadores solicitaron a un chatbot basado en GLM-4 9B, para que creara una historia de cinco mil palabras, lo que resultó en un texto con un máximo de un mil 896 palabras. LongWriter-glm4-9b, en cambio, responde a la misma petición con un total de siete mil 872 palabras.
Fuente: Xataka
VTV/DC/DS
