Bloomberg — Bloomberg reveló un documento de investigación en el que detalla el desarrollo del BloombergGPT, un modelo de inteligencia artificial generativa a gran escala creado específicamente para atender la terminología del sector financiero y que busca revolucionar la industria.
El modelo de lenguaje de gran tamaño (LLM), con 50.000 millones de parámetros, tiene como objetivo ayudar a Bloomberg a mejorar las actuales tareas de procesamiento del lenguaje natural (PLN) en el ámbito de las finanzas. Entre las tareas alcanzadas se encuentran el análisis de sentimientos de los usuarios, el reconocimiento de entidades con nombre, la clasificación de noticias y la respuesta a preguntas, entre otras.
Además, las enormes cantidades de datos disponibles en el terminal Bloomberg le permitirán ofrecer en su herramienta de IA unas informaciones financieras más precisas.
Bloomberg ha estado a la vanguardia de la aplicación de la IA, el aprendizaje automático (machine learning) y el procesamiento del lenguaje natural en las finanzas durante más de una década. La empresa lleva a cabo un conjunto muy amplio y diverso de tareas de PLN, todas las cuales se beneficiarán del nuevo modelo de lenguaje para finanzas.
Los investigadores de Bloomberg trabajaron en un enfoque mixto que combina datos financieros con conjuntos de datos de uso general para entrenar un modelo que consigue los mejores resultados de su clase en las pruebas de referencia financieras, de acuerdo con la empresa.
Un documento de investigación publicado por la empresa el jueves muestra que los analistas de datos de Bloomberg han recopilado y conservado documentos de lenguaje financiero a lo largo de cuarenta años. El equipo se basó en este extenso archivo para crear una amplia base de datos con 363.000 millones de tokens (pequeños fragmentos de texto que constituyen la base para el entrenamiento de estos modelos de lenguaje natural) de documentos financieros en inglés.
A estos se sumó un conjunto de datos públicos de 345.000 millones de tokens para crear un gran corpus de entrenamiento con más de 700.000 millones de tokens. Utilizando una parte de este corpus, el equipo entrenó un modelo de lenguaje causal con 50.000 millones de parámetros de decodificación.
“Por todas las razones por las que los modelos de lenguaje de gran tamaño (LLM) generativos son atractivos - aprendizaje de pocos disparos, generación de texto, sistemas conversacionales etc.-, vemos un enorme valor en haber desarrollado el primer LLM centrado en el ámbito financiero”, afirma Shawn Edwards, director de Tecnología de Bloomberg, en un comunicado de la empresa.
“BloombergGPT nos permitirá abordar muchos nuevos tipos de aplicaciones, al tiempo que ofrece un rendimiento mucho mayor de forma inmediata que los modelos personalizados para cada aplicación, con un tiempo de comercialización más rápido.”
