Las organizaciones de todo el mundo están creciendo iniciativas para aprovechar el progreso en la IA, incluida la comunidad científica. Pero, ¿cuál es el futuro de la ciencia a través de la lente de IA? Para parafras a la Gran Yogi Bera, el futuro de la innovación científica impulsada por la IA no es antes.
Es difícil creer que la ola actual de la IA productiva sea inferior a tres años. Tan pronto como el Openi prendió fuego a la idea del Openi a fines de 2022, la gente ha decidido cómo trabajamos, cómo jugamos y cómo aprendemos cómo aprendemos. Las empresas se mueven rápidamente para seguir los derechos del TR 4 billones que McKinse dice que la IA produce anualmente.
Mientras tanto, los científicos también han aumentado sus propias iniciativas de IA. Si es posible «aprender» mucho de los libros de texto legales del modelo de idioma grande (LLM) para aprobar el examen de la barra, el LLM puede «aprender» del registro científico para responder preguntas científicas no triviales. Y lo que es más importante, si el LLM se construye bastante grande y está entrenado con datos científicos adecuados, ¿puede comenzar a responder algunas excelentes preguntas científicas que hasta ahora se han perdido el razonamiento científico?
Es una de las primeras promesas del Consorcio de Parámetros de Billion, una iniciativa global de laboratorios federales, instituciones de investigación, científicos de la academia y la industria, dirigida por el Laboratorio Nacional Argón del Departamento de Energía. Cuando se anuncia para lanzar un TPC ANL en noviembre de 2023, los objetivos declarados del grupo giran en torno a cuatro cosas: desarrollar modelos de IA para la ciencia; Curado de datos; Mejora de las bibliotecas de IA para las plataformas Excella; Y desarrollar plataformas de evaluación.
Inicialmente, a medida que algunos miembros del TPC aumentaron, a medida que aumentaba los modelos de IA, esperaban que pudieran comenzar a descifrar algunas grandes preguntas científicas. Esta promesa se establece sobre observaciones y datos prácticos, como en varios ejemplos del día, los LLM demuestran las habilidades de traducción de texto, finalización del código y matemáticas.
Los investigadores de Google Brain, Deep Mind, Stanford University y la Universidad de Carolina del Norte han escrito «el surgimiento de la aparición de modelos de idiomas grandes», ya que «se muestra que el aumento de las muestras de idiomas mejora el rendimiento y la eficiencia del modelo en una amplia gama de descargas». Los autores describieron la aparición de LLM como un «fenómeno inesperado».
Y así, el Big Big LLM Gold Rush estaba en marcha. El Openi GPT -4 fue lanzado a más fanáticos en marzo de 2023, solo cuatro meses después del lanzamiento de Chatgipt. Aunque no se confirma el tamaño OpenI GPT -4, se cree que tiene aproximadamente 1.8 billones de parámetros. Se supone que es aproximadamente 10 veces mayor que GPT -3, que tiene alrededor de 175 mil millones de parámetros. Muchos de la comunidad de IA creían que la velocidad de escala continuaría a ese ritmo, con un modelo de parámetros de 18-20 billones de parámetros posibles para 2025. Más allá de eso, ¿quién sabe? ¿Hay un modelo de 100 billones o 1 cuadrillones en las cartas?
Las posibilidades fueron atraídas. Si puede hacer un trabajo cognitivo en LLM PhD con 1.8 billones de billones. ¿Qué es el LLM capaz de nivel, 20 billones de parámetros? ¿Qué tipo de emergencia inesperada vemos a medida que aumenta el número de parámetros? Nadie sabía la respuesta, pero había un brillo de esperanza de que estos modelos de gran tamaño pudieran hacer lo que era realmente significativo en la ciencia, como una forma de la teoría unificada de la física.
Sin embargo, la mayoría de esas promesas ahora se encuentran en el backburn, por varias razones, no en la pared de escala que se llama así. Uno no puede solo aumentar LLM y esperar ver un aumento comparable en los retornos. Hay una serie de factores, incluidas las perturbaciones arquitectónicas en el suministro limitado de datos de capacitación apropiados, y la rapidez con que se puede suministrar GPU con datos. También es costoso entrenar un parámetro de 20 billones de LLM, quizás menos de cinco empresas en la Tierra. Incluso las alucinaciones han demostrado ser un problema difícil de superar.
Se ha terminado la idea de que hemos construido el sistema de AI Super Genius con la capacidad de resolver los difíciles problemas científicos del mundo. El objetivo es continuar cuando los LLM nos sorprenden con emergencias inesperadas durante unos meses en 2022 y 2023. Algunos de los líderes tecnológicos principales declararon que la era de la inteligencia común artificial (AGI) fue cercana, pero resulta que el progreso se mueve en un estilo móvil.
Aunque el AGI parece ser poco probable en el futuro cercano, no reduce la capacidad de la IA para la invención científica, ¡significa más trabajo!
Establecer un curso para hacer ese trabajo es el centro más grande en la última conferencia anual de TPC. Aunque los modelos de IA masivos no nos dan máquinas de respuestas mágicas en los próximos días, todavía existe una enorme capacidad para controlar la nueva tecnología de IA para mejorar la búsqueda de la investigación científica.
La mayoría de la emoción gira en torno a los modelos AI de una nueva clase conocida como modelos lógicos. Al igual que las empresas buscan adoptar modelos lógicos para desarrollar agentes de IA autónomos o semiautónomos, los científicos están buscando modelos lógicos para automatizar sus tareas diarias, como crear Oothes, establecer experimentos, realizar experimentos y analizar los resultados.
Para guiar a la comunidad científica a su futuro de IA, los líderes de TPC establecieron cinco iniciativas principales. El director ejecutivo de TPC, Charles Katlet, compartió estos objetivos el último día del evento TPC 25 en julio. Incluye:
- Datos e infraestructura de cómputo compartida.
- Abra el modelo Frontier: El TPC se compromete a desarrollar un modelo de IA grande y fronteriza que sea libre de usar la comunidad, en lugar de estar cubierto por Openi, Google y otros. Los datos científicos compartidos del Paso 1 estarán capacitados y se utiliza la potencia informática combinada de la comunidad TPC.
- Sistema de IA de frontera abierta: TPC construye un sistema de IA de alto rango especialmente diseñado para el trabajo científico. Comenzará con modelos patentados sofisticados, que se utilizan para las pruebas, pero eventualmente hará que los modelos lógicos de IA host y haga un gran modelo de frontera abierta desarrollada en la fase 2.
- Infraestructura/marco de software: El TPC quiere construir el software y el equipo necesario para ejecutar los modelos y sistemas de IA masivos descritos en 2 y 3 etapas. Consiste en varias parteras y sistemas operativos que se requieren para la investigación de IA y se usan para la investigación del mundo real, donde se combina con experimentos, laboratorios, herramientas, sensores y equipos.
- Conducir aplicaciones desafiantes: Además de construir software y hardware, el TPC ha identificado un puñado de desafíos científicos en el campo de las drogas SADHA, modelado del clima, investigación de combustible y ciencia de materiales, que quiere hacer frente a sus sistemas de IA.
La IA no era una bala de plata para la invención científica, ya que existía la corriente de IA, pero algunos esperaban que todavía tenga una gran capacidad para acelerar la velocidad de la innovación. La IA para grandes problemas reales no encajará ni excederá el ingenio humano en cualquier momento pronto, pero no significa que no ayuda a la ciencia. Los científicos que controlan las habilidades de IA existentes se benefician al acelerar la ejecución de tareas científicas y flujos de trabajo existentes. Si conduce a un gran progreso científico, sigue siendo el progreso que todavía es realizado por el ingenio humano, pero con la estimulación de la IA.
