L’étude discover l’extension des modèles d’apprentissage profond à l. a. recherche en chimie

Les réseaux de neurones profonds (DNN) se sont révélés être des outils très prometteurs pour analyser de grandes quantités de données, susceptibles d’accélérer l. a. recherche dans divers domaines scientifiques. Par exemple, au cours des dernières années, certains informaticiens ont formé des modèles basés sur ces réseaux pour analyser les données chimiques et identifier les produits chimiques prometteurs pour diverses programs.

Des chercheurs du Massachusetts Institute of Generation (MIT) ont récemment mené une étude sur le comportement de mise à l’échelle neuronale de grands modèles basés sur DNN, formés pour générer des buildings chimiques utiles et apprendre les potentiels interatomiques. Leur article publié dans L’intelligence artificielle de l. a. naturemontre à quelle vitesse les performances de ces modèles peuvent s’améliorer à mesure que leur taille et l’ensemble de données sur lequel ils sont formés augmentent.

“L’article “Mesurer les lois des modèles de langage neuronal” de Kaplan et al. a été l. a. principale supply d’inspiration de notre recherche”, a déclaré Nathan Fry, l’un des chercheurs qui ont mené l’étude, à Tech Xplore. “Cet article a montré que l’augmentation de l. a. taille d’un réseau neuronal et de l. a. quantité de données sur lesquelles il est formé conduit à des améliorations prévisibles dans l. a. formation des modèles. Nous voulions voir remark l. a. “neurométrie” s’applique aux modèles formés sur des données chimiques, pour des programs telles que les médicaments. Découverte.” “.

Fry et ses collègues ont commencé à travailler sur ce projet de recherche en 2021, avant l. a. sortie des populaires plateformes basées sur l’IA ChatGPT et Dall-E 2. À l’époque, l. a. mise à l’échelle des futurs DNN était considérée comme particulièrement pertinente dans certains domaines et des études exploraient ses portées dans les sciences physiques ou les sciences de l. a. vie sont rares.

L’étude des chercheurs discover l. a. mise à l’échelle neuronale de deux varieties distincts de modèles d’analyse de données chimiques : un modèle de langage étendu (LLM) et un modèle basé sur un réseau neuronal graphique (GNN). Ces deux varieties différents de modèles peuvent être utilisés respectivement pour générer des buildings chimiques et apprendre les potentiels entre différents atomes dans les produits chimiques.

« Nous avons étudié deux varieties de modèles très différents : un modèle de langage de régression de taste GPT que nous avons construit appelé « ChemGPT » et une famille de GNN », a expliqué Fry. “ChemGPT est entraîné de l. a. même manière que ChatGPT, mais dans notre cas, ChemGPT essaie de prédire le symbole suivant dans une chaîne représentant une molécule. Les GNN sont entraînés pour prédire l’énergie et les forces de l. a. molécule.”

Pour explorer l’évolutivité du modèle ChemGPT et des GNN, Fry et ses collègues ont exploré les effets de l. a. taille du modèle et de l. a. taille de l’ensemble de données utilisé pour l’entraîner à diverses échelles pertinentes. Cela leur a permis d’extrapoler l. a. vitesse à laquelle ces modèles s’améliorent à mesure qu’ils deviennent plus grands et reçoivent davantage de données.

“Nous avons trouvé un comportement de mise à l’échelle neuronale pour les modèles chimiques, qui rappelle le comportement de mise à l’échelle observé dans les modèles MSc et de imaginative and prescient pour diverses programs”, a déclaré Fry.

“Nous avons également montré que nous ne sommes pas proches d’une quelconque limite fondamentale pour l. a. mise à l’échelle des modèles chimiques, il reste donc encore beaucoup de position pour des recherches plus approfondies en utilisant des ensembles de données informatiques plus nombreux et plus volumineux. Incorporer l. a. body dans les GNN by means of une propriété appelée “valence”. a un grand affect.” “. “Un affect significatif sur l’amélioration de l’efficacité des mesures, ce qui est un résultat passionnant automobile il est en réalité très difficile de trouver des algorithmes qui modifient le comportement des mesures.”

Dans l’ensemble, les résultats recueillis par cette équipe de chercheurs jettent un nouvel éclairage sur le potentiel de deux varieties de modèles d’IA pour l. a. recherche en chimie, montrant remark leurs performances peuvent être améliorées à mesure qu’ils évoluent. Ces travaux pourraient bientôt éclairer d’autres études explorant les promesses et le potentiel d’amélioration de ces modèles, ainsi que d’autres ways basées sur le DNN pour des programs scientifiques spécifiques.

“Depuis l. a. première apparition de nos travaux, des travaux de suivi passionnants ont déjà été réalisés pour explorer les capacités et les limites de l. a. mise à l’échelle des modèles chimiques”, a ajouté Fry. “Récemment, j’ai également travaillé sur des modèles génératifs de conception de protéines et réfléchi à l. a. façon dont l. a. mise à l’échelle affecte les modèles de données biologiques.”

© 2023 Réseau ScienceX