Les grands modèles de langage et la géométrie des embeddings
Les grands modèles de langage (LLM) encodent des mots, des phrases et des concepts sous forme de vecteurs de grande dimension appelés embeddings. La forme des espaces d'embeddings est loin d'être arbitraire : les relations sémantiques et syntaxiques significatives tendent à s'auto-organiser en structures géométriques.
J'étudie ces structures à l'aide d'outils de topologie computationnelle, notamment l'homologie persistante. L'objectif est de mieux comprendre ce qu'un LLM apprend, avec quelle fiabilité il représente les données, et comment sa géométrie interne évolue au cours d'un entraînement. En obtenant une image plus claire de ces structures géométriques, nous pouvons améliorer l'explicabilité et la robustesse des LLM.