Mozilla et EleutherAI publient les conclusions de leur conférence sur les jeux de données ouverts pour l’entraînement des grands modèles linguistiques (LLM). Ils soulignent l’importance de la transparence et partagent les meilleures pratiques pour une gestion responsable.
Datasets ouverts et responsables
Les jeux de données utilisés pour entraîner les LLM manquent souvent de transparence. Pour remédier à cela, les chercheurs recommandent l’utilisation de datasets sous licence ouverte, une curation responsable et une gouvernance appropriée.
« Des jeux de données ouverts et responsables sont essentiels pour garantir l’équité, la diversité et la sécurité des LLM », déclare Sarah Bird, responsable de l’IA chez Mozilla.
Meilleures pratiques
La conférence a établi les meilleures pratiques suivantes :
* **Licence ouverte :** Les jeux de données doivent être disponibles sous des licences ouvertes, comme Creative Commons ou GNU GPL, qui permettent la réutilisation.
* **Curation responsable :** Les jeux de données doivent être soigneusement sélectionnés et examinés pour éviter les biais et les contenus préjudiciables.
* **Gouvernance participative :** Les parties prenantes, y compris les chercheurs, les développeurs et les utilisateurs, doivent participer à la gouvernance des jeux de données.
Perspectives
Cette recherche pave la voie vers des LLM plus équitables et responsables. Mozilla et EleutherAI poursuivront leurs efforts pour promouvoir l’utilisation de jeux de données ouverts.
« Notre objectif est de créer un écosystème où les LLM sont fondés sur des données transparentes et éthiques », ajoute Sid Ramesh, chercheur chez EleutherAI.