Dans l’environnement Firefox AI Runtime, l’utilisation de plusieurs threads dans un processus d’inférence dédié permet d’accélérer les temps d’exécution sur CPU. L’environnement WASM/JS peut créer un SharedArrayBuffer et exécuter différents threads sur son contenu, répartissant ainsi la charge sur plusieurs cœurs de CPU simultanément. Voici les temps mesurés en secondes sur un MacBook M1 […].
**Partage de la charge et efficacité des cœurs**
L’optimisation du nombre optimal de threads dépend du workload spécifique et de la capacité de traitement du CPU. Sur un MacBook M1 à 8 cœurs, un nombre de threads égal au nombre de cœurs physiques (8) donne généralement les meilleurs résultats. Cependant, sur un CPU avec plus de cœurs physiques, un nombre inférieur de threads peut être plus efficace, car les cœurs supplémentaires peuvent créer une surcharge de contexte.
**Optimisations futures**
L’équipe de Firefox AI Runtime explore actuellement d’autres techniques pour améliorer encore l’exécution des tâches d’inférence sur CPU. Cela inclut l’optimisation des algorithmes d’ordonnancement des threads, l’utilisation d’instructions vectorielles et le support de nouvelles extensions de CPU.
**Conclusion**
Optimiser le nombre de threads pour l’inférence sur CPU est essentiel pour maximiser les performances. Les résultats des tests indiquent que l’utilisation du nombre optimal de cœurs physiques donne généralement les meilleurs résultats. Les optimisations futures promettront de nouvelles améliorations de l’efficacité.
**Mots-clés :** optimisation des tâches d’inférence, CPU, parallélisation multithread, Firefox AI Runtime, WASM, JS
Source : Article original