Dans la course vertigineuse à la construction de systèmes d’IA génératifs, le mantra de l’industrie technologique est que « plus c’est mieux, plus c’est mieux », quel que soit le prix.
Aujourd’hui, les entreprises technologiques commencent à adopter des technologies d’IA plus petites, moins puissantes mais beaucoup moins coûteuses. Et pour de nombreux clients, cela peut être un bon compromis.
Mardi, Microsoft a présenté trois modèles d’IA plus petits qui font partie d’une famille technologique que la société a baptisée Phi-3. La société a déclaré que même le plus petit des trois fonctionnait presque aussi bien que GPT-3.5, le système beaucoup plus grand qui sous-tendait le chatbot ChatGPT d’OpenAI lorsqu’il a stupéfié le monde lors de sa sortie fin 2022.
Le plus petit modèle Phi-3 peut tenir sur un smartphone et peut donc être utilisé même s’il n’est pas connecté à Internet. Et il peut fonctionner sur les types de puces qui alimentent les ordinateurs classiques, plutôt que sur des processeurs plus coûteux fabriqués par Nvidia.
Étant donné que les modèles plus petits nécessitent moins de traitement, les grands fournisseurs de technologie peuvent facturer moins cher aux clients pour les utiliser. Ils espèrent que cela signifiera qu’un plus grand nombre de clients pourront appliquer l’IA dans des endroits où les modèles plus grands et plus avancés étaient trop coûteux à utiliser. Bien que Microsoft ait déclaré que l’utilisation des nouveaux modèles serait « considérablement moins chère » que l’utilisation de modèles plus grands comme le GPT-4, il n’a pas fourni de détails.
Les systèmes plus petits sont moins puissants, ce qui signifie qu’ils peuvent être moins précis ou avoir un son plus gênant. Mais Microsoft et d’autres entreprises technologiques parient que les clients seront prêts à renoncer à certaines performances si cela signifie qu’ils peuvent enfin se permettre l’IA.
Les clients imaginent de nombreuses façons d’utiliser l’IA, mais avec les plus gros systèmes, « ils se disent : « Oh, mais vous savez, ils peuvent coûter un peu cher » », a déclaré Eric Boyd, un cadre de Microsoft. Les modèles plus petits, presque par définition, sont moins chers à déployer, a-t-il déclaré.
M. Boyd a déclaré que certains clients, comme les médecins ou les préparateurs de déclarations de revenus, pourraient justifier les coûts des systèmes d’IA plus grands et plus précis parce que leur temps était très précieux. Mais de nombreuses tâches ne nécessitent pas nécessairement le même niveau de précision. Les annonceurs en ligne, par exemple, pensent qu’ils peuvent mieux cibler leurs publicités grâce à l’IA, mais ils ont besoin de coûts inférieurs pour pouvoir utiliser les systèmes régulièrement.
«Je veux que mon médecin fasse les choses correctement», a déclaré M. Boyd. “Dans d’autres situations, où je résume les avis d’utilisateurs en ligne, si c’est un peu faux, ce n’est pas la fin du monde.”
Les chatbots sont pilotés par de grands modèles de langage, ou LLM, des systèmes mathématiques qui passent des semaines à analyser des livres numériques, des articles Wikipédia, des articles de presse, des journaux de discussion et d’autres textes extraits d’Internet. En identifiant des modèles dans tout ce texte, ils apprennent à générer du texte par eux-mêmes.
Mais les LLM stockent tellement d’informations que récupérer ce qui est nécessaire pour chaque conversation nécessite une puissance de calcul considérable. Et ça coûte cher.
Alors que les géants de la technologie et les start-ups comme OpenAI et Anthropic se sont concentrés sur l’amélioration des plus grands systèmes d’IA, ils sont également en concurrence pour développer des modèles plus petits offrant des prix plus bas. Meta et Google, par exemple, ont lancé des modèles plus petits au cours de la dernière année.
Meta et Google ont également « open source » ces modèles, ce qui signifie que tout le monde peut les utiliser et les modifier gratuitement. Il s’agit d’un moyen courant pour les entreprises d’obtenir une aide extérieure pour améliorer leurs logiciels et d’encourager l’industrie dans son ensemble à utiliser leurs technologies. Microsoft ouvre également ses nouveaux modèles Phi-3.
(Le New York Times a poursuivi OpenAI et Microsoft en décembre pour violation du droit d’auteur sur le contenu d’actualité lié aux systèmes d’IA.)
Après qu’OpenAI ait publié ChatGPT, Sam Altman, directeur général de l’entreprise, a déclaré que le coût de chaque chat était de «centimes à un chiffre» – une dépense énorme compte tenu de ce que des services Web populaires comme Wikipédia proposent pour une infime fraction de centime.
Désormais, les chercheurs affirment que leurs modèles plus petits peuvent au moins approcher les performances des principaux chatbots comme ChatGPT et Google Gemini. Essentiellement, les systèmes peuvent toujours analyser de grandes quantités de données, mais stocker les modèles qu’ils identifient dans un package plus petit qui peut être utilisé avec moins de puissance de traitement.
Construire ces modèles est un compromis entre puissance et taille. Sébastien Bubeck, chercheur et vice-président chez Microsoft, a déclaré que la société a construit ses nouveaux modèles plus petits en affinant les données qui y étaient injectées, en veillant à ce que les modèles apprennent à partir d’un texte de meilleure qualité.
Une partie de ce texte a été générée par l’IA elle-même – ce que l’on appelle des « données synthétiques ». Ensuite, des conservateurs humains se sont efforcés de séparer le texte le plus pointu du reste.
Microsoft a construit trois petits modèles différents : Phi-3-mini, Phi-3-small et Phi-3-medium. Le Phi-3-mini, qui sera disponible mardi, est le plus petit (et le moins cher) mais le moins puissant. Le Phi-3 Medium, qui n’est pas encore disponible, est le plus puissant mais le plus gros et le plus cher.
Rendre les systèmes suffisamment petits pour pouvoir être installés directement sur un téléphone ou un ordinateur personnel « les rendra beaucoup plus rapides et beaucoup moins coûteux », a déclaré Gil Luria, analyste à la banque d’investissement DA Davidson.
Leave a Reply