Les modèles IA génératifs polyvalents et hautement généralisables étaient à la mode autrefois, et le sont toujours, dirait-on. Mais de plus en plus, alors que les fournisseurs de cloud, grands et petits, entrent dans la mêlée des IA génératives, nous voyons apparaître une nouvelle génération de modèles axés sur les clients potentiels les plus fortunés : les entreprises.

Par exemple : Snowflake, la société d'informatique en nuage, a présenté aujourd'hui Arctic LLM, un modèle IA génératif décrit comme \"de qualité entreprise\". Disponible sous une licence Apache 2.0, Arctic LLM est optimisé pour les \"charges de travail d'entreprise\", y compris la génération de code de base de données, explique Snowflake, et est gratuit pour un usage de recherche et commercial.

\"Je pense que cela va être le fondement qui va nous permettre - Snowflake - et nos clients de construire des produits de qualité entreprise et de commencer réellement à réaliser la promesse et la valeur de l'IA\", a déclaré le PDG Sridhar Ramaswamy lors d'un briefing presse. \"Vous devriez considérer cela comme notre premier, mais grand, pas dans le monde de l'IA générative, avec beaucoup plus à venir.\"

Un modèle entreprise

Mon collègue Devin Coldewey a récemment écrit sur le fait qu'il n'y a pas de fin en vue pour l'assaut des modèles IA génératifs. Je vous recommande de lire son article, mais l'essentiel est le suivant : les modèles sont un moyen facile pour les fournisseurs de susciter l'enthousiasme pour leur R&D et servent également de filtre pour leurs écosystèmes de produits (par exemple l'hébergement de modèles, le réglage fin, etc.).

Arctic LLM ne fait pas exception. Le principal modèle de Snowflake dans une famille de modèles IA génératifs appelée Arctic, Arctic LLM - qui a pris environ trois mois, 1 000 GPU et 2 millions de dollars pour être formé - arrive sur les talons de DBRX de Databricks, un modèle IA génératif également commercialisé comme optimisé pour l'espace entreprise.

Snowflake établit une comparaison directe entre Arctic LLM et DBRX dans ses documents de presse, affirmant qu'Arctic LLM surpasse DBRX sur les deux tâches de codage (Snowflake n'a pas précisé quels langages de programmation) et de génération de SQL. La société a également déclaré qu'Arctic LLM est meilleur pour ces tâches que Llama 2 70B de Meta (mais pas Llama 3 70B plus récente) et que Mixtral-8x7B de Mistral.

Snowflake affirme également que Arctic LLM obtient une \"performance de pointe\" sur un benchmark populaire de compréhension linguistique générale, MMLU. Je noterai cependant que, bien que le MMLU prétende évaluer la capacité des modèles génératifs à raisonner sur des problèmes logiques, il inclut des tests qui peuvent être résolus par mémorisation pure, donc prenez ce point avec un grain de sel.

\"Arctic LLM répond à des besoins spécifiques dans le secteur de l'entreprise\", a déclaré Baris Gultekin, responsable de l'IA chez Snowflake, dans une interview avec TechCrunch, \"en divergeant des applications IA génériques comme la composition de poésie pour se concentrer sur des défis orientés entreprise, tels que le développement de co-pilotes SQL et de chatbots de haute qualité.\"

Arctic LLM, tout comme DBRX et le modèle génératif performant de Google du moment, Gemini 1.5 Pro, est une architecture de mélange d'experts (MoE). Les architectures MoE décomposent essentiellement les tâches de traitement des données en sous-tâches et les délèguent ensuite à de plus petits modèles \"experts\" spécialisés. Ainsi, bien qu'Arctic LLM contienne 480 milliards de paramètres, il n'en active que 17 milliards à la fois - suffisamment pour piloter les 128 modèles experts distincts. (Les paramètres définissent essentiellement la compétence d'un modèle IA sur un problème, comme analyser et générer du texte.)

Snowflake affirme que cette conception efficiente lui a permis de former Arctic LLM sur des ensembles de données web publics ouverts (dont RefinedWeb, C4, RedPajama et StarCoder) à \"environ un huitième du coût des modèles similaires\".

En cours d'exécution partout

Snowflake fournit des ressources telles que des modèles de codage et une liste de sources de formation aux côtés d'Arctic LLM pour guider les utilisateurs tout au long du processus de mise en place du modèle et de son ajustement pour des cas d'utilisation spécifiques. Mais, reconnaissant que ces opérations seront probablement coûteuses et complexes pour la plupart des développeurs (l'ajustement ou le fonctionnement de Arctic LLM nécessite environ huit GPU), Snowflake s'engage également à rendre Arctic LLM disponible sur une gamme d'hôtes, dont Hugging Face, Microsoft Azure, le service d'hébergement de modèles Together AI et la plateforme entreprise d'IA générative Lamini.

Cependant, voici le hic : Arctic LLM sera d'abord disponible sur Cortex, la plateforme de Snowflake pour le développement d'applications et de services alimentés par l'IA et l'apprentissage automatique. La société la présente bien sûr comme le moyen préféré pour exécuter Arctic LLM avec \"sécurité\", \"gouvernance\" et extensibilité.

\"Notre rêve ici est, d'ici un an, d'avoir une API que nos clients pourront utiliser pour que les utilisateurs commerciaux puissent directement dialoguer avec les données\", a déclaré Ramaswamy. \"Il aurait été facile pour nous de dire, \'Oh, nous allons simplement attendre un modèle open source et l'utiliser. Au lieu de cela, nous faisons un investissement fondateur parce que nous pensons que cela va débloquer plus de valeur pour nos clients.\"

Je me demande donc : Pour qui est vraiment Arctic LLM, en dehors des clients de Snowflake ?

Dans un paysage rempli de modèles génératifs \"ouverts\" qui peuvent être ajustés pour pratiquement n'importe quel usage, Arctic LLM ne se démarque pas de manière évidente. Son architecture pourrait apporter des gains d'efficacité par rapport à certaines des autres options disponibles. Mais je ne suis pas convaincu qu'ils seront suffisamment dramatiques pour inciter les entreprises à délaisser les innombrables autres modèles génératifs bien connus et pris en charge par les entreprises (par exemple GPT-4).

Il y a aussi un point en défaveur d'Arctic LLM à considérer : son contexte relativement restreint.

En IA générative, la fenêtre de contexte fait référence aux données d'entrée (par exemple de texte) qu'un modèle considère avant de générer des résultats (par exemple plus de texte). Les modèles avec de petites fenêtres de contexte ont tendance à oublier le contenu même de conversations très récentes, tandis que les modèles avec des contextes plus vastes évitent généralement ce piège.

Le contexte d'Arctic LLM se situe entre ~8 000 et ~24 000 mots, en fonction de la méthode de réglage fin - bien en deçà de celui de modèles tels que Claude 3 Opus d'Anthropic et Gemini 1.5 Pro de Google.

Snowflake ne le mentionne pas dans le marketing, mais Arctic LLM souffre certainement des mêmes limites et lacunes que les autres modèles IA génératifs - notamment les hallucinations (c'est-à-dire répondre de manière erronée avec confiance). Cela s'explique par le fait qu'Arctic LLM, tout comme chaque autre modèle IA génératif existant, est une machine de probabilité statistique - qui possède une petite fenêtre de contexte. Il devine en se basant sur de vastes exemples quelle donnée a le plus de \"sens\" à placer où (par exemple le mot \"aller\" avant \"au marché\" dans la phrase \"Je vais au marché\"). Il devinera inévitablement mal - et c'est une \"hallucination\".

Comme Devin l'écrit dans son article, jusqu'à la prochaine avancée technique majeure, les améliorations progressives sont tout ce que nous avons à attendre dans le domaine de l'IA générative. Cela n'empêchera pas les fournisseurs comme Snowflake de les présenter comme de grandes réalisations et de les commercialiser à leur juste valeur.