La fondation qui fait fonctionner les modèles d’IA modernes de façon sécurisée et efficace — sur site ou dans votre infonuagique privée. Core-AI conçoit et déploie les serveurs GPU, les couches de données et les systèmes d’orchestration qui rendent l’IA privée viable à l’échelle d’une organisation.
Ce que nous construisons #
Faire fonctionner en production des LLM modernes à poids ouverts (Llama 3, Mistral, Qwen et autres) exige bien plus que de placer un modèle derrière une API. Cela demande le bon dimensionnement matériel, une couche d’inférence efficace, un plan de données vectorielles et une orchestration pour acheminer les requêtes, gérer les modèles et s’intégrer à vos applications existantes.
Core-AI construit cette pile de bout en bout pour les cabinets qui ont besoin d’une pleine souveraineté sur leur puissance de calcul en IA — cabinets d’avocats, firmes de génie et toute pratique où l’envoi de dossiers clients vers une API tierce n’est pas envisageable.
Composantes de l’infrastructure #
- Serveurs de modèles IA — Serveurs d’inférence haute performance pour LLM locaux, dimensionnés selon vos cibles de débit et de latence. NVIDIA H100/A100/L40S ou équivalent.
- Couche d’inférence optimisée — vLLM, TGI ou TensorRT-LLM ajustés à votre modèle et à votre profil de trafic, y compris la quantification lorsque c’est pertinent.
- Couche de données vectorielles — Bases vectorielles privées (Qdrant, Weaviate, pgvector) dimensionnées selon votre corpus et votre volume de requêtes.
- Orchestration et acheminement — Gérer plusieurs modèles, les chaînes de repli, la limitation de débit et l’acheminement des requêtes dans les déploiements hybrides.
- Observabilité et surveillance — Journaux, traces, utilisation des GPU, débit de jetons, dérive de l’exactitude des modèles.
- Sécurité et conformité — Isolation réseau, journalisation d’audit, accès limité par rôle et intégration à votre gestion des identités.
Architecture du système #
Utilisateurs
Passerelle
Services
LLM locaux
Systèmes de données
Les modèles de déploiement que nous prenons en charge #
- Entièrement sur site — Votre centre de données, vos GPU, votre réseau. Nous déployons, vous exploitez.
- Infonuagique privée (VPC) — Infrastructure dédiée dans AWS, Azure, GCP ou OVH — entièrement isolée des API de LLM publiques.
- Hybride — Les charges sensibles s’exécutent sur site ; les charges non sensibles ou les pointes sont acheminées vers des API commerciales par une passerelle contrôlée par politiques.
- Isolé du réseau — Pour les environnements les plus sensibles, où la grappe d’IA n’a aucun accès au réseau externe.
Pourquoi exploiter une infrastructure d’IA privée #
- Souveraineté des données — Aucune requête, aucun enchâssement, aucun document ne quitte votre réseau.
- Coût prévisible — Un coût d’infrastructure fixe remplace la facturation par jeton à l’échelle.
- Aucune dépendance à un fournisseur — Les modèles à poids ouverts peuvent être remplacés, ajustés ou changés sans réécrire votre pile.
- Conformité — Garder les renseignements personnels à l’intérieur du Québec, ce qui écarte la question du transfert hors frontières que la Loi 25 et la LPRPDE vous obligeraient autrement à traiter. Le RGPD, la norme PCI-DSS et les règles imposées par vos clients se règlent de la même façon : les données ne vont nulle part.
Services connexes #
- Agents conversationnels d’entreprise — l’interface conversationnelle par-dessus cette infrastructure.
- Intelligence documentaire — les pipelines RAG qui fonctionnent sur cette pile.
- Agents IA — les systèmes autonomes que cette infrastructure exécute.
Foire aux questions #
Quel matériel GPU recommandez-vous pour faire fonctionner des LLM sur site ?
La recommandation dépend de la taille du modèle et des exigences de débit. Pour la plupart des charges de travail (modèles de 7 à 70 milliards de paramètres), nous recommandons des GPU NVIDIA L40S ou A100. Pour les plus grands modèles ou les débits les plus élevés, les H100 sont idéaux. Nous réalisons un exercice de dimensionnement matériel durant la phase de conception et fournissons une liste de matériel afin que vous puissiez vous approvisionner ou valider votre inventaire existant.
Pouvez-vous déployer sur nos serveurs existants, ou faut-il du nouveau matériel ?
Nous évaluons d’abord votre matériel existant. Beaucoup d’organisations possèdent des serveurs compatibles GPU sous-utilisés, capables de faire fonctionner efficacement des modèles plus petits. Lorsque du nouveau matériel est nécessaire, nous le dimensionnons avec précision — nous ne surdimensionnons pas. Nous prenons aussi en charge les déploiements en infonuagique privée (AWS, Azure, GCP, OVH) si l’acquisition de matériel sur site n’est pas envisageable.
Comment le coût d'une infrastructure IA sur site se compare-t-il à la facturation par l'API d'OpenAI ?
À usage modéré ou élevé, l’infrastructure sur site devient nettement moins coûteuse que la facturation par jeton — souvent de 60 à 80 % de moins sur un horizon de trois ans, une fois le matériel amorti. Le point de bascule survient généralement à quelques millions de jetons par jour. Nous fournissons un modèle de coûts durant la découverte afin que vous puissiez bâtir une analyse de rentabilité avant de vous engager.
Prenez-vous en charge les environnements isolés, sans accès à Internet ?
Oui. Les déploiements isolés du réseau sont une spécialité. Les modèles, les bases vectorielles, les modèles d’enchâssement et les composants d’orchestration sont tous empaquetés pour une installation hors ligne. Nous avons l’expérience de déploiements dans des environnements réglementés et à haute sécurité où aucune connectivité externe n’est permise.