Pre-training
Définition
Phase initiale où on entraîne un modèle IA sur d'énormes quantités de données brutes (texte, images) sans objectif spécifique. Le modèle apprend des patterns généraux du langage ou de la vision avant toute utilisation pratique.
📌 Exemple concret
GPT-4 a été pré-entraîné sur des milliards de pages web et livres pour comprendre comment les mots se suivent, avant qu'OpenAI l'ajuste pour répondre à tes questions.
💡 Pourquoi ça compte
C'est le fondement de tous les modèles modernes. Comprendre le pre-training explique pourquoi les IA sont puissantes mais aussi imparfaites.