DPO
Définition
DPO (Direct Preference Optimization) est une technique d'entraînement qui aligne les modèles IA sur les préférences humaines sans utiliser de modèle de récompense séparé. Elle compare directement les réponses préférées aux réponses rejetées pour améliorer le comportement du modèle.
Au lieu de noter chaque réponse d'IA séparément, on dit simplement : 'j'aime cette réponse mieux que celle-là', et le modèle apprend directement de cette comparaison.
DPO rend l'alignement des IA plus simple et moins coûteux que RLHF, ce qui permet aux startups de créer des modèles éthiques et utiles plus facilement.
Voir aussi
Articles qui en parlent
Gradio Workflows : ton IA devient une app sans une ligne de plomberie
Assemble des modèles IA en drag-and-drop, déploie en une commande, récupère une API REST gratuite.
DeepSeek intègre la vision : analyse d'images en API
DeepSeek lance son modèle de vision en API. Tu peux maintenant envoyer des images directement à son IA.
Le marché caché des tokens IA au rabais (et ses risques)
Des revendeurs chinois exploitent les API IA via des failles systématiques : essais gratuits, bots non sécurisés, cartes volées.
Spécialiser son modèle IA reste gagnant face aux géants
DharmaOCR écrase les modèles généralistes sur le portugais brésilien. Pas grâce à une architecture révolutionnaire, mais parce qu'elle n'essaie de rien d'autre.
AnalystAIPack : 118 compétences d'IA pour analyser les malwares
Un développeur lâche 118 scripts Python prêts à l'emploi pour donner aux agents IA le jugement d'un analyste en sécurité.
Lance un serveur LLM privé en une commande sur HF Jobs
Déploie un modèle LLM compatible OpenAI sur GPU en une ligne de commande, sans Kubernetes ni infrastructure à gérer.