L'origine exacte du terme « deep learning » (apprentissage profond) est incertaine, mais plusieurs influences ont probablement contribué à son essor :
- L'article de Geoffrey Hinton en 2006 sur les réseaux de neurones profonds a popularisé le concept.
- Des chercheurs comme Yoshua Bengio ont utilisé le terme fréquemment au début des années 2000.
- Certains linguistes le relient à l'idée de « structure profonde » en psychologie cognitive.
- Il est apparu comme moyen de distinguer les réseaux de neurones multi-couches des modèles d'apprentissage automatique traditionnels moins profonds.
- Les avancées en puissance de calcul, surtout les GPU à la fin des années 2000, ont rendu l'entraînement de réseaux plus profonds pratique.
Aujourd'hui, « deep learning » désigne la branche de l'apprentissage automatique centrée sur les réseaux de neurones artificiels à de nombreuses couches cachées.