L'origine exacte du terme «apprentissage en profondeur» n'est pas claire, mais elle est généralement attribuée à plusieurs sources. Voici quelques origines possibles:
1. Papier Geoffrey Hinton 2006 :En 2006, l'informatique Geoffrey Hinton a publié un article fondateur intitulé "Deep Learning:A Tutorial on Deep Neural Networks" dans Nature Magazine. Cet article est considéré comme un point de repère dans le domaine des réseaux de neurones artificiels et a aidé à populariser le terme «apprentissage en profondeur». Hinton et ses collègues de l'Université de Toronto sont largement considérés comme des pionniers dans le développement des techniques d'apprentissage en profondeur.
2. Yoshua Bengio Utilisation du terme :Yoshua Bengio, un autre chercheur éminent dans le domaine, a également joué un rôle important dans le vulgarisation du terme "apprentissage en profondeur" au début des années 2000. Bengio et ses collègues de l'Université de Montréal ont mené des recherches révolutionnaires sur les algorithmes d'apprentissage en profondeur, et il a fréquemment utilisé le terme "apprentissage profond" dans ses publications de recherche.
3. Influence de la psychologie cognitive :Certains croient que l'inspiration pour le terme "apprentissage profond" peut provenir de la notion de "structure profonde" en psychologie cognitive. La structure profonde est un terme utilisé en linguistique et en psychologie cognitive pour décrire la représentation ou la syntaxe sous-jacente d'un langage qui va au-delà des caractéristiques au niveau de la surface des mots et des phrases. Ce concept a peut-être influencé la compréhension des modèles d'apprentissage en profondeur comme capturant des modèles sous-jacents et des relations complexes dans les données.
4. Comparaison avec l'apprentissage automatique traditionnel :Le terme «apprentissage en profondeur» a probablement été inventé pour le différencier des méthodes d'apprentissage automatique traditionnelles. Alors que les algorithmes traditionnels d'apprentissage automatique reposent souvent sur des réseaux de neurones peu profonds ou des représentations peu profondes des données, l'apprentissage en profondeur implique l'utilisation de réseaux de neurones profonds avec de multiples couches cachées. Ces architectures profondes permettent une extraction de caractéristiques plus complexe et plus hiérarchique, permettant aux modèles d'apprendre des représentations de données de niveau supérieur.
5. Contexte historique :Au début de la recherche sur les réseaux neuronaux, les réseaux de neurones peu profonds étaient la norme, et ils ont fait face à des limites dans leurs capacités de représentation et à leur capacité à gérer des problèmes complexes. L'émergence de puissantes ressources informatiques, telles que les unités de traitement graphique (GPU), à la fin des années 2000, a permis de former efficacement les réseaux de neurones plus profonds. Ce contexte historique a contribué à la nécessité d'un terme qui a capturé les progrès et une complexité accrue de ces nouvelles approches, d'où le terme «apprentissage profond» a gagné du terrain.
C'est probablement une combinaison de ces facteurs, ainsi que la convergence des efforts de recherche et des percées, qui ont conduit à l'adoption généralisée du terme "apprentissage profond" pour décrire le sous-champ dans l'apprentissage automatique axé sur les réseaux neuronaux profonds.