Le "minimum sample split" ou encore nombre d'exemples minimum pour un split consiste à ne pas splitter une branche si la décision concerne trop peu d'exemples. Cela permet également d'empêcher le surapprentissage. Pour finir, il est également possible de ne pas choisir de critère d'arrêt et de laisser l'arbre se développer jusqu'au bout. Dans ce cas il s'arrêtera que quand il n'y aura plus de split possible. Généralement, quand il n'y a pas de critère d'arrêt, il n'est pas rare qu'un élagage de l'arbre, ou "pruning" en anglais s'en suive. Élagage consistant à éliminer tous les splits n'améliorant pas le score Méthode de scoring pour la régression Pour la régression c'est généralement l'erreur quadratique moyenne ou mean squarred error qui est employée. Son calcul est simple, c'est la moyenne de toutes les erreurs commises par l'arbre il s'agit de la moyenne de la valeur absolue de la différence constatée entre la prédiction et la vraie valeur. MSE= somme ( ( y_prédit - y_vrai) ^2)/nombre_de_prédictions C'est à dire au début l'arbre Comment créer un arbre de décision et l'afficher à l'aide de sklearn Pour créer un arbre de décision en python, il te faudra faire appel à la bibliothèque scikit-learn.
Part3: Evaluating all splits - La partie suivante après avoir trouvé le score de Gini et le jeu de données de fractionnement est l'évaluation de toutes les divisions. À cette fin, nous devons d'abord vérifier chaque valeur associée à chaque attribut en tant que fractionnement candidat. Ensuite, nous devons trouver la meilleure répartition possible en évaluant le coût de la répartition. La meilleure division sera utilisée comme nœud dans l'arbre de décision. Construire un arbre Comme nous le savons, un arbre a un nœud racine et des nœuds terminaux. Après avoir créé le nœud racine, nous pouvons construire l'arbre en suivant deux parties - Partie 1: création du nœud terminal Lors de la création de nœuds terminaux de l'arbre de décision, un point important est de décider quand arrêter la croissance de l'arbre ou créer d'autres nœuds terminaux. Cela peut être fait en utilisant deux critères à savoir la profondeur maximale de l'arbre et les enregistrements de nœuds minimum comme suit - Maximum Tree Depth - Comme son nom l'indique, il s'agit du nombre maximum de nœuds dans une arborescence après le nœud racine.
decision_treedecision tree regressor or classifier L'arbre de décision à tracer. max_depthint, default=None La profondeur maximale de la repré elle est nulle, l'arbre est entièrement généré. feature_nameslist of strings, default=None Noms de chacune des fonctionnalités. Si Aucun, des noms génériques seront utilisés (« X[0] », « X[1] », …). class_nameslist of str or bool, default=None Noms de chacune des classes cibles par ordre numérique croissant. Uniquement pertinent pour la classification et non pris en charge pour les sorties multiples. Si True, affiche une représentation symbolique du nom de la classe. label{'all', 'root', 'none'}, default='all' Indique s'il faut afficher des étiquettes informatives pour les impuretés, etc. Les options incluent « all » pour afficher à chaque nœud, « root » pour afficher uniquement au nœud racine supérieur ou « aucun » pour ne pas afficher à aucun nœud. filledbool, default=False Lorsqu'il est défini sur True, peignez les nœuds pour indiquer la classe majoritaire pour la classification, l'extrémité des valeurs pour la régression ou la pureté du nœud pour les sorties multiples.
impuritybool, default=True Lorsqu'il est défini sur True, affiche l'impureté à chaque nœud. node_idsbool, default=False Lorsqu'il est défini sur True, affiche le numéro d'identification sur chaque nœud. proportionbool, default=False Lorsqu'il est défini sur True, modifiez l'affichage des « valeurs » et/ou des « échantillons » pour qu'ils soient respectivement des proportions et des pourcentages. rotatebool, default=False Ce paramètre n'a aucun effet sur la visualisation de l'arbre de matplotlib et il est conservé ici pour des raisons de compatibilité ascendante. Obsolète depuis la version 0. 23: rotate est obsolète en 0. 23 et sera supprimé en 1. 0 (renommage de 0. 25). roundedbool, default=False Lorsqu'il est défini sur True, dessinez des boîtes de nœuds avec des coins arrondis et utilisez les polices Helvetica au lieu de Times-Roman. precisionint, default=3 Nombre de chiffres de précision pour la virgule flottante dans les valeurs des attributs impureté, seuil et valeur de chaque nœud.
Prédiction Après avoir construit un arbre de décision, nous devons faire une prédiction à ce sujet. Fondamentalement, la prédiction consiste à naviguer dans l'arbre de décision avec la ligne de données spécifiquement fournie. Nous pouvons faire une prédiction à l'aide de la fonction récursive, comme ci-dessus. La même routine de prédiction est appelée à nouveau avec les nœuds gauche ou droit enfant. Hypothèses Voici quelques-unes des hypothèses que nous faisons lors de la création de l'arbre de décision - Lors de la préparation des arbres de décision, l'ensemble d'apprentissage est en tant que nœud racine. Le classificateur d'arbre de décision préfère que les valeurs des caractéristiques soient catégoriques. Si vous souhaitez utiliser des valeurs continues, elles doivent être discrétisées avant la création du modèle. En fonction des valeurs de l'attribut, les enregistrements sont distribués de manière récursive. Une approche statistique sera utilisée pour placer des attributs à n'importe quelle position de nœud, à savoir le nœud racine ou le nœud interne.
Le dictionnaire étant un tableau associatif. Comme les données sont toutes numériques, les tests réalisés à chaque noeud, pour traduire la division des éléments s'écrivent de la manière suivante: Soit X une liste de listes contenant: les éléments à classer, et les valeurs pour chacun des éléments: X[i] fait alors référence à la valeur des éléments pour la colonne n°i. pour touts les éléments présents au noeud courant: si X[i] <= valeur_seuil alors: descendre vers le noeud fils gauche sinon: descendre vers le noeud fils droit Import des librairie et création de l'arbre de décision from sklearn import tree from import DecisionTreeClassifier from import export_text import pandas as pd df = pd. read_csv ( "datas/", sep = ";") #col = lumns X = df. iloc [:, : - 1] # les données sont toutes les colonnes du tableau sauf la dernière y = df. iloc [:, - 1] # les classes sont dans la dernière colonne (jouer/ne pas jouer) clf = tree. DecisionTreeClassifier () clf = clf. fit ( X, y) # on entraine l'arbre à l'aide du jeu de données df temps température humidité vent jouer 0 1 30 85 27 90 2 28 78 3 -1 21 96 4 20 80 5 18 70 6 65 7 22 95 8 9 24 10 11 12 75 13 accéder au paramètres calculés pour l'arbre # Using those arrays, we can parse the tree structure: n_nodes = clf.
En plus de permettre une bonne compréhension du modèle, un des grands avantages des arbres de décision est leur capacité à gérer des données non numériques telles que les chaînes de caractères sans encodage préalable. Contrairement un réseau de neurones ou il faut un encodage de type latent dirichlet allocation ou encore Word2Vec afin de pouvoir utiliser le modèle. Quoi qu'il en soit dans cet article, nous verrons: Qu'est-ce qu'un arbre de décision Comment est entraîné un arbre de décision Comment créer un arbre de décision et l'afficher à l'aide de sklearn Qu'est-ce qu'un arbre de décision? Son nom est assez explicite et à vrai dire si vous avez fait des études d'informatique et bien compris la notion d'arbres de graphe vous verrez que ce concept est assez simple. L'idée c'est de modéliser la solution du problème de machine learning que l'on traite comme une suite de décision à prendre. Une décision étant représentée par une feuille dans l'arbre. Comme montré ci-dessous ou l'on décide que la fleur est une Iris viginica si elle a une longueur de pétale supérieur " petal width" > 1.