Bonjour et bienvenue.
Dans cette vidéo,
nous allons couvrir l'algorithme K-Neare Neighbors.
Alors, commençons.
Imaginez qu'un fournisseur de télécommunications ait
segmenté sa clientèle en fonction des habitudes d'utilisation des services, en
classant les clients en quatre groupes.
Si les données démographiques peuvent être utilisées pour prédire l'appartenance à un groupe, l'
entreprise peut personnaliser les offres pour les clients en perspective individuels.
Il s'agit d'un problème de classification.
Autrement dit, étant donné le jeu de données avec des étiquettes prédéfinies,
nous devons construire un modèle à utiliser pour prédire la classe d'un cas nouveau ou inconnu.
L' exemple met l'accent sur l'utilisation de données démographiques, telles que
la région, l'âge et l'état matrimonial, pour prédire les tendances d'utilisation.
Le champ cible appelé custcat comporte
quatre valeurs possibles qui correspondent aux quatre groupes de clients comme suit :
Service de base, Service E
, Service Plus et Service Total.
Notre objectif est de construire un classificateur.
Par exemple, en utilisant la ligne zéro à sept pour prédire la classe de la ligne huit.
Nous utiliserons un type spécifique de classification appelé K-Neighbor le plus proche.
Pour des raisons de démonstration,
n'utilisons que deux champs comme prédicteurs spécifiquement,
l'âge et le revenu, puis
tracer les clients en fonction de leur appartenance au groupe.
Maintenant, disons que nous avons un nouveau client.
Par exemple, l'enregistrement numéro huit,
avec un âge et un revenu connus.
Comment pouvons-nous trouver la classe de ce client ?
Pouvons-nous trouver l'un des cas les plus proches et attribuer la même étiquette de classe à notre nouveau client ?
Pouvons-nous aussi dire que la classe de notre nouveau client est très probablement groupe quatre à savoir Total Service,
parce que c'est le voisin le plus proche est également de la classe quatre ?
Oui, on peut. En fait,
c'est le premier voisin le plus proche.
Maintenant, la question est de savoir
dans quelle mesure pouvons-nous faire confiance à notre jugement fondé sur le premier voisin le plus proche ?
Cela pourrait être un mauvais jugement, surtout
si le premier voisin le plus proche est un cas très spécifique ou un aberrant, n'est-ce pas ?
Regardons notre nuage de points à nouveau.
Plutôt que de choisir le premier voisin le plus proche,
que se passe-t-il si nous choisissons les cinq voisins les plus proches et si
une majorité d'entre eux votait pour définir la classe de notre nouveau client ?
Dans ce cas, nous verrions que
trois des cinq voisins les plus proches nous disent d'aller en classe 3,
qui est Plus Service.
Ça n'a pas plus de sens ?
Oui. En fait, c'est le cas.
Dans ce cas, la valeur de K dans l'algorithme K-Neighbors le plus proche est de cinq.
Cet exemple met en évidence l'intuition derrière l'algorithme K-Neare Neighbors.
Maintenant, définissons les K voisins les plus proches.
L' algorithme K-Neard Neighbors est un algorithme de classification qui
prend un tas de points étiquetés et les utilise pour apprendre à étiqueter d'autres points.
Cet algorithme classe les cas en fonction de leur similitude avec d'autres cas.
Dans K-Neighbors les plus proches, les points de données qui sont proches les uns des autres sont dits voisins.
K-Neard Neighbors est basé sur ce paradigme.
Des cas similaires avec les mêmes étiquettes de classe sont proches les uns des autres.
Ainsi, la distance entre deux cas est une mesure de leur dissimilarité.
Il existe différentes façons de calculer la similitude ou inversement,
la distance ou la dissimilarité de deux points de données.
Par exemple, cela peut être fait en utilisant la distance euclidienne.
Maintenant, voyons comment l'algorithme K-Neare Neighbors fonctionne réellement.
Dans un problème de classification,
l'algorithme K-Neighbors les plus proches fonctionne comme suit.
Un, choisissez une valeur pour K. Deux,
calculez la distance par rapport à la nouvelle attente de cas par rapport à chacun des cas du jeu de données.
Troisièmement, rechercher les observations K dans
les données d'entraînement qui sont les plus proches des mesures du point de données inconnu.
Et quatre, prédire la réponse du point de données inconnu
en utilisant la valeur de réponse la plus populaire des voisins K-plus proches.
Il y a deux parties dans cet algorithme qui pourraient être un peu déroutantes. Tout d'
abord, comment sélectionner le K correct et le second,
comment calculer la similitude entre les cas,
par exemple, entre les clients.
Commençons par la deuxième préoccupation.
Autrement dit, comment pouvons-nous calculer la similitude entre deux points de données ?
Supposons que nous avons deux clients,
client un et client deux,
et pour un instant, supposons que ces deux clients n'ont qu'une seule caractéristique,
H. Nous pouvons facilement utiliser un type spécifique de
distance Minkowski pour calculer la distance de ces deux clients,
il est en effet la distance euclidienne .
La distance de X_1 de X_2 est la racine de 34 moins 30 à la puissance de deux, qui est quatre.
Qu' en est-il si nous avons plus d'une fonctionnalité ?
Par exemple, l'âge et le revenu.
Si nous avons un revenu et un âge pour chaque client,
nous pouvons toujours utiliser la même formule mais cette fois,
nous l'utilisons dans un espace bidimensionnel.
Nous pouvons également utiliser la même matrice de distance pour les vecteurs multidimensionnels.
Bien sûr, nous devons normaliser notre
ensemble de fonctionnalités pour obtenir la mesure précise de la dissimilarité.
Il existe également d'autres mesures de dissimilarité qui
peuvent être utilisées à cette fin, mais comme mentionné,
cela dépend fortement du type de données et
aussi du domaine dans lequel la classification est faite pour elle.
Comme mentionné, K et K Voisins les plus proches est le nombre de voisins les plus proches à examiner.
Il est censé être spécifié par l'utilisateur.
Alors, comment choisissons-nous le bon K ?
Supposons que nous voulons trouver la classe
du client notée comme point d'interrogation sur le tableau.
Que se passe-t-il si nous choisissons une très faible valeur de K ?
Disons que K est égal à un.
Le premier point le plus proche serait le bleu,
qui est la classe un.
Ce serait une mauvaise prédiction,
car plus de points autour d'elle sont magenta ou classe quatre.
En fait, puisque son voisin le plus proche est bleu, nous pouvons dire que nous capturons
le bruit dans les données ou nous avons choisi l'un des points qui était une anomalie dans les données.
Une faible valeur de K provoque également un modèle très complexe,
ce qui peut entraîner un surajustement du modèle.
Cela signifie que le processus de prévision n'est pas
suffisamment généralisé pour être utilisé dans les cas hors échantillon. Les
données hors échantillon sont des données qui se trouvent en dehors de l'ensemble de données utilisé pour former le modèle.
En d'autres termes, il ne peut pas être fiable pour être utilisé pour la prédiction d'échantillons inconnus.
Il est important de se rappeler que le suréquipement est mauvais,
car nous voulons un modèle général qui fonctionne pour toutes les données,
pas seulement pour les données utilisées pour la formation.
Maintenant, du côté opposé du spectre,
si nous choisissons une valeur très élevée de K telle que K est égale à 20,
alors le modèle devient trop généralisé.
Alors, comment pouvons-nous trouver le meilleur rapport qualité-prix pour K ?
La solution générale consiste à réserver une partie de
vos données pour tester la précision du modèle.
Une fois que vous l'avez fait,
choisissez K égal à un, puis utilisez la partie d'entraînement pour la modélisation
et calculez la précision de la prédiction à l'aide de tous les échantillons de votre jeu de tests.
Répétez ce processus en augmentant le K et voyez quel K est le mieux adapté à votre modèle.
Par exemple, dans notre cas,
K égal à quatre nous donnera la meilleure précision. L'
analyse des voisins les plus proches peut également être utilisée pour calculer les valeurs d'une cible continue.
Dans ce cas, la valeur cible moyenne ou médiane des
voisins les plus proches est utilisée pour obtenir la valeur prévue pour le nouveau cas.
Par exemple, supposons que vous prédisiez le prix d'une maison en fonction de son ensemble de fonctionnalités,
telles que le nombre de pièces
, la superficie, l'année où elle a été construite, etc.
Vous pouvez facilement trouver les trois maisons voisines les plus proches
bien sûr non seulement en fonction de la distance, mais
aussi en fonction de tous les attributs, puis
prédire le prix de la maison comme le milieu des voisins.
Ceci conclut cette vidéo.
Merci d'avoir regardé