La selezione delle funzionalità è il processo in cui si selezionano automaticamente o manualmente le funzionalità che contribuiscono maggiormente alla variabile o all'output di previsione. La presenza di funzionalità irrilevanti nei dati può ridurre l'accuratezza dei modelli di machine learning. I motivi principali per utilizzare la selezione delle funzionalità sono: Consente all'algoritmo di apprendimento automatico di eseguire l'addestramento più velocemente. Riduce la complessità di un modello e ne facilita l'interpretazione. Migliora la precisione di un modello se viene scelto il sottoinsieme corretto. Riduce il sovradattamento. "Ho preparato un modello selezionando tutte le caratteristiche e ho ottenuto una precisione di circa il 65% che non è abbastanza buona per un modello predittivo e dopo aver effettuato alcune selezioni di funzionalità e progettazione delle funzionalità senza apportare modifiche logiche al codice del mio modello, la mia precisione è balzata a 81% che è piuttosto impressionante "- Di Raheel Shaikh I metodi comuni per la selezione delle funzionalità sono:

L'importanza delle funzionalità ti dà un punteggio per ogni caratteristica dei tuoi dati. Più alto è il punteggio, più importante o rilevante è quella caratteristica per la tua caratteristica target. L'importanza delle funzionalità è una classe incorporata che viene fornita con classificatori basati su alberi come: Classificatori forestali casuali Classificatori albero extra Nell'esempio seguente, addestreremo il classificatore ad albero aggiuntivo nel set di dati dell'iride e utilizzeremo la classe incorporata .feature_importances_ per calcolare l'importanza di ogni caratteristica: from sklearn.datasets import load_iris import matplotlib.pyplot as plt from sklearn.ensemble import ExtraTreesClassifier iris_dataset = load_iris() # Dividiamo Target e features X = iris_dataset.data y = iris_dataset.target X = X.astype(int) # Creiamo il modello extra_tree_forest = ExtraTreesClassifier(n_estimators = 5, criterion ='entropy', max_features = 2) # Alleniamo il modello extra_tree_forest.fit(X, y) feature_importance = extra_tree_forest.feature_importances_ # Normalizziamo feature_importance_normalized = np.std([tree.feature_importances_ for tree in extra_tree_forest.estimators_], axis = 0) # Mostriamo il grafico a barre plt.bar(iris_dataset.feature_names, feature_importance_normalized) plt.xlabel('Feature Labels') plt.ylabel('Feature Importances') plt.title('Comparison of different Feature Importances') plt.show() Caratteristiche importanti Il grafico mostra che le suddette caratteristiche più importanti sono lunghezza petalo (cm) e larghezza petalo (cm) , e che il minimo caratteristica importante è la larghezza sepalo (cm) . Ciò significa che puoi utilizzare le funzionalità più importanti per addestrare il tuo modello e ottenere le migliori prestazioni.

1. Spiegazione e Implementazione Algoritmo Regressione lineare Viene utilizzato per stimare i valori reali (costo delle case, numero di chiamate, vendite totali, ecc.) in base a variabili continue. Qui, stabiliamo una relazione tra variabili indipendenti e dipendenti adattando una linea migliore. Questa linea di miglior adattamento è nota come linea di regressione ed è rappresentata da un'equazione lineare Y= a *X + b. Diciamo che chiedi a un bambino di quinta elementare di sistemare le persone nella sua classe aumentando l'ordine di peso, senza chiedere loro il peso! Cosa pensi che farà il bambino? Probabilmente guarderebbe (analizzerebbe visivamente) l'altezza e la corporatura delle persone e le disporrebbe utilizzando una combinazione di questi parametri visibili. Questa è regressione lineare nella vita reale! Il bambino ha effettivamente capito che altezza e corporatura sarebbero correlate al peso da una relazione, che assomiglia all'equazione sopra. In questa equazione: Y – Variabile dipendente a - Pendenza retta X – Variabile indipendente b – Bias Questi coefficienti a e b sono derivati ​​sulla base della riduzione al minimo della differenza al quadrato della distanza tra i punti dati e la linea di regressione. La regressione lineare è principalmente di due tipi: regressione lineare semplice e regressione lineare multipla. La regressione lineare semplice è caratterizzata da una variabile indipendente. Inoltre, la regressione lineare multipla (come suggerisce il nome) è caratterizzata da più (più di 1) variabili indipendenti. Mentre trovi la linea più adatta, puoi adattare una regressione polinomiale o curvilinea. E questi sono noti come regressione polinomiale o curvilinea. Ecco una finestra per metterti alla prova e costruire il tuo modello di regressione lineare in Python:

4. Spiegazione e Implementazione Algoritmo SVM (macchina vettoriale di supporto) È un metodo di classificazione. In questo algoritmo, tracciamo ogni elemento di dati come un punto nello spazio n-dimensionale (dove n è il numero di caratteristiche che hai) con il valore di ciascuna caratteristica che è il valore di una particolare coordinata. Ad esempio, se avessimo solo due caratteristiche come l'altezza e la lunghezza dei capelli di un individuo, per prima cosa tracciaremmo queste due variabili in uno spazio bidimensionale in cui ogni punto ha due coordinate (queste coordinate sono note come vettori di supporto ) Ora troveremo una linea che divide i dati tra i due gruppi di dati diversamente classificati. Questa sarà la linea tale che le distanze dal punto più vicino in ciascuno dei due gruppi saranno più lontane. Questo è il codice di una possibile implementazione.

6. Spiegazione e Implementazione Algoritmo kNN Può essere utilizzato sia per problemi di classificazione che di regressione. Tuttavia, è più ampiamente utilizzato nei problemi di classificazione nell'industria. KNN è un semplice algoritmo che memorizza tutti i casi disponibili e classifica i nuovi casi con un voto di maggioranza dei suoi k vicini Queste funzioni di distanza possono essere la distanza Euclidea, Manhattan, Minkowski e Hamming. Le prime tre funzioni sono utilizzate per la funzione continua e la quarta (Hamming) per le variabili categoriali. Il caso viene semplicemente assegnato alla classe del suo vicino più prossimo. A volte, la scelta di K risulta essere una sfida durante l'esecuzione della modellazione kNN. KNN può essere facilmente usato nelle nostre vite. Se vuoi conoscere una persona di cui non hai informazioni, ti potrebbe piacere conoscere i suoi amici intimi e le cerchie in cui si muove e avere accesso alle sue informazioni! Aspetti da considerare prima di selezionare kNN: KNN è computazionalmente costoso Le variabili dovrebbero essere normalizzate, altrimenti le variabili di intervallo più alto possono distorcerlo Lavora di più sulla fase di pre-elaborazione prima di utilizzare kNN Programma un modello di clusterizzazione in Python:

8. Spiegazione e Implementazione Algoritmi Foresta casuale Random Forest è un termine caratteristico per un insieme di alberi decisionali. Abbiamo una raccolta di alberi decisionali (conosciuti come "Foresta"). Per classificare un nuovo oggetto in base agli attributi, ogni albero fornisce una classificazione e diciamo che l'albero "vota" per quella classe. La foresta sceglie la classifica con il maggior numero di voti (su tutti gli alberi della foresta). Ogni albero viene piantato e cresciuto come segue: Se il numero di casi nel training set è N, il campione di N casi viene preso a caso ma con sostituzione . Questo esempio sarà il training set per far crescere l'albero. Se ci sono M variabili di input, viene specificato un numero m<<M tale che ad ogni nodo vengono selezionate a caso m variabili dalle M e la migliore suddivisione su queste m viene utilizzata per dividere il nodo. Il valore di m è mantenuto costante durante la crescita della foresta. Ogni albero è cresciuto nella misura più ampia possibile. Non c'è potatura. Implementiamo l'algoritmo foresta casuale con Python :

Gli LSTM sono un tipo di rete neurale ricorrente (RNN) in grado di apprendere e memorizzare le dipendenze a lungo termine. Richiamare le informazioni passate per lunghi periodi è il comportamento predefinito. Gli LSTM conservano le informazioni nel tempo. Sono utili nella previsione di serie temporali perché ricordano gli input precedenti. Gli LSTM hanno una struttura a catena in cui quattro strati interagenti comunicano in un modo unico. Oltre alle previsioni di serie temporali, gli LSTM vengono generalmente utilizzati per il riconoscimento vocale, la composizione musicale e lo sviluppo farmaceutico. Come funzionano gli LSTM? In primo luogo, dimenticano parti irrilevanti dello stato precedente Successivamente, aggiornano selettivamente i valori dello stato della cella Infine, l'output di alcune parti dello stato della cella Di seguito è riportato un diagramma di come funzionano gli LSTM:

I DBN sono modelli generativi costituiti da più livelli di variabili stocastiche e latenti. Le variabili latenti hanno valori binari e sono spesso chiamate unità nascoste. I DBN sono una pila di macchine Boltzmann con connessioni tra gli strati e ogni strato RBM comunica con entrambi i livelli precedenti e successivi. Le Deep Belief Networks (DBN) vengono utilizzate per il riconoscimento di immagini, il riconoscimento video e i dati di acquisizione del movimento. Come funzionano i DBN? Gli algoritmi di apprendimento avidi addestrano i DBN. L'algoritmo di apprendimento greedy utilizza un approccio strato per strato per l'apprendimento dei pesi generativi dall'alto verso il basso. I DBN eseguono le fasi del campionamento di Gibbs sui primi due livelli nascosti. Questa fase estrae un campione dall'RBM definito dai due strati nascosti superiori. I DBN prelevano un campione dalle unità visibili utilizzando un singolo passaggio di campionamento ancestrale attraverso il resto del modello. I DBN apprendono che i valori delle variabili latenti in ogni livello possono essere dedotti da un singolo passaggio dal basso verso l'alto.

Andiamo a vedere nello specifico in quali aree lavorative può trovare lavoro un data scientist

Vediamo quali università in Italia offrono un percorso di studi che calzi a pennello con la data science

In questa sezione andremmo a vedere i principali algoritmi di Machine learning, come funzionano e come implentarli in python.

Per fare in modo che questo MicroCorso possa essere utile per te assicurati di avere le nozioni qui sotto richieste. Se noti di non conoscere bene un argomento clicca il Link di fianco. Prerequisiti : Se non sai perchè utilizzeremo python, clicca qui Se non hai ancora installato Python, clicca qui Se non sai come scaricare e gestire le librerie, clicca qui Se non sai cosa sia un Dataset, clicca qui Se non sai quali sono le migliori librerie per l'I.A. , clicca qui Sei Pronto ad Iniziare ?

In questa parte del tutorial, lavoreremo attraverso l'installazione di ImageAI. Per utilizzare ImageAI è necessario installare alcune dipendenze. Il primo passo è avere Python installato sul tuo computer. Se non lo hai installato, o non sai come scaricare e gestire le librerie vai ai prerequisiti Dopo aver installato Python sul tuo computer, installa le seguenti librerie usando pip: TensorFlow $ pip install tensorflow $ pip3 install tensorflow # per Python3 OpenCV $ pip install opencv-python $ pip3 install opencv-python # per Python3 Keras $ pip install keras $ pip3 install keras # per Python3 ImageAI $ pip install imageAI $ pip3 install imageAI # per Python3 Ora scarica il file del modello TinyYOLOv3 che contiene il modello di classificazione che verrà utilizzato per il rilevamento degli oggetti. Ora preparati AL DIVERTIMENTO

Ora che hai importato la libreria imageAI e la classe ObjectDetection, la prossima cosa è creare un'istanza della classe ObjectDetection, come mostrato qui: detector = ObjectDetection() Ora dovresti essere a questo punto *Non fare caso ai numeri a sinistra delle righe

Specifichiamo il percorso dalla nostra immagine di input, immagine di output e modello. model_path = "./models/yolo-tiny.h5" input_path = "./input/test45.jpg" output_path = "./output/newimage.jpg" Se stai copiando correttamente, il tuo file dovrebbe essere cosi