Diventare un data scientist è un po come dire "Oggi vado a fare surf". Non è solo salire sulla tavola e cavalcare l'onda. Ma trovare il mare guisto, la giusta posizione e la giusta onda. Ma nemmeno questo basta ! Serve esperienza, sia a livello didattico che lavorativo. Ma siccome il DataScientist non è un semplice lavoro ma "Uno stile di vita" non separiamo l'esperienza a livello didattico e lavorativo, ma viviamo questo percorso non con la fretta di diventare data scientist e sbandierarlo su Linkedin, ma per il gusto di cavalcare come si deve l'onda che aspettavi da tanto.

Andiamo a capire nel dettaglio uno dei tanti strumenti del data scientist. L'apprendimento profondo è ad oggi utilizzato e richiesto nella maggior parte delle aziende che trattano dati.

In questo tutorial torneremo alla matematica e alle statistiche di studio e come calcolare numeri importanti in base a set di dati. Impareremo anche come utilizzare vari moduli Python per ottenere le risposte di cui abbiamo bisogno. E impareremo a creare funzioni in grado di prevedere il risultato in base a ciò che abbiamo appreso.

In questa sezione del corso andremo ad analizzare e a toccare con mano le principali architetture neurali per il deep learning. Questa parte potrebbe sembrarti un po ostica, quindi non preoccuparti.

Se sei interessato a una carriera lavorando con i big data e con i numeri, ci sono due percorsi che potresti prendere in considerazione: diventare un analista di dati. diventare uno scienziato di dati. Qual è la differenza tra analisti di dati e scienziati di dati? Daremo un'occhiata alle differenze e ai percorsi di carriera per entrambe le discipline. I datori di lavoro sono alla ricerca di professionisti con competenze basate sui dati come analisi, apprendimento automatico e intelligenza artificiale. Poiché il mondo fa sempre più affidamento sui dati in molti aspetti del business, della ricerca e dell'economia, sia i data scientist che gli analisti sono richiesti con stipendi generalmente superiori alla media nazionale.

Quindi, prima di lanciarsi nella Roadmap completa della Data Science, si dovrebbe avere un obiettivo chiaro nella sua mente: Perché vuole imparare la Data Science? È per la frase " Il lavoro più sexy del 21° secolo "? È per i tuoi progetti accademici universitari? È per la tua carriera a lungo termine? Vuoi spostare la tua carriera nel mondo dei data scientist? Quindi prima fissa un obiettivo chiaro. Perché vuoi imparare la scienza dei dati? Ad esempio, se vuoi imparare Data Science per i tuoi progetti accademici universitari, è sufficiente imparare solo le cose per principianti in Data Science. Allo stesso modo, se vuoi costruire la tua carriera a lungo termine, dovresti imparare anche cose professionali o avanzate. Devi coprire tutti i prerequisiti in dettaglio. Quindi è nelle tue mani e sta a te decidere perché vuoi imparare Data Science. Per questo motivo troverai nella RoadMap gli argomenti divisi per difficoltà, cosicchè tu possa, Dopo Aver risposto alle domande precedenti , capire con cura cosa studiare per diventare un Data Scientist o per concludere il tuo progetto lavorativo/universitario.

Premessa per chi già conosce, studia o lavora nel settore dell'intelligenza artificiale : Questa definizione di machine learning è stata semplificata per chi è ai primi approcci con la materia. Il Machine Learning è una branca dell'intelligenza artificiale. La traduzione in italiano è "apprendimento delle macchine", il che letto così è anche un po' inquietante. Questo termine venne usato per la prima volta nel 1959 da un ricercatore americano, il quale aveva supposto che se ad un computer è possibile fornirgli degli esempi accurati e ben lavorati riguardanti un determinato campo ( ad esempio dati riguardanti le case, dati riguardanti cartelle cliniche) allora questo sarebbe stato in grado, tramite algoritmi complessi, di fare delle stime o delle classificazioni su dati che non aveva mai visto, basandosi solo sui dati degli esempi iniziali. Effettivamente ciò, in parte, è risultato vero. Una seconda definizione è stata data da Tom Michael Mitchell, direttore del dipartimento Machine Learning della Carnegie Mellon University: Si dice che un programma apprende dall’ esperienza E con riferimento a alcune classi di compiti T e con misurazione della performance P, se le sue performance nel compito T, come misurato da P, migliorano con l’esperienza E Questa definizione più "matematica" in altre parole dice che: se un programma migliora i suoi risultati/performance ( ad esempio la stima del prezzo di una casa) in base alla quantità di esempi su cui si è allenato allora questo programma è in grado di apprendere.

Una volta definito il problema, avrai bisogno di dati per fornirti le informazioni necessarie per capovolgere il problema con una soluzione. Questa parte del processo prevede la riflessione sui dati necessari e la ricerca di modi per ottenere tali dati, sia che si tratti di eseguire query su database interni o di acquistare set di dati esterni. Potresti scoprire che la tua azienda archivia tutti i dati di vendita in un CRM o in una piattaforma software di gestione delle relazioni con i clienti. Puoi esportare i dati CRM in un file CSV per ulteriori analisi.

Ma vediamo come sia possibile una tale diavoleria. Alla base di queste stime e classificazioni basate su grandi datasets ( grandi quantità di esempi, composti da una serie di attributi e un target ) abbiamo la STATISTICA E PROBABILITÀ. Come appena detto il computer si basa su una serie di esempi, composti da una serie di etichette "indipendenti" che descrivono o classificano una variabile di target, in statistica chiamata variabile "dipendente" Successivamente grazie a complesse formule di probabilità e statistica sugli esempi passati vennero creati modelli matematici dove ad ogni variabile indipendente sarà corrisposto un "peso" per la stima finale. Ad esempio per quanto riguarda il prezzo di una casa la variabile che ha un peso maggiore, e cioè incide maggiormente, è la Dimensione della casa. Supponiamo adesso di voler "passare" ad un algoritmo di machine learning due colonne di dati ( le dimensioni della casa e il suo valore ) aventi il seguente formato : Dimensioni | Prezzo 40 m³ | 50.000$ 60 m³ | 70.000$ 80 m³ | 100.000$ 100 m³ | 120.000$ 140 m³ | 250.000$ Dando ora questi dati in pasto al nostro algoritmo questo genererà una tale correlazione tra la variabile indipendente "dimensioni" e la variabile dipendente "prezzo" La linea rossa che potete vedere indica la crescita dei prezzi delle case sulla base delle loro dimensioni. Per arrivare a creare questo grafico il computer è partito rappresentando dei punti con coordinate x=le dimensioni della casa e y=il prezzo delle case, per poi cercare una funzione che descrive l'andamento nel grafico di tutti questi punti. Dopo aver creato tale Modello e data in input una nuova dimensione della casa questo sarà in grado, basandosi sugli esempi precedenti, di fare una stima del prezzo.

Uno scienziato dei dati sarà in genere più coinvolto nella progettazione di processi di modellazione dei dati , nella creazione di algoritmi e modelli predittivi. Pertanto, i data scientist possono dedicare più tempo alla progettazione di strumenti, sistemi di automazione e framework di dati. Rispetto a un analista di dati, uno scienziato di dati può essere più concentrato sullo sviluppo di nuovi strumenti e metodi per estrarre le informazioni necessarie all'organizzazione per risolvere problemi complessi. È anche utile possedere intuizione aziendale e capacità di pensiero critico per comprendere le implicazioni dei dati. Alcuni nel campo potrebbero descrivere un data scientist come qualcuno che non solo ha conoscenze matematiche e statistiche, ma anche le capacità di un hacker per affrontare i problemi in modi innovativi.

Ora che hai tutti i dati grezzi, dovrai elaborarli prima di poter eseguire qualsiasi analisi. Spesso, i dati possono essere piuttosto disordinati, soprattutto se non sono stati ben mantenuti. Vedrai errori che danneggeranno la tua analisi: valori impostati su null anche se in realtà sono zero, valori duplicati e valori mancanti. Sta a te esaminare e controllare i tuoi dati per assicurarti di ottenere informazioni accurate. Ti consigliamo di verificare i seguenti errori comuni: Valori mancanti, forse clienti senza una data di contatto iniziale Valori danneggiati, come voci non valide Differenze di fuso orario, forse il tuo database non tiene conto dei diversi fusi orari dei tuoi utenti Errori di intervallo di date, forse avrai date che non hanno senso, come i dati registrati prima dell'inizio delle vendite Dovrai esaminare gli aggregati delle righe e delle colonne del tuo file e campionare alcuni valori di test per vedere se i tuoi valori hanno senso. Se rilevi qualcosa che non ha senso, dovrai rimuovere quei dati o sostituirli con un valore predefinito. Dovrai usare la tua intuizione qui: Se un cliente non ha una data di contatto iniziale, ha senso dire che NON c'era una data di contatto iniziale? Oppure devi dare la caccia al VP Sales e chiedere se qualcuno ha dati sulle date di contatto iniziali mancanti del cliente? A te la scelta ! Una volta che hai finito di lavorare con queste domande e di pulire i tuoi dati, sarai pronto per l'analisi esplorativa dei dati (EDA).

L'obiettivo dell'Apprendimento con Supervisione consiste nel creare un modello partendo da Dati di Addestramento già etichettati, grazie al quale saremo in grado di fare previsioni su dati nuovi o futuri. Ora vediamo nello specifico come questo sia possibile. Ti propongo il seguente schema: Per farti capire meglio suddividiamo il processo di Apprendimento con Supervisione in 3 step. step 1 : Per far in modo che il nostro programma possa predire o classificare un target abbiamo bisogno di un set di dati ( Dataset ) all' interno del quale avremo delle "variabili indipendenti" ( nello schema X1 e X2 ) e una "variabile dipendente" ( nello schema Y ) la quale sarà il nostro target. step 2 : Una volta raccolti i dati e preparato accuratamente il nostro set di dati, lo daremo in pasto ad un algoritmo di apprendimento. L'obiettivo del programma sarà quello di trovare una funzione o un iperpiano (in base alle dimensioni di input) in grado di descrivere o dividere/classificare il target. step 3 : Quando il nostro algoritmo avrà terminato ci darà in output il modello, grazie al quale saremo in grado di poter effettuare le nostre previsioni. Il termine "Supervisione" ci fa intendere che questo tipo di apprendimento non viene effettuato autonomamente dalla macchina, c'é infatti il bisogno di un contributo da parte di un esperto. Nello step 1 sarà proprio l'esperto a dover creare una struttura dati che la macchina può leggere ( ad esempio un foglio excel, un file Json o un file di testo ). Nello step 2 sarà sempre un esperto a valutare quale algoritmo applicare per ottenere i risultati migliori. Ecco quindi perché si parla di "Supervisione".

Questa fase del processo è quella in cui dovrai applicare le tue conoscenze statistiche, matematiche e tecnologiche e sfruttare tutti gli strumenti di data science a tua disposizione per elaborare i dati e trovare tutte le informazioni possibili. In questo caso, potresti dover creare un modello predittivo che confronti il ​​tuo gruppo con prestazioni inferiori al tuo cliente medio. Potresti scoprire che l'età e l'attività sui social media sono fattori significativi nel prevedere chi acquisterà il prodotto. Se hai posto molte delle domande giuste mentre inquadravi il tuo problema, potresti capire che l'azienda si è concentrata molto sugli sforzi di marketing sui social media, con messaggi rivolti a un pubblico più giovane. Sapresti che alcuni dati demografici preferiscono essere raggiunti per telefono piuttosto che dai social media. Inizi a vedere come il modo in cui il prodotto è stato commercializzato sta influenzando in modo significativo le vendite: forse questo gruppo di problemi non è una causa persa! Un cambiamento nella tattica dal social media marketing a più interazioni di persona potrebbe cambiare tutto in meglio. Questo è qualcosa che dovrai segnalare al tuo VP Sales. Ora puoi combinare tutte queste informazioni qualitative con i dati della tua analisi quantitativa per creare una storia che spinga le persone all'azione.

Prima della spiegazione ci tengo a farti notare quanto sia spaventoso il termine Apprendimento Senza Supervisione 😂. Come hai potuto notare i primi due tipi di Apprendimento per arrivare ad un modello o ad un obiettivo hanno bisogno di un insieme di dati strutturati (ad esempio un file excel o una matrice). Questo tipo di apprendimento invece riceve in input una grande mole di dati non etichettati, quindi dove non selezioniamo un target come la Y o la carota vista prima. Trova invece delle possibili strutture che traggono informazioni inizialmente non leggibili o nascoste da questi dati. Supponiamo di possedere una marea di dati riguardanti gli interessi dei nostri clienti e di non riuscire a trovare delle profilature adatte: cosa fare? Decidiamo di dare in pasto i nostri dati ad un algoritmo di Apprendimento Senza Supervisione e questo algoritmo ( chiamato clustering ) senza avere un target sará in grado di ricercare e trovare dei sottogruppi dei clienti in base ai loro interessi. Ecco nell'immagine sottostante un esempio di quanto appena detto:

Bisogna avere una buona conoscenza dei concetti di programmazione come strutture dati e algoritmi . I linguaggi di programmazione utilizzati sono Python, R, Java , Scala. C++ è utile anche in alcuni luoghi in cui le prestazioni sono molto importanti. Python: Python Basics List Set Tuples Dictionary Function, etc. NumPy Pandas Matplotlib/Seaborn, etc. R: R Basics Vector List Data Frame Matrix Array Function, etc. dplyr ggplot2 Tidyr Shiny, etc. DataBase: SQL MongoDB Altro: Data Structure Time Complexity Web Scraping Linux Git