Premessa per chi già conosce, studia o lavora nel settore dell'intelligenza artificiale : Questa definizione di machine learning è stata semplificata per chi è ai primi approcci con la materia. Il Machine Learning è una branca dell'intelligenza artificiale. La traduzione in italiano è "apprendimento delle macchine", il che letto così è anche un po' inquietante. Questo termine venne usato per la prima volta nel 1959 da un ricercatore americano, il quale aveva supposto che se ad un computer è possibile fornirgli degli esempi accurati e ben lavorati riguardanti un determinato campo ( ad esempio dati riguardanti le case, dati riguardanti cartelle cliniche) allora questo sarebbe stato in grado, tramite algoritmi complessi, di fare delle stime o delle classificazioni su dati che non aveva mai visto, basandosi solo sui dati degli esempi iniziali. Effettivamente ciò, in parte, è risultato vero. Una seconda definizione è stata data da Tom Michael Mitchell, direttore del dipartimento Machine Learning della Carnegie Mellon University: Si dice che un programma apprende dall’ esperienza E con riferimento a alcune classi di compiti T e con misurazione della performance P, se le sue performance nel compito T, come misurato da P, migliorano con l’esperienza E Questa definizione più "matematica" in altre parole dice che: se un programma migliora i suoi risultati/performance ( ad esempio la stima del prezzo di una casa) in base alla quantità di esempi su cui si è allenato allora questo programma è in grado di apprendere.

Una volta definito il problema, avrai bisogno di dati per fornirti le informazioni necessarie per capovolgere il problema con una soluzione. Questa parte del processo prevede la riflessione sui dati necessari e la ricerca di modi per ottenere tali dati, sia che si tratti di eseguire query su database interni o di acquistare set di dati esterni. Potresti scoprire che la tua azienda archivia tutti i dati di vendita in un CRM o in una piattaforma software di gestione delle relazioni con i clienti. Puoi esportare i dati CRM in un file CSV per ulteriori analisi.

Ma vediamo come sia possibile una tale diavoleria. Alla base di queste stime e classificazioni basate su grandi datasets ( grandi quantità di esempi, composti da una serie di attributi e un target ) abbiamo la STATISTICA E PROBABILITÀ. Come appena detto il computer si basa su una serie di esempi, composti da una serie di etichette "indipendenti" che descrivono o classificano una variabile di target, in statistica chiamata variabile "dipendente" Successivamente grazie a complesse formule di probabilità e statistica sugli esempi passati vennero creati modelli matematici dove ad ogni variabile indipendente sarà corrisposto un "peso" per la stima finale. Ad esempio per quanto riguarda il prezzo di una casa la variabile che ha un peso maggiore, e cioè incide maggiormente, è la Dimensione della casa. Supponiamo adesso di voler "passare" ad un algoritmo di machine learning due colonne di dati ( le dimensioni della casa e il suo valore ) aventi il seguente formato : Dimensioni | Prezzo 40 m³ | 50.000$ 60 m³ | 70.000$ 80 m³ | 100.000$ 100 m³ | 120.000$ 140 m³ | 250.000$ Dando ora questi dati in pasto al nostro algoritmo questo genererà una tale correlazione tra la variabile indipendente "dimensioni" e la variabile dipendente "prezzo" La linea rossa che potete vedere indica la crescita dei prezzi delle case sulla base delle loro dimensioni. Per arrivare a creare questo grafico il computer è partito rappresentando dei punti con coordinate x=le dimensioni della casa e y=il prezzo delle case, per poi cercare una funzione che descrive l'andamento nel grafico di tutti questi punti. Dopo aver creato tale Modello e data in input una nuova dimensione della casa questo sarà in grado, basandosi sugli esempi precedenti, di fare una stima del prezzo.

Uno scienziato dei dati sarà in genere più coinvolto nella progettazione di processi di modellazione dei dati , nella creazione di algoritmi e modelli predittivi. Pertanto, i data scientist possono dedicare più tempo alla progettazione di strumenti, sistemi di automazione e framework di dati. Rispetto a un analista di dati, uno scienziato di dati può essere più concentrato sullo sviluppo di nuovi strumenti e metodi per estrarre le informazioni necessarie all'organizzazione per risolvere problemi complessi. È anche utile possedere intuizione aziendale e capacità di pensiero critico per comprendere le implicazioni dei dati. Alcuni nel campo potrebbero descrivere un data scientist come qualcuno che non solo ha conoscenze matematiche e statistiche, ma anche le capacità di un hacker per affrontare i problemi in modi innovativi.

Ora che hai tutti i dati grezzi, dovrai elaborarli prima di poter eseguire qualsiasi analisi. Spesso, i dati possono essere piuttosto disordinati, soprattutto se non sono stati ben mantenuti. Vedrai errori che danneggeranno la tua analisi: valori impostati su null anche se in realtà sono zero, valori duplicati e valori mancanti. Sta a te esaminare e controllare i tuoi dati per assicurarti di ottenere informazioni accurate. Ti consigliamo di verificare i seguenti errori comuni: Valori mancanti, forse clienti senza una data di contatto iniziale Valori danneggiati, come voci non valide Differenze di fuso orario, forse il tuo database non tiene conto dei diversi fusi orari dei tuoi utenti Errori di intervallo di date, forse avrai date che non hanno senso, come i dati registrati prima dell'inizio delle vendite Dovrai esaminare gli aggregati delle righe e delle colonne del tuo file e campionare alcuni valori di test per vedere se i tuoi valori hanno senso. Se rilevi qualcosa che non ha senso, dovrai rimuovere quei dati o sostituirli con un valore predefinito. Dovrai usare la tua intuizione qui: Se un cliente non ha una data di contatto iniziale, ha senso dire che NON c'era una data di contatto iniziale? Oppure devi dare la caccia al VP Sales e chiedere se qualcuno ha dati sulle date di contatto iniziali mancanti del cliente? A te la scelta ! Una volta che hai finito di lavorare con queste domande e di pulire i tuoi dati, sarai pronto per l'analisi esplorativa dei dati (EDA).

L'obiettivo dell'Apprendimento con Supervisione consiste nel creare un modello partendo da Dati di Addestramento già etichettati, grazie al quale saremo in grado di fare previsioni su dati nuovi o futuri. Ora vediamo nello specifico come questo sia possibile. Ti propongo il seguente schema: Per farti capire meglio suddividiamo il processo di Apprendimento con Supervisione in 3 step. step 1 : Per far in modo che il nostro programma possa predire o classificare un target abbiamo bisogno di un set di dati ( Dataset ) all' interno del quale avremo delle "variabili indipendenti" ( nello schema X1 e X2 ) e una "variabile dipendente" ( nello schema Y ) la quale sarà il nostro target. step 2 : Una volta raccolti i dati e preparato accuratamente il nostro set di dati, lo daremo in pasto ad un algoritmo di apprendimento. L'obiettivo del programma sarà quello di trovare una funzione o un iperpiano (in base alle dimensioni di input) in grado di descrivere o dividere/classificare il target. step 3 : Quando il nostro algoritmo avrà terminato ci darà in output il modello, grazie al quale saremo in grado di poter effettuare le nostre previsioni. Il termine "Supervisione" ci fa intendere che questo tipo di apprendimento non viene effettuato autonomamente dalla macchina, c'é infatti il bisogno di un contributo da parte di un esperto. Nello step 1 sarà proprio l'esperto a dover creare una struttura dati che la macchina può leggere ( ad esempio un foglio excel, un file Json o un file di testo ). Nello step 2 sarà sempre un esperto a valutare quale algoritmo applicare per ottenere i risultati migliori. Ecco quindi perché si parla di "Supervisione".

Questa fase del processo è quella in cui dovrai applicare le tue conoscenze statistiche, matematiche e tecnologiche e sfruttare tutti gli strumenti di data science a tua disposizione per elaborare i dati e trovare tutte le informazioni possibili. In questo caso, potresti dover creare un modello predittivo che confronti il ​​tuo gruppo con prestazioni inferiori al tuo cliente medio. Potresti scoprire che l'età e l'attività sui social media sono fattori significativi nel prevedere chi acquisterà il prodotto. Se hai posto molte delle domande giuste mentre inquadravi il tuo problema, potresti capire che l'azienda si è concentrata molto sugli sforzi di marketing sui social media, con messaggi rivolti a un pubblico più giovane. Sapresti che alcuni dati demografici preferiscono essere raggiunti per telefono piuttosto che dai social media. Inizi a vedere come il modo in cui il prodotto è stato commercializzato sta influenzando in modo significativo le vendite: forse questo gruppo di problemi non è una causa persa! Un cambiamento nella tattica dal social media marketing a più interazioni di persona potrebbe cambiare tutto in meglio. Questo è qualcosa che dovrai segnalare al tuo VP Sales. Ora puoi combinare tutte queste informazioni qualitative con i dati della tua analisi quantitativa per creare una storia che spinga le persone all'azione.

Prima della spiegazione ci tengo a farti notare quanto sia spaventoso il termine Apprendimento Senza Supervisione 😂. Come hai potuto notare i primi due tipi di Apprendimento per arrivare ad un modello o ad un obiettivo hanno bisogno di un insieme di dati strutturati (ad esempio un file excel o una matrice). Questo tipo di apprendimento invece riceve in input una grande mole di dati non etichettati, quindi dove non selezioniamo un target come la Y o la carota vista prima. Trova invece delle possibili strutture che traggono informazioni inizialmente non leggibili o nascoste da questi dati. Supponiamo di possedere una marea di dati riguardanti gli interessi dei nostri clienti e di non riuscire a trovare delle profilature adatte: cosa fare? Decidiamo di dare in pasto i nostri dati ad un algoritmo di Apprendimento Senza Supervisione e questo algoritmo ( chiamato clustering ) senza avere un target sará in grado di ricercare e trovare dei sottogruppi dei clienti in base ai loro interessi. Ecco nell'immagine sottostante un esempio di quanto appena detto:

Bisogna avere una buona conoscenza dei concetti di programmazione come strutture dati e algoritmi . I linguaggi di programmazione utilizzati sono Python, R, Java , Scala. C++ è utile anche in alcuni luoghi in cui le prestazioni sono molto importanti. Python: Python Basics List Set Tuples Dictionary Function, etc. NumPy Pandas Matplotlib/Seaborn, etc. R: R Basics Vector List Data Frame Matrix Array Function, etc. dplyr ggplot2 Tidyr Shiny, etc. DataBase: SQL MongoDB Altro: Data Structure Time Complexity Web Scraping Linux Git

È importante che il VP Sales capisca perché le informazioni che hai scoperto sono importanti . Alla fine, sei stato chiamato a creare una soluzione per tutto il processo di data science. Una corretta comunicazione farà la differenza tra azione e inazione sulle tue proposte. Devi creare una storia avvincente qui che leghi i tuoi dati con la loro conoscenza. Inizi spiegando le ragioni alla base della sottoperformance della fascia demografica più anziana. Lo colleghi alle risposte che ti hanno fornito il tuo VP Sales e alle intuizioni che hai scoperto dai dati. Poi si passa a soluzioni concrete che affrontano il problema: potremmo spostare alcune risorse dai social alle chiamate personali. Leghi tutto insieme in una narrazione che risolve il dolore del tuo VP Sales: ora ha chiarezza su come recuperare le vendite e raggiungere i suoi obiettivi. Ora è pronta ad agire in base alle tue proposte. Durante il processo di data science, le tue attività quotidiane varieranno in modo significativo a seconda di dove ti trovi e riceverai sicuramente attività che non rientrano in questo processo standard! Ti troverai spesso anche a destreggiarti tra diversi progetti contemporaneamente. È importante comprendere questi passaggi se vuoi pensare in modo sistematico alla scienza dei dati, e ancora di più se stai cercando di iniziare una carriera nella scienza dei dati.

La scienza dei dati o l'analisi dei dati ? Il miglior grado per te dipende dai tuoi obiettivi personali e professionali. Se sei interessato all'elaborazione dei dati e alla modellazione statistica, una laurea in analisi dei dati potrebbe fare al caso tuo. Se sei interessato all'apprendimento automatico o ai big data, potresti voler conseguire una laurea in data science. Un analista di dati può diventare uno scienziato di dati? C'è una certa sovrapposizione tra il ruolo di un analista di dati e uno scienziato di dati che può aiutare un analista di dati a passare a uno scienziato di dati. Il percorso di ognuno è diverso, ma un passo comune è in genere l'acquisizione di competenze di data science rilevanti e formazione continua. Quali sono le competenze comuni utilizzate dagli analisti di dati e dai data scientist? Le abilità comuni utilizzate sia dagli analisti di dati che dai data scientist possono includere data mining, data warehousing, matematica, statistica e visualizzazione dei dati. A seconda del loro ruolo in un'organizzazione, alcuni analisti di dati possono utilizzare linguaggi di programmazione come R o Python. Qual è la differenza di stipendio tra un data scientist e un data analyst? Secondo O*NET Online, i data scientist hanno guadagnato uno stipendio medio di $ 94.280 nel 2019 . Il Bureau of Labor Statistics e O*NET attualmente non forniscono rapporti sugli stipendi degli analisti di dati. Per fare un confronto, lo stipendio medio per un ruolo correlato come un analista finanziario era di $ 81.590 nel 2019.

l' NPL è quella branca che analizza e processa dati Testuali, come recensioni, social media, romanzi, definizioni, ecc.. Text Classification Word Vectors

Lo stipendio di un data scientist dipende da anni di esperienza, competenze, istruzione e posizione. Secondo The Burtchworks Study, i datori di lavoro attribuiscono maggiore valore ai data scientist con competenze specialistiche, come l'elaborazione del linguaggio naturale o l'intelligenza artificiale. Il BLS afferma che gli esperti di ricerca informatica e scienziati dell'informazione, che includono scienziati dei dati, godono di eccellenti prospettive di lavoro a causa dell'elevata domanda. I dati sugli stipendi di seguito provengono dai dati del 2019 del Bureau of Labor Statistics. I dati fanno riferimento agli USA. Data Scientist Stipendio medio Data Scientist: $ 122,840 all'anno 10% più basso: $ 69,990 10% più alto: $ 189,780 Senior Data Scientist Median Sr. Stipendio Data Scientist: $ 171.755 Intervallo di retribuzione totale: $ 147.000 - $ 200.000

Come si diventa un data scientist? Il primo passo per diventare uno scienziato dei dati è in genere conseguire una laurea in scienza dei dati o in un campo correlato, ma ci sono altri modi per apprendere le abilità di scienza dei dati come un bootcamp o attraverso l'esercito. ( Bootcamp è un termine colloquiale inglese che indica l'addestramento militare delle reclute; per estensione indica anche un campo di addestramento, di qualunque tipo in questo caso la scienza dei dati. I bootcamp solitamente come durata minima partono dalle 20-24 settimane di formazione. ) Non ti va di proseguire con la laurea ma vuoi diventare data scientist, ecco a te un bootcamp valido da iniziare subito . Northwestern Data Science and Visualization Boot Camp Quali competenze sono necessarie per essere un data scientist? Gli scienziati dei dati utilizzano una varietà di competenze a seconda del settore in cui lavorano e delle loro responsabilità lavorative. La maggior parte dei data scientist ha familiarità con linguaggi di programmazione come R e Python, nonché analisi statistiche, visualizzazione dei dati, tecniche di apprendimento automatico, pulizia dei dati, ricerca e data warehouse e strutture. Quanto tempo ci vuole per essere un data scientist? Il tempo necessario per diventare un data scientist dipende dai tuoi obiettivi di carriera e dalla quantità di denaro e tempo che preferisci dedicare alla tua istruzione. Sono disponibili diplomi di laurea quadriennali in scienze dei dati e bootcamp di tre mesi. Se hai già conseguito una laurea o completato un bootcamp, potresti prendere in considerazione la possibilità di conseguire un master, che può richiedere anche un anno per essere completato. Come mostrato nel suddetto studio di Burtch Works, la maggior parte degli scienziati dei dati ha una laurea avanzata.

“La pratica rende l'uomo perfetto” il che racconta l'importanza della pratica continua in qualsiasi materia per imparare qualsiasi cosa.