La scienza dei dati
La scienza dei dati è oggi una parte essenziale di molti settori, date le enormi quantità di dati che vengono prodotti, ed è uno degli argomenti più dibattuti. La sua popolarità è cresciuta nel corso degli anni e le aziende hanno iniziato a implementare tecniche della scienza dei dati per far crescere il proprio business e aumentare la soddisfazione dei clienti.
Cos'è la scienza dei dati ?
La scienza dei dati è il campo dell'applicazione di tecniche di analisi avanzate e principi scientifici per estrarre informazioni preziose dai dati per il processo decisionale aziendale, la pianificazione strategica e altri usi. È sempre più fondamentale per le aziende: le informazioni generate dalla scienza dei dati aiutano le organizzazioni ad aumentare l'efficienza operativa, identificare nuove opportunità di business e migliorare i programmi di marketing e vendita, tra gli altri vantaggi. In definitiva, possono portare a vantaggi competitivi rispetto ai rivali in affari.
Da che discipline è composta la scienza dei dati ?
La scienza dei dati incorpora varie discipline, ad esempio ingegneria dei dati, preparazione dei dati, data mining , analisi predittiva, apprendimento automatico e visualizzazione dei dati, nonché statistica, matematica e programmazione software. Viene eseguito principalmente da esperti di dati , sebbene possano essere coinvolti anche analisti di dati di livello inferiore. Inoltre, molte organizzazioni ora si affidano in parte ai Team di data scientist , un gruppo che può includere professionisti della business intelligence (BI), analisti aziendali, utenti aziendali esperti di dati, ingegneri dei dati e altri lavoratori che non hanno un background formale di scienza dei dati ma sono esperti nel dominio di analisi.
Questa guida completa alla scienza dei dati spiega approfonditamente cosa studia questa scienza, perché è importante per le organizzazioni, come funziona, i vantaggi aziendali che offre e le sfide che pone. Troverai anche una panoramica delle applicazioni, degli strumenti e delle tecniche di data science, oltre a informazioni su ciò che fanno i data scientist e sulle competenze di cui hanno bisogno. In tutta la guida sono presenti collegamenti ipertestuali ad articoli TechTarget correlati che approfondiscono gli argomenti trattati qui e offrono informazioni dettagliate e consigli di esperti sulle iniziative di scienza dei dati.
Perché la scienza dei dati è importante?
La scienza dei dati gioca un ruolo importante praticamente in tutti gli aspetti delle operazioni e delle strategie aziendali. Ad esempio, fornisce informazioni sui clienti che aiutano le aziende a creare campagne di marketing più efficaci e pubblicità mirata per aumentare le vendite dei prodotti. Aiuta a gestire i rischi finanziari, rilevare transazioni fraudolente e prevenire guasti alle apparecchiature negli impianti di produzione e in altri contesti industriali. Aiuta a bloccare gli attacchi informatici e altre minacce alla sicurezza nei sistemi IT.
Da un punto di vista operativo, le iniziative di data science possono ottimizzare la gestione delle catene di approvvigionamento, delle scorte di prodotti, delle reti di distribuzione e del servizio clienti.
A un livello più fondamentale, indicano la strada verso una maggiore efficienza e costi ridotti. La scienza dei dati consente inoltre alle aziende di creare piani aziendali e strategie basati su un'analisi informata del comportamento dei clienti, delle tendenze del mercato e della concorrenza. Senza di essa, le aziende potrebbero perdere opportunità e prendere decisioni errate.
La scienza dei dati è vitale anche in aree al di là delle normali operazioni aziendali. Nel settore sanitario, i suoi usi includono la diagnosi di condizioni mediche, l'analisi delle immagini, la pianificazione del trattamento e la ricerca medica. Le istituzioni accademiche utilizzano la scienza dei dati per monitorare le prestazioni degli studenti e migliorare il loro marketing per i potenziali studenti. Le squadre sportive analizzano le prestazioni dei giocatori e pianificano le strategie di gioco tramite la scienza dei dati. Anche le agenzie governative e le organizzazioni di politica pubblica sono grandi utenti.
Come hai potuto notare la scienza dei dati non è una scienza a se stante , ma viene applicata in qualsiasi capo
Processo e ciclo di vita della scienza dei dati :
I progetti di scienza dei dati prevedono una serie di fasi di raccolta e analisi dei dati. In un articolo che descrive il processo di data science , Donald Farmer, principale della società di consulenza analitica TreeHive Strategy, ha delineato questi sei passaggi principali:
Identificare un'ipotesi relativa al dominio da verificare.
Raccogli i dati e preparali per l'analisi.
Sperimenta diversi modelli analitici.
Scegli il modello migliore ed eseguilo sui dati.
Presentare i risultati ai dirigenti aziendali.
Distribuire il modello per l'uso continuo con dati aggiornati.
Farmer ha affermato che il processo rende la scienza dei dati uno sforzo scientifico. Tuttavia, ha scritto che nelle imprese aziendali, il lavoro di scienza dei dati "sarà sempre più utilmente focalizzato su semplici realtà commerciali" che possono avvantaggiare l'azienda. Di conseguenza, ha aggiunto, i data scientist dovrebbero collaborare con le parti interessate del business su progetti durante tutto il ciclo di vita dell'analisi.
Il processo di data science include questi sei passaggi.
Vantaggi della scienza dei dati
In un webinar dell'ottobre 2020 organizzato dall'Institute for Applied Computational Science dell'Università di Harvard, Jessica Stauth, amministratore delegato per la scienza dei dati nell'unità Fidelity Labs di Fidelity Investments, ha affermato che :
Esiste "una relazione molto chiara" tra il lavoro di scienza dei dati e i risultati aziendali.
Ha citato potenziali vantaggi aziendali che includono ROI più elevato, crescita delle vendite, operazioni più efficienti, time to market più rapido e maggiore coinvolgimento e soddisfazione dei clienti.
In generale, uno dei maggiori vantaggi della scienza dei dati è potenziare e facilitare un migliore processo decisionale. Le organizzazioni che vi investono possono tenere conto di prove quantificabili basate sui dati nelle loro decisioni aziendali. Idealmente, tali decisioni basate sui dati porteranno a prestazioni aziendali migliori, risparmi sui costi e processi e flussi di lavoro più fluidi.
I vantaggi aziendali specifici della scienza dei dati variano a seconda dell'azienda e del settore. Nelle organizzazioni rivolte ai clienti, ad esempio, la scienza dei dati aiuta a identificare e perfezionare il pubblico di destinazione. I reparti marketing e vendite possono estrarre i dati dei clienti per migliorare i tassi di conversione e creare campagne di marketing personalizzate e offerte promozionali che generano vendite più elevate.
In altri casi, i vantaggi includono una riduzione delle frodi, una gestione del rischio più efficace , un commercio finanziario più redditizio, un aumento dei tempi di attività della produzione, migliori prestazioni della catena di approvvigionamento , protezioni della sicurezza informatica più forti e migliori risultati per i pazienti. La scienza dei dati consente anche l'analisi in tempo reale dei dati man mano che vengono generati.
Applicazioni della scienza dei dati e casi d'uso
Le applicazioni comuni in cui i data scientist si impegnano includono la modellazione predittiva , il riconoscimento di modelli, il rilevamento di anomalie, la classificazione, la categorizzazione e l'analisi del sentimento, nonché lo sviluppo di tecnologie come motori di raccomandazione, sistemi di personalizzazione e strumenti di intelligenza artificiale (AI) come chatbot e veicoli autonomi.
Tali applicazioni guidano un'ampia varietà di casi d'uso nelle organizzazioni, inclusi i seguenti:
analisi dei clienti
intercettazione di una frode
gestione del rischio
commercio di azioni
pubblicità mirata
personalizzazione del sito web
assistenza clienti
manutenzione predittiva
logistica e gestione della filiera
riconoscimento delle immagini
riconoscimento vocale
elaborazione del linguaggio naturale
sicurezza informatica
diagnosi medica
Sfide nella scienza dei dati
La scienza dei dati è intrinsecamente impegnativa a causa della natura avanzata dell'analisi che implica. Le grandi quantità di dati che vengono generalmente analizzate aumentano la complessità e aumentano il tempo necessario per completare i progetti. Inoltre, i data scientist lavorano spesso con enormi quantità di big data che possono contenere una varietà di dati strutturati, non strutturati e semistrutturati, complicando ulteriormente il processo di analisi.
Questi ostacoli sono tra le sfide affrontate dai team di data science.
Una delle maggiori sfide è eliminare le distorsioni nei set di dati e nelle applicazioni di analisi. Ciò include problemi con i dati sottostanti stessi e quelli che i data scientist integrano inconsciamente in algoritmi e modelli predittivi. Tali pregiudizi possono distorcere i risultati dell'analisi se non vengono identificati e affrontati, creando risultati errati che portano a decisioni aziendali fuorvianti. Peggio ancora, possono avere un impatto dannoso su gruppi di persone, ad esempio nel caso di pregiudizi razziali nei sistemi di intelligenza artificiale .
Trovare i dati giusti da analizzare è un'altra sfida. In un rapporto pubblicato a gennaio 2020, l'analista di Gartner Afraz Jaffri e quattro dei suoi colleghi della società di consulenza hanno anche citato la scelta degli strumenti giusti, la gestione delle implementazioni di modelli analitici, la quantificazione del valore aziendale e il mantenimento dei modelli come ostacoli significativi.
Cosa fanno i data scientist e di quali competenze hanno bisogno?
Il ruolo principale dei data scientist è analizzare i dati, spesso in grandi quantità, nel tentativo di trovare informazioni utili che possono essere condivise con dirigenti aziendali, dirigenti aziendali e lavoratori, nonché funzionari governativi, medici, ricercatori e molti altri. I data scientist creano anche strumenti e tecnologie di intelligenza artificiale per l'implementazione in varie applicazioni. In entrambi i casi, raccolgono dati, sviluppano modelli analitici e quindi addestrano, testano ed eseguono i modelli rispetto ai dati.
Di conseguenza, i data scientist devono possedere una combinazione di preparazione dei dati , data mining, modellazione predittiva, apprendimento automatico, analisi statistica e abilità matematiche, nonché esperienza con algoritmi e codifica, ad esempio abilità di programmazione in linguaggi come Python, R e SQL. Molti hanno anche il compito di creare visualizzazioni di dati, dashboard e report per illustrare i risultati dell'analisi.
I data scientist hanno una varietà di skill professionali e personali.
Oltre a quelle competenze tecniche, i data scientist richiedono una serie di soft-skill , tra cui conoscenza aziendale, curiosità e pensiero critico. Un'altra abilità importante è la capacità di presentare informazioni dettagliate sui dati e spiegarne il significato in un modo facilmente comprensibile per gli utenti aziendali.
Team della scienza dei dati
Molte organizzazioni hanno creato un team separato, o più team, per gestire le attività di data science. Come spiega la scrittrice di tecnologia Mary K. Pratt in un articolo su come creare un team di data science , in un team efficace c'è di più degli stessi data scientist. Può anche includere le seguenti posizioni:
Ingegnere dei dati. Le responsabilità includono la creazione di pipeline di dati e l'assistenza nella preparazione dei dati e nella distribuzione dei modelli, lavorando a stretto contatto con i data scientist .
Analista dati. Questa è una posizione di livello inferiore per i professionisti dell'analisi che non hanno il livello di esperienza o le competenze avanzate dei data scientist.
Ingegnere di apprendimento automatico. Questo lavoro orientato alla programmazione prevede lo sviluppo dei modelli di apprendimento automatico necessari per le applicazioni di scienza dei dati.
Sviluppatore di visualizzazione dati. Questa persona collabora con i data scientist per creare visualizzazioni e dashboard utilizzati per presentare i risultati di analisi agli utenti aziendali.
Traduttore di dati. Chiamato anche traduttore di analisi, è un ruolo emergente che funge da collegamento con le unità aziendali e aiuta a pianificare progetti e comunicare i risultati.
Architetto dei dati. Un architetto di dati progetta e supervisiona l'implementazione dei sistemi sottostanti utilizzati per archiviare e gestire i dati per usi analitici.
Il team è comunemente gestito da un direttore della scienza dei dati, un responsabile della scienza dei dati o uno scienziato dei dati principale, che può riferire al chief data officer, al chief analytics officer o al vice president of analytics; chief data scientist è un'altra posizione dirigenziale emersa in alcune organizzazioni. Alcuni team di data science sono centralizzati a livello aziendale, mentre altri sono decentralizzati in singole business unit o hanno una struttura ibrida che combina questi due approcci.
Business intelligence vs scienza dei dati
Come la scienza dei dati, la business intelligence di base e il reporting mirano a guidare il processo decisionale operativo e la pianificazione strategica. Ma la BI si concentra principalmente sull'analisi descrittiva:
cosa è successo o sta accadendo ora a cui un'organizzazione dovrebbe rispondere o affrontare?
Gli analisti BI e gli utenti BI self-service lavorano principalmente con dati di transazione strutturati estratti dai sistemi operativi, ripuliti e trasformati per renderli coerenti e caricati in un data warehouse o data mart per l'analisi. Il monitoraggio delle prestazioni, dei processi e delle tendenze aziendali è un caso d'uso comune della BI.
La scienza dei dati coinvolge applicazioni di analisi più avanzate. Oltre all'analisi descrittiva, comprende l'analisi predittiva che prevede comportamenti ed eventi futuri, nonché l'analisi prescrittiva, che cerca di determinare la migliore linea d'azione da intraprendere in merito al problema analizzato.
I tipi di dati non strutturati o semistrutturati, ad esempio file di registro, dati dei sensori e testo, sono comuni nelle applicazioni di data science, insieme ai dati strutturati. Inoltre, i data scientist spesso desiderano accedere ai dati grezzi prima che siano stati ripuliti e consolidati in modo da poter analizzare l'intero set di dati o filtrarlo e prepararlo per usi di analisi specifici. Di conseguenza, i dati grezzi possono essere archiviati in un data lake basato su Hadoop, un servizio di archiviazione di oggetti cloud, un database NoSQL o un'altra piattaforma di big data.
Tecnologie, tecniche e metodi della scienza dei dati
La scienza dei dati si basa molto sugli algoritmi di apprendimento automatico . L'apprendimento automatico è una forma di analisi avanzata in cui gli algoritmi apprendono i set di dati e quindi cercano modelli, anomalie o approfondimenti in essi. Utilizza una combinazione di metodi di apprendimento supervisionato, non supervisionato, semisupervisionato e di rinforzo, con algoritmi che ottengono diversi livelli di formazione e supervisione da parte dei data scientist.
C'è anche il deep learning , una sottobranca più avanzata dell'apprendimento automatico che utilizza principalmente reti neurali artificiali per analizzare grandi insiemi di dati senza etichetta.
I modelli predittivi sono un'altra tecnologia di base della scienza dei dati. I data scientist li creano eseguendo algoritmi di machine learning, data mining o statistici su set di dati per prevedere scenari aziendali e probabili risultati o comportamenti. Nella modellazione predittiva e in altre applicazioni di analisi avanzate, il campionamento dei dati viene spesso eseguito per analizzare un sottoinsieme rappresentativo di dati, una tecnica di data mining progettata per rendere il processo di analisi più gestibile e dispendioso in termini di tempo.
Le tecniche statistiche e analitiche comuni utilizzate nei progetti di scienza dei dati includono quanto segue:
classificazione, che separa gli elementi di un set di dati in diverse categorie;
regressione, che traccia i valori ottimali delle relative variabili di dati in una linea o in un piano; e
clustering, che raggruppa i punti dati con un'affinità o attributi condivisi.
I tre tipi di tecniche statistiche e analitiche più utilizzate dai data scientist
Strumenti e piattaforme per la scienza dei dati :
Sono disponibili numerosi strumenti che i data scientist possono utilizzare nel processo di analisi, comprese opzioni commerciali e open source:
piattaforme dati e motori di analisi, come database Spark, Hadoop e NoSQL;
linguaggi di programmazione, come Python, R, Julia, Scala e SQL;
strumenti di analisi statistica come SAS e IBM SPSS;
piattaforme e librerie di machine learning, tra cui TensorFlow, Weka, Scikit-learn, Keras e PyTorch;
Jupyter Notebook, un'applicazione web per la condivisione di documenti con codice, equazioni e altre informazioni; e
strumenti e librerie di visualizzazione dei dati, come Tableau, D3.js e Matplotlib.
Inoltre, i fornitori di software offrono un insieme diversificato di piattaforme di data science con caratteristiche e funzionalità diverse. Ciò include piattaforme di analisi per data scientist esperti, piattaforme di machine learning automatizzate che possono essere utilizzate anche dai citizen data scientist e hub di flusso di lavoro e collaborazione per i team di data science. L'elenco dei fornitori include Alteryx, AWS, Databricks, Dataiku, DataRobot, Domino Data Lab, Google, H2O.ai, IBM, Knime, MathWorks, Microsoft, RapidMiner, SAS Institute, Tibco Software e altri.
Carriere nella scienza dei dati
Con l'aumento della quantità di dati generati e raccolti dalle aziende, aumenta anche il loro bisogno di scienziati dei dati. Ciò ha suscitato una forte domanda di lavoratori con esperienza o formazione nella scienza dei dati, rendendo difficile per alcune aziende occupare i posti di lavoro disponibili.
In un sondaggio condotto nel 2020 dalla sussidiaria Kaggle di Google, che gestisce una community online per data scientist, il 51% dei 2.675 intervistati impiegati come data scientist ha dichiarato di avere un master di qualche tipo, mentre il 24% aveva una laurea e il 17% aveva un dottorato. Molte università ora offrono corsi di laurea e di laurea in scienza dei dati, che possono essere un percorso diretto verso il lavoro .
Un percorso di carriera alternativo prevede che le persone che lavorano in altri ruoli vengano riqualificate come data scientist, un'opzione popolare per le organizzazioni che hanno difficoltà a trovare quelle esperte. Oltre ai programmi accademici, i potenziali data scientist possono prendere parte a bootcamp di scienza dei dati e corsi online su siti Web didattici come Coursera e Udemy.
Quanto si guadagna nella scienza dei dati ?
A dicembre 2021, il sito di ricerca di lavoro e recensioni aziendali di Glassdoor elencava uno stipendio base medio di $ 113.000 per i data scientist negli Stati Uniti, con un intervallo compreso tra $ 83.000 e $ 154.000; lo stipendio medio per un data scientist senior era di $ 134.000. Sul sito Indeed job, gli stipendi medi erano di $ 123.000 per un data scientist e $ 153.000 per un data scientist senior.
In che modo le industrie si affidano alla scienza dei dati
Prima di diventare essi stessi fornitori di tecnologia, Google e Amazon sono stati i primi utenti della scienza dei dati e dell'analisi dei big data per applicazioni interne, insieme ad altre società di Internet e di e-commerce come Facebook, Yahoo ed eBay. Ora, la scienza dei dati è diffusa in organizzazioni di ogni tipo. Ecco alcuni esempi di come viene utilizzato in diversi settori:
Divertimento. La scienza dei dati consente ai servizi di streaming di monitorare e analizzare ciò che gli utenti guardano, il che aiuta a determinare i nuovi programmi TV e film che producono. Gli algoritmi basati sui dati vengono utilizzati anche per creare consigli personalizzati basati sulla cronologia di visualizzazione di un utente.
Servizi finanziari. Le banche e le società di carte di credito estraggono e analizzano i dati per rilevare transazioni fraudolente, gestire i rischi finanziari su prestiti e linee di credito e valutare i portafogli dei clienti per identificare opportunità di upselling.
Assistenza sanitaria. Gli ospedali e altri fornitori di servizi sanitari utilizzano modelli di apprendimento automatico e componenti aggiuntivi per la scienza dei dati per automatizzare l'analisi dei raggi X e aiutare i medici nella diagnosi delle malattie e nella pianificazione dei trattamenti in base ai precedenti esiti dei pazienti.
Produzione. L'uso della scienza dei dati presso i produttori include l'ottimizzazione della gestione e della distribuzione della catena di approvvigionamento, oltre alla manutenzione predittiva per rilevare potenziali guasti alle apparecchiature negli impianti prima che si verifichino.
Al dettaglio. I rivenditori analizzano il comportamento dei clienti e i modelli di acquisto per ottenere consigli personalizzati sui prodotti e pubblicità, marketing e promozioni mirate. La scienza dei dati li aiuta anche a gestire gli inventari dei prodotti e le loro catene di approvvigionamento per mantenere gli articoli in magazzino.
Trasporto. Le società di consegna, i corrieri e i fornitori di servizi logistici utilizzano la scienza dei dati per ottimizzare i percorsi e gli orari di consegna, nonché le migliori modalità di trasporto per le spedizioni.
Viaggiare. La scienza dei dati aiuta le compagnie aeree nella pianificazione dei voli per ottimizzare le rotte, la programmazione dell'equipaggio e il carico dei passeggeri. Gli algoritmi determinano anche prezzi variabili per voli e camere d'albergo.
Altri usi della scienza dei dati, in aree come la sicurezza informatica, il servizio clienti e la gestione dei processi aziendali, sono comuni in diversi settori. Un esempio di quest'ultimo è l'assistenza nel reclutamento dei dipendenti e nell'acquisizione di talenti : Google Analytics può identificare le caratteristiche comuni dei migliori risultati, misurare l'efficacia degli annunci di lavoro e fornire altre informazioni per aiutare nel processo di assunzione.
Queste sono sei applicazioni comuni per i data scientist.
Storia della scienza dei dati
In un articolo pubblicato nel 1962, lo statistico americano John W. Tukey scrisse che l'analisi dei dati "è intrinsecamente una scienza empirica". Quattro anni dopo, Peter Naur, un pioniere della programmazione software danese, propose la datalogy - "la scienza dei dati e dei processi di dati" - come alternativa all'informatica . In seguito ha usato il termine scienza dei dati nel suo libro del 1974, Concise Survey of Computer Methods , descrivendolo come "la scienza della gestione dei dati" - anche se sempre nel contesto dell'informatica, non dell'analisi.
Nel 1996, la Federazione internazionale delle società di classificazione ha incluso la scienza dei dati nel nome della conferenza che ha tenuto quell'anno. In una presentazione all'evento, lo statistico giapponese Chikio Hayashi ha affermato che la scienza dei dati comprende tre fasi: "progettazione dei dati, raccolta di dati e analisi sui dati". Un anno dopo, CF Jeff Wu, un professore universitario statunitense nato a Taiwan, propose che le statistiche venissero rinominate data science e che gli statistici fossero chiamati data scientist
L'informatico americano William S. Cleveland ha delineato la scienza dei dati come una disciplina analitica completa in un articolo intitolato "Data Science: An Action Plan for Expanding the Technical Areas of Statistics", pubblicato nel 2001 sull'International Statistical Review. Nei prossimi due anni sono state lanciate due riviste di ricerca incentrate sulla scienza dei dati.
Il primo utilizzo di data scientist come titolo professionale è attribuito a DJ Patil e Jeff Hammerbacher, che hanno deciso insieme di adottarlo nel 2008 mentre lavoravano rispettivamente presso LinkedIn e Facebook. Nel 2012, un articolo della Harvard Business Review scritto insieme a Patil e all'accademico americano Thomas Davenport ha definito il data scientist "il lavoro più sexy del 21 ° secolo". Da allora, la scienza dei dati ha continuato a crescere in importanza, alimentata in parte dal maggiore utilizzo dell'IA e dell'apprendimento automatico nelle organizzazioni.
Futuro della scienza dei dati
Poiché la scienza dei dati diventa ancora più diffusa nelle organizzazioni, ci si aspetta che i citizen data scientist assumano un ruolo più importante nel processo di analisi. Nel suo rapporto Magic Quadrant del 2022 sulle piattaforme di data science e machine learning, Gartner ha affermato che la necessità di supportare un'ampia gamma di utenti di data science è "sempre più la norma". Un probabile risultato è un maggiore utilizzo dell'apprendimento automatico automatizzato, anche da parte di esperti di dati che cercano di semplificare e accelerare il proprio lavoro.
Gartner ha anche citato l'emergere delle operazioni di apprendimento automatico (MLOPs), un concetto che adatta le pratiche DevOps dallo sviluppo del software nel tentativo di gestire meglio lo sviluppo, l'implementazione e la manutenzione dei modelli di apprendimento automatico. I metodi e gli strumenti di MLOps mirano a creare flussi di lavoro standardizzati in modo che i modelli possano essere programmati, costruiti e messi in produzione in modo più efficiente.
Altre tendenze che influenzeranno il lavoro dei data scientist in futuro includono la crescente spinta per un'IA spiegabile , che fornisce informazioni per aiutare le persone a capire come funzionano l'IA e i modelli di apprendimento automatico e quanto fidarsi delle loro scoperte nel prendere decisioni, e un'attenzione correlata su principi di IA responsabile progettati per garantire che le tecnologie di IA siano eque, imparziali e trasparenti.
.png)
