In questa sezione andremmo a vedere i principali algoritmi di Machine learning, come funzionano e come implentarli in python.

La prima cosa che devi fare prima di risolvere un problema è definire esattamente di cosa si tratta. Devi essere in grado di tradurre le domande sui dati in qualcosa di fruibile. Riceverai spesso input ambigui dalle persone che hanno problemi. Dovrai sviluppare l'intuizione per trasformare input scarsi in output utilizzabili e per porre le domande che nessun altro sta ponendo. Supponiamo che tu stia risolvendo un problema per il Manager Sales della tua azienda. Dovresti iniziare comprendendo i loro obiettivi e il perché alla base delle loro domande sui dati. Prima di iniziare a pensare alle soluzioni, ti consigliamo di lavorare con loro per definire chiaramente il problema. Un ottimo modo per farlo è porre le domande giuste. Dovresti quindi capire come si presenta il processo di vendita e chi sono i clienti. Hai bisogno di quanto più contesto possibile affinché i tuoi numeri diventino approfondimenti. Dovresti porre domande come le seguenti: Chi sono i clienti? Perché stanno comprando il nostro prodotto? Come facciamo a prevedere se un cliente acquisterà il nostro prodotto? Cosa c'è di diverso dai segmenti che stanno andando bene e quelli che stanno andando al di sotto delle aspettative? Quanti soldi perderemo se non vendiamo attivamente il prodotto a questi gruppi? In risposta alle tue domande, il Manager Sales potrebbe rivelare di voler capire perché alcuni segmenti di clienti hanno acquistato meno del previsto. Il loro obiettivo finale potrebbe essere quello di determinare se continuare a investire in questi segmenti o privarli delle priorità. Ti consigliamo di adattare la tua analisi a quel problema e portare alla luce intuizioni che possono supportare entrambe le conclusioni. È importante che alla fine di questa fase tu abbia tutte le informazioni e il contesto necessari per risolvere questo problema.

Un analista di dati in genere raccoglie dati per identificare le tendenze che aiutano i leader aziendali a prendere decisioni strategiche. La disciplina è focalizzata sull'esecuzione di analisi statistiche per aiutare a rispondere a domande e risolvere problemi. Un analista di dati utilizza strumenti come SQL per eseguire query su database relazionali. Un analista di dati può anche pulire i dati o metterli in un formato utilizzabile, scartando informazioni irrilevanti o inutilizzabili o cercando di capire come gestire i dati mancanti . Un analista di dati in genere lavora come parte di un team interdisciplinare per determinare gli obiettivi dell'organizzazione e quindi gestire il processo di estrazione, pulizia e analisi dei dati. L'analista di dati utilizza linguaggi di programmazione come R e SAS, strumenti di visualizzazione come Power BI e Tableau e capacità di comunicazione per sviluppare e trasmettere i propri risultati.

L'idea di 'una macchina che pensa' risale all'antica Grecia. Ma dall'avvento dell'informatica elettronica (e relativamente ad alcuni degli argomenti discussi in questo articolo) importanti eventi e pietre miliari nell'evoluzione dell'intelligenza artificiale includono quanto segue: 1950: Alan Turing pubblica Computing Machinery and Intelligence. Nel giornale, Turing, famoso per aver infranto il codice ENIGMA dei nazisti durante la seconda guerra mondiale, propone di rispondere alla domanda "possono pensare le macchine?" e introduce il Test di Turing per determinare se un computer può dimostrare la stessa intelligenza (oi risultati della stessa intelligenza) di un umano. Il valore del test di Turing è stato dibattuto da allora. 1956: John McCarthy conia il termine "intelligenza artificiale" alla prima conferenza sull'intelligenza artificiale al Dartmouth College. (McCarthy avrebbe continuato a inventare il linguaggio Lisp.) Più tardi quell'anno, Allen Newell, JC Shaw e Herbert Simon creano il Logic Theorist, il primo software di intelligenza artificiale in esecuzione. 1967: Frank Rosenblatt costruisce il Mark 1 Perceptron, il primo computer basato su una rete neurale che "impara" attraverso tentativi ed errori. Appena un anno dopo, Marvin Minsky e Seymour Papert pubblicano un libro intitolato Perceptrons , che diventa sia il lavoro di riferimento sulle reti neurali sia, almeno per un po', un argomento contro i futuri progetti di ricerca sulle reti neurali. Anni '80: le reti neurali che utilizzano un algoritmo di backpropagation per addestrarsi diventano ampiamente utilizzate nelle applicazioni di intelligenza artificiale. 1997: Deep Blue di IBM batte l'allora campione del mondo di scacchi Garry Kasparov, in una partita di scacchi (e rivincita). 2011: IBM Watson batte i campioni Ken Jennings e Brad Rutter a Jeopardy! 2015: il supercomputer Minwa di Baidu utilizza un tipo speciale di rete neurale profonda chiamata rete neurale convoluzionale per identificare e classificare le immagini con un tasso di precisione più elevato rispetto all'essere umano medio. 2016: il programma AlphaGo di DeepMind, alimentato da una rete neurale profonda, batte Lee Sodol, il giocatore campione del mondo di Go, in una partita di cinque partite. La vittoria è significativa dato l'enorme numero di mosse possibili man mano che il gioco procede (oltre 14,5 trilioni dopo appena quattro mosse!). Successivamente, Google ha acquistato DeepMind per 400 milioni di dollari.

Di solito, i data scientist provengono da diversi background educativi e di esperienza lavorativa, la maggior parte dovrebbe essere competente o, in un caso ideale, essere maestri in quattro aree chiave. Conoscenza del dominio Abilità matematiche Informatica Capacità di comunicazione 1) Conoscenza del dominio La maggior parte delle persone pensa che la conoscenza del dominio non sia importante nella scienza dei dati, ma è molto importante. Facciamo un esempio: se vuoi essere uno scienziato dei dati nel settore bancario e hai molte più informazioni sul settore bancario come il commercio di azioni, conosci la finanza, ecc., questo sarà molto vantaggioso per te e il la banca stessa darà più preferenza a questo tipo di richiedenti rispetto a un normale richiedente. 2) Abilità matematiche Algebra lineare, calcolo multivariabile e tecnica di ottimizzazione, queste tre cose sono molto importanti in quanto ci aiutano a comprendere vari algoritmi di apprendimento automatico che svolgono un ruolo importante nella scienza dei dati. Allo stesso modo, la comprensione delle statistiche è molto significativa in quanto fa parte dell'analisi dei dati. La probabilità è anche significativa per le statistiche ed è considerata un prerequisito per padroneggiare l'apprendimento automatico. 3) Informatica C'è molto altro da imparare in informatica. Ma quando si tratta del linguaggio di programmazione una delle domande principali che sorgono è: " Ci sono vari motivi per scegliere quale lingua per Data Science in quanto entrambi hanno un ricco set di librerie per implementare il complesso algoritmo di machine learning, visualizzazione e pulizia dei dati. " ( Python , R ) Ma la nostra raccomandazione è che bisogna avere conoscenza di entrambi i linguaggi di programmazione per diventare un data scientist di successo. Oltre al linguaggio di programmazione le altre competenze informatiche che devi imparare sono: Nozioni di base sulla struttura dei dati e sull'algoritmo SQL MongoDB Linux Git Calcolo distribuito Machine Learning e Deep Learning, ecc. 4) Capacità di comunicazione Comprende sia la comunicazione scritta che quella verbale. Quello che succede in un progetto di data science è che dopo aver tratto le conclusioni dall'analisi, il progetto deve essere comunicato agli altri . A volte questo può essere un rapporto che invii al tuo capo o al tuo team al lavoro. Altre volte può essere un post sul blog. Spesso può essere una presentazione a un gruppo di colleghi. Indipendentemente da ciò, un progetto di data science implica sempre una qualche forma di comunicazione dei risultati dei progetti. Quindi è necessario avere capacità di comunicazione per diventare un data scientist. Risorse di apprendimento Ci sono molte risorse e video disponibili online ed è fonte di confusione per qualcuno da dove iniziare a imparare tutti i concetti. Inizialmente, come principiante, se vieni sopraffatto da così tanti concetti, non aver paura e smetti di imparare. Abbi pazienza, esplora e mantieni il tuo impegno. Non avere fretta, gli argomenti sono tanti, inizia da semplici video su youtube e fai crescere in te il desiderio di padroneggiare queste 4 aree !!

Le abilità matematiche sono molto importanti in quanto ci aiutano a comprendere vari algoritmi di apprendimento automatico che svolgono un ruolo importante nella scienza dei dati. Parte 1: Algebra lineare Geometria Analitica Matrice Calcolo vettoriale Ottimizzazione Parte 2: Regressione Riduzione della dimensionalità Stima della densità Classificazione

La probabilità è anche significativa per le statistiche ed è considerata un prerequisito per padroneggiare l'apprendimento automatico. Introduzione alla probabilità Variabile casuale 1D La funzione di una variabile casuale Distribuzione di probabilità congiunta Distribuzione discreta Binomiale Bernoulli geometrica ecc Distribuzione continua Uniforme esponenziale Gamma Distribuzione normale

Il ruolo e le responsabilità di un analista di dati o di uno scienziato dei dati possono variare a seconda del settore e del luogo in cui lavorano. La giornata di un analista di dati può implicare capire come o perché è successo qualcosa, ad esempio perché le vendite sono diminuite, o creare dashboard che supportano i KPI. I data scientist, d'altra parte, sono più interessati a ciò che accadrà o potrebbe accadere, utilizzando tecniche di modellazione dei dati e framework di big data come Spark. Potrebbe essere utile leggere attentamente le descrizioni dei lavori in modo da avere una migliore comprensione delle aspettative di un'azienda. In alcuni casi, le offerte di lavoro per i data scientist possono effettivamente comportare le responsabilità di un analista di dati e viceversa. Per avere un'idea migliore delle differenze tra analisti di Analisti dei dati e scienziati di dati, ecco alcune delle responsabilità lavorative comuni Analisti di dati: Interrogazione dati tramite SQL. Analisi e previsione dei dati tramite Excel. Creazione di dashboard utilizzando software di business intelligence. Esecuzione di vari tipi di analisi, tra cui analisi descrittive, diagnostiche o prescrittive. Scienziati dei dati: Un data scientist può dedicare fino al 60% del proprio tempo a pulire i dati. Data mining tramite API o creazione di pipeline ETL. Pulizia dei dati utilizzando linguaggi di programmazione (es. Python o R). Analisi statistica utilizzando algoritmi di apprendimento automatico come elaborazione del linguaggio naturale, regressione logistica, kNN, Random Forest o aumento del gradiente. Creazione di tecniche di programmazione e automazione, come le librerie, che semplificano i processi quotidiani utilizzando strumenti come Tensorflow per sviluppare e addestrare modelli di machine learning. Sviluppo di infrastrutture per big data utilizzando Hadoop e Spark e strumenti come Pig e Hive. Ogni ruolo analizza i dati e acquisisce informazioni utili per prendere decisioni aziendali. Gli analisti dei dati utilizzano SQL, software di business intelligence e SAS, un software statistico, mentre gli scienziati dei dati utilizzano Python, JAVA e l'apprendimento automatico per dare un senso ai dati.

La comprensione delle statistica è molto significativa in quanto fa parte dell'analisi dei dati. Introduzione alla statistica Descrizione dei dati Campioni casuali Distribuzione del campionamento Stima dei parametri Test di ipotesi ANOVA Ingegneria dell'affidabilità Processo stocastico Simulazione computerizzata Progettazione di esperimenti Regressione lineare semplice Correlazione Regressione multipla Statistiche non parametriche Prova del segno Il Wilcoxon Signed-Rank Test Il test della somma dei ranghi di Wilcoxon Il test di Kruskal-Wallis Controllo di qualità statistico Nozioni di base sui grafici

C'è una certa sovrapposizione nell'analisi tra le competenze degli scienziati dei dati e le abilità degli analisti dei dati, ma le differenze principali sono che gli scienziati dei dati in genere utilizzano linguaggi di programmazione come Python e R, mentre gli analisti dei dati possono utilizzare SQL o Excel per eseguire query, pulire o dare un senso ai dati . Un'altra differenza sono le tecniche o gli strumenti che utilizzano per modellare i dati: gli analisti dei dati in genere utilizzano Excel e gli scienziati dei dati utilizzano l'apprendimento automatico. È importante notare che alcuni analisti avanzati possono utilizzare linguaggi di programmazione o avere familiarità con i big data. Per comprendere meglio le differenze tra analisti di dati e scienziati di dati, ecco alcune delle abilità lavorative comuni di analisti di dati e scienziati di dati.

Crea fantastiche visualizzazioni dei dati. Un ottimo modo per vedere il potere della codifica! Excel VBA BI (Business Intelligence): Tableau Power BI Qlik View Qlik Sense

Il machine learning è una delle parti più vitali della scienza dei dati e l'argomento di ricerca più caldo tra i ricercatori, quindi ogni anno vengono fatti nuovi progressi in questo. Almeno uno ha bisogno di capire algoritmi di base del supervisionato e non supervisionato apprendimento . Ci sono più librerie disponibili in Python e R per l'implementazione di questi algoritmi. Introduzione: Come funziona il modello Esplorazione dei dati di base Primo modello ML Convalida del modello Underfitting & Overfitting Foreste casuali scikit-learn Tensorflow ( Certificazione ) Intermedio: Gestione dei valori mancanti Gestione delle variabili categoriali Condutture Convalida incrociata XGBoost Perdita di dati Conoscenza almeno del 60% degli algoritmi di ML Creare Modelli Personalizzati

Il Feature Engineering è il modo più efficace per migliorare i tuoi modelli. Baseline Model Categorical Encodings Feature Generation Feature Selection

Testo Lezione : Gli scienziati dei dati raccolgono e analizzano grandi insiemi di dati strutturati e non strutturati. Il ruolo di uno scienziato dei dati combina : Informatica. Statistica. Matematica. Analizzano, elaborano e modellano i dati, quindi interpretano i risultati per creare piani attuabili per aziende e altre organizzazioni. I data scientist sono esperti analitici che utilizzano le proprie competenze sia in ambito tecnologico che in scienze sociali per trovare tendenze e gestire i dati. Usano la conoscenza del settore, la comprensione contestuale, lo scetticismo sui presupposti esistenti per scoprire soluzioni alle sfide aziendali. Il lavoro di un data scientist in genere consiste nel dare un senso a dati disordinati e non strutturati, da fonti come dispositivi intelligenti, feed di social media ed e-mail che non si adattano perfettamente a un database. Le competenze tecniche non sono l'unica cosa che conta, tuttavia. Gli scienziati dei dati spesso esistono in contesti aziendali e hanno il compito di comunicare idee complesse e prendere decisioni organizzative basate sui dati. Di conseguenza, è molto importante per loro essere comunicatori efficaci, leader e membri del team, nonché pensatori analitici di alto livello. Data scientist e data manager esperti hanno il compito di sviluppare le migliori pratiche di un'azienda, dalla pulizia all'elaborazione e all'archiviazione dei dati. Funzionano in modo incrociato con altri team in tutta la loro organizzazione, come marketing, successo dei clienti e operazioni. Sono molto ricercati nell'odierna economia pesante di dati e tecnologia, e i loro stipendi e la crescita del lavoro lo riflettono chiaramente.

Gli scienziati dei dati non devono solo comprendere i linguaggi di programmazione , la gestione dei database e come trasporre i dati nelle visualizzazioni: dovrebbero essere naturalmente curiosi del mondo circostante, ma attraverso una lente analitica. Possedendo tratti della personalità che ricordano i dipartimenti di garanzia della qualità, gli scienziati dei dati possono essere meticolosi mentre esaminano grandi quantità di dati e cercano modelli e risposte. Sono anche creativi nella creazione di nuovi algoritmi per la scansione dei dati o nell'ideazione di magazzini di database organizzati. In generale, i professionisti nel campo della scienza dei dati devono sapere come comunicare in diverse modalità, ad esempio con il proprio team, le parti interessate e i clienti. Potrebbero esserci molti vicoli ciechi, svolte sbagliate o strade sconnesse, ma gli scienziati dei dati dovrebbero possedere determinazione e grinta per rimanere a galla con pazienza nella loro ricerca. “I data scientist di successo hanno un solido background tecnico, ma i migliori data scientist hanno anche una grande intuizione sui dati. Le caratteristiche sono significative e riflettono ciò che secondo te dovrebbero significare? Dato il modo in cui i tuoi dati sono distribuiti, quale modello dovresti usare? Cosa significa se manca un valore e cosa dovresti fare con esso? I migliori data scientist sono anche bravi a comunicare, sia con altri data scientist che con persone non tecniche. Per essere efficaci in Airbnb, le nostre analisi devono essere sia tecnicamente rigorose che presentate in modo chiaro e attuabile agli altri membri dell'azienda". –Lisa Qian, Data Scientist presso Airbnb