OpenCV è un ottimo strumento per l'elaborazione delle immagini e l'esecuzione di attività di visione artificiale Alcune di queste funzioni sono molto comuni e vengono utilizzate in quasi tutte le attività di visione artificiale Conclusione OpenCV è una parte essenziale per lavorare nella visione artificiale e utilizzandola possiamo Quando inizi a scavare più a fondo nel campo della visione artificiale, imparerai a conoscere concetti

calcio.Proprio per questo Soccerment ha lanciato, in collaborazione con SICS, un corso di “Football Data Intelligence Soccerment è un'azienda Italiana specializzata in Football Data Intelligence.

Uno di questi strumenti di BI (Business Intelligence) di Microsoft è Power BI. esempi di dashboard di Power BI mirano a fornire visualizzazioni interattive e funzionalità di Business Intelligence interagire con i dati aziendali, estrarli da un'ampia gamma di origini disparate e consentire decisioni più intelligenti

Prerequisiti : Guida Completa Algoritmi di Machine Learning La crescita dell'Intelligenza Artificiale L'Intelligenza Artificiale Spiegata Semplice Falsi miti sul machine learning Cos'è la Statistica e che Qual è la differenza tra Intelligenza Artificiale, Machine Learning, Deep Lear... Regressione Logistica per l'apprendimento automatico Scikit Learn e Python Tutorial Per Creare Modelli di Intelligenza Artificiale Tutorial Pratico Tensorflow , TensorBoard e Python Feature Engineering e Feature Selection

consentono alla visualizzazione dei dati di ridurre le dimensioni dei dati attraverso reti neurali artificiali

Supercomputer e Intelligenza Artificiale L'intelligenza artificiale è ancora piuttosto rudimentale, ma Mentre Dongarra pensa che i supercomputer plasmeranno il futuro dell'intelligenza artificiale , come "E l'intelligenza artificiale è presente al livello del cinque o del 10 percento che li aumenta e aiuta "Tutti stanno saltando un po' la pistola quando si tratta di intelligenza artificiale", dice. L'intelligenza artificiale sarà una parte pratica dei carichi di lavoro, ma cambierà.

Il potere di Python per l'intelligenza artificiale: un linguaggio versatile e accessibile Python regna Innanzitutto, Python vanta un ecosistema vastissimo di librerie dedicate all'intelligenza artificiale Democratizzare l'intelligenza artificiale con Python L'intelligenza artificiale non è più un dominio Educazione e didattica dell'intelligenza artificiale: La natura didattica di Python lo rende un linguaggio ideale per l'insegnamento dell'intelligenza artificiale.

Se sei un esperto del settore del machine learning, probabilmente sei già a conoscenza del fatto che la scelta della migliore pipeline di modelli di machine learning per un set di dati può essere una vera sfida. Inoltre, spesso questo processo richiede un intervento manuale che richiede molte ore di lavoro. Ma cosa succederebbe se ti dicessi che c'è un modo per automatizzare questo processo? Gli esperti sanno che spesso la ricerca della migliore pipeline di modelli può essere come cercare un ago in un pagliaio Beh, c'è! È chiamato AutoML e fornisce strumenti che permettono di rilevare automaticamente buone pipeline di modelli di machine learning per un set di dati, con un intervento minimo da parte dell'utente. L'utilizzo di AutoML è particolarmente adatto agli esperti di dominio che non hanno una conoscenza approfondita dell'apprendimento automatico, ma anche per i professionisti dell'apprendimento automatico che cercano di ottenere rapidamente buoni risultati per un'attività di modellazione predittiva. Fortunatamente, esistono librerie open source disponibili per l'utilizzo di metodi AutoML con librerie di machine learning popolari in Python, come la libreria di machine learning scikit-learn. In questo tutorial ti mostrerò come utilizzare le migliori librerie AutoML open source per scikit-learn in Python, in modo da poter sfruttare al massimo le potenzialità di AutoML. Dopo aver completato questo tutorial, sarai in grado di scoprire come utilizzare le tecniche di AutoML per scoprire automaticamente e rapidamente una pipeline di modelli di machine learning con buone prestazioni per un'attività di modellazione predittiva. Inoltre, scoprirai le tre librerie AutoML più popolari per Scikit-Learn: Hyperopt-Sklearn, Auto-Sklearn e TPOT. Sarai in grado di utilizzare queste librerie per scoprire modelli con buone prestazioni per attività di modellazione predittiva in Python. Insomma, se vuoi scoprire come utilizzare AutoML per semplificare il processo di modellazione predittiva e ottenere risultati migliori e più veloci, questo tutorial è quello che fa per te. Quindi, senza ulteriori indugi, iniziamo! Indice su AutoML : le migliori librerie python Questo tutorial è diviso in quattro parti; sono: Machine learning automatizzato Auto Sklearn Strumento di ottimizzazione della pipeline basato su albero (TPOT) Hyperopt-Sklearn Conclusione Machine learning automatizzato Sei alla ricerca di un modo semplice e veloce per creare modelli di machine learning predittivi? Allora AutoML potrebbe essere la soluzione che fa per te! Questa tecnologia innovativa consente di selezionare automaticamente la preparazione dei dati, il modello di machine learning e gli iperparametri del modello, senza richiedere alcuna conoscenza specifica in materia. In pratica, basta fornire i dati di input e il sistema di AutoML si occuperà di tutto il resto, individuando l'approccio migliore per l'applicazione specifica. Grazie a questa tecnologia all'avanguardia, persino gli scienziati di dominio che non hanno conoscenze approfondite in materia di machine learning potranno accedere a questo campo in modo semplice e intuitivo. Inoltre, non c'è bisogno di creare da zero una pipeline di modelli: molte aziende offrono servizi di AutoML preconfezionati, che consentono di scaricare o utilizzare online una pipeline già pronta all'uso. Google, Microsoft e Amazon sono solo alcuni esempi di aziende che offrono questa opzione. Ma non solo: esistono anche numerose librerie open source che implementano le tecniche di AutoML, offrendo l'opportunità di personalizzare le trasformazioni dei dati, i modelli e gli iperparametri in modo specifico per le tue esigenze. In particolare, tre librerie si sono distinte come le migliori del settore: Hyperopt-Sklearn, Auto-Sklearn e TPOT. Se hai una libreria preferita che non compare in questa lista, condividila con noi nei commenti qui sotto. Pronto a scoprire il mondo di AutoML? Continua a leggere per tutte le informazioni necessarie! Auto Sklearn Auto-Sklearn è una libreria open source di AutoML in Python che utilizza modelli di machine learning della libreria scikit-learn. La libreria è stata sviluppata da Matthias Feurer et al. e descritta nel loro documento del 2015 intitolato "Efficient and Robust Automated Machine Learning". In questo documento, viene introdotto un nuovo e robusto sistema AutoML basato su scikit-learn, che utilizza 15 classificatori, 14 metodi di pre-elaborazione delle caratteristiche e 4 metodi di pre-elaborazione dei dati. Ciò porta a uno spazio di ipotesi strutturato con 110 iperparametri. Il primo passo è installare la libreria Auto-Sklearn utilizzando pip come segue: pip install autosklearn #per python locale !pip install autosklearn #per google colab Dopo aver installato la libreria, è possibile importarla e stampare il numero di versione per confermare l'installazione corretta: # Stampa la versione di Auto-Sklearn import autosklearn print('autosklearn: %s' % autosklearn.__version__) Eseguendo questo esempio, verrà stampato il numero di versione, che dovrebbe essere uguale o superiore a 0.6.0. Successivamente, è possibile dimostrare l'utilizzo di Auto-Sklearn su un dataset di classificazione sintetico. In questo esempio, viene definita una classe AutoSklearnClassifier che controlla la ricerca e la configurazione per una durata massima di due minuti (120 secondi), uccidendo ogni singolo modello la cui valutazione richiede più di 30 secondi. Al termine dell'esecuzione, le statistiche della ricerca sono riportate e il modello con le migliori prestazioni è valutato su un set di dati di controllo. Ecco l'esempio completo: # Esempio di auto-sklearn su un dataset di classificazione from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from autosklearn.classification import AutoSklearnClassifier # Definizione del dataset X, y = make_classification(n_samples=100, n_features=10, n_informative=5, n_redundant=5, random_state=1) # Suddivisione in set di training e test X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # Definizione della ricerca model = AutoSklearnClassifier(time_left_for_this_task=2*60, per_run_time_limit=30, n_jobs=8) # Esecuzione della ricerca model.fit(X_train, y_train) # Statistiche della ricerca print(model.sprint_statistics()) # Valutazione del miglior modello y_hat = model.predict(X_test) acc = accuracy_score(y_test, y_hat) print("Accuracy: %.3f" % acc) L'esecuzione di questo esempio richiederà circa due minuti, data la durata massima di esecuzione impostata. Alla fine dell'esecuzione, verrà stampato un riepilogo che mostra che sono stati valutati 599 modelli e che le prestazioni stimate del modello finale sono state del 95,6%. auto-sklearn results:Dataset name: 771625f7c0142be6ac52bcd108459927 Metric: accuracy Best validation score: 0.956522 Number of target algorithm runs: 653 Number of successful target algorithm runs: 599 Number of crashed target algorithm runs: 54 Number of target algorithms that exceeded the time limit: 0 Number of target algorithms that exceeded the memory limit: 0 Quindi valutiamo il modello sul set di dati di controllo e vediamo che è stata raggiunta un'accuratezza di classificazione del 97 percento, che è ragionevolmente abile. Accuracy: 0.970 Strumento di ottimizzazione della pipeline basato su albero (TPOT) TPOT (Tree-based Pipeline Optimization Tool) è una libreria Python che utilizza un algoritmo evolutivo per progettare e ottimizzare automaticamente le pipeline di machine learning. La pipeline è rappresentata da una struttura ad albero e include algoritmi per la preparazione e la modellazione dei dati, nonché gli iperparametri del modello. Per utilizzare TPOT, la libreria deve essere installata utilizzando pip come segue: !pip install tpot Una volta installata, è possibile importare la libreria e verificare la versione installata come segue: import tpot print(f"tpot: {tpot.__version__}") L'utilizzo di TPOT per una classificazione sintetica può essere dimostrato con il seguente esempio: from sklearn.datasets import make_classification from sklearn.model_selection import RepeatedStratifiedKFold from tpot import TPOTClassifier # definisci dataset X, y = make_classification(n_samples=100, n_features=10, n_informative=5, n_redundant=5, random_state=1) # definisci model evaluation cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1) # definisci ricerca model = TPOTClassifier(generations=5, population_size=50, cv=cv, scoring='accuracy', verbosity=2, random_state=1, n_jobs=-1) # esegui la ricerca model.fit(X, y) # esporta il miglior modello model.export('tpot_best_model.py') L'esecuzione dell'esempio potrebbe richiedere alcuni minuti e verrà visualizzata una barra di avanzamento sulla riga di comando. L'accuratezza dei modelli con le migliori prestazioni verrà segnalata lungo il percorso. I risultati specifici varieranno data la natura stocastica della procedura di ricerca. In questo caso, la pipeline con le migliori prestazioni ha raggiunto una precisione media di circa il 92,6%, come indicato di seguito: Generation 1 - Current best internal CV score: 0.9166666666666666 Generation 2 - Current best internal CV score: 0.9166666666666666 Generation 3 - Current best internal CV score: 0.9266666666666666 Generation 4 - Current best internal CV score: 0.9266666666666666 Generation 5 - Current best internal CV score: 0.9266666666666666 Best pipeline: ExtraTreesClassifier(input_matrix, bootstrap=False, criterion=gini, max_features=0.35000000000000003, min_samples_leaf=2, min_samples_split=6, n_estimators=100) Il miglior modello viene salvato in un file denominato "tpot_best_model.py". Il codice nel file "tpot_best_model.py" può essere utilizzato per adattare la pipeline su un set di dati specifico. La pipeline con le migliori prestazioni viene quindi salvata in un file denominato " tpot_best_model.py ". import numpy as np import pandas as pd from sklearn.ensemble import ExtraTreesClassifier from sklearn.model_selection import train_test_split # NOTE: Make sure that the outcome column is labeled 'target' in the data file tpot_data = pd.read_csv('PATH/TO/DATA/FILE', sep='COLUMN_SEPARATOR', dtype=np.float64) features = tpot_data.drop('target', axis=1) training_features, testing_features, training_target, testing_target = \ train_test_split(features, tpot_data['target'], random_state=1) # Average CV score on the training set was: 0.9266666666666666 exported_pipeline = ExtraTreesClassifier(bootstrap=False, criterion="gini", max_features=0.35000000000000003, min_samples_leaf=2, min_samples_split=6, n_estimators=100) # Fix random state in exported estimator if hasattr(exported_pipeline, 'random_state'): setattr(exported_pipeline, 'random_state', 1) exported_pipeline.fit(training_features, training_target) results = exported_pipeline.predict(testing_features) È quindi possibile recuperare il codice per la creazione della pipeline del modello e integrarlo nel progetto. Hyperopt-Sklearn HyperOpt è una libreria Python open source per l'ottimizzazione bayesiana sviluppata da James Bergstra. È progettato per l'ottimizzazione su larga scala per modelli con centinaia di parametri e consente di ridimensionare la procedura di ottimizzazione su più core e più macchine. HyperOpt-Sklearn contiene la li breria HyperOpt e consente la ricerca automatica di metodi di preparazione dei dati, algoritmi di apprendimento automatico e iperparametri del modello per attività di classificazione e regressione. Ora che abbiamo familiarità con HyperOpt e HyperOpt-Sklearn, diamo un'occhiata a come utilizzare HyperOpt-Sklearn. Il primo passo è installare la libreria HyperOpt. Ciò può essere ottenuto utilizzando il gestore di pacchetti pip come segue: sudo pip install hyperopt Successivamente, dobbiamo installare la libreria HyperOpt-Sklearn. Anche questo può essere installato utilizzando pip, anche se dobbiamo eseguire questa operazione manualmente clonando il repository ed eseguendo l'installazione dai file locali, come segue: git clone git@github.com:hyperopt/hyperopt-sklearn.git cd hyperopt-sklearn sudo pip install . cd .. Possiamo confermare che l'installazione è andata a buon fine controllando il numero di versione con il seguente comando: sudo pip show hpsklearn Questo riepilogherà la versione installata di HyperOpt-Sklearn, confermando che viene utilizzata una versione moderna. Name: hpsklearn Version: 0.0.3 Summary: Hyperparameter Optimization for sklearn Home-page: http://hyperopt.github.com/hyperopt-sklearn/ Author: James Bergstra Author-email: anon@anon.com License: BSD Location: ... Requires: nose, scikit-learn, numpy, scipy, hyperopt Required-by: Successivamente, possiamo dimostrare l'utilizzo di Hyperopt-Sklearn su un'attività di classificazione sintetica. Possiamo configurare un'istanza HyperoptEstimator che esegue la ricerca, inclusi i classificatori da considerare nello spazio di ricerca, i passaggi di pre-elaborazione e l'algoritmo di ricerca da utilizzare. In questo caso, utilizzeremo TPE, o Tree of Parzen Estimators, ed eseguiremo 50 valutazioni. Al termine della ricerca, viene valutata e riepilogata la pipeline del modello più performante. Di seguito è riportato l'esempio completo utilizzando il formato del codice Python: # Esempio di Hyperopt-sklearn per un dataset di classificazionefrom sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from hpsklearn import HyperoptEstimator from hpsklearn import any_classifier from hpsklearn import any_preprocessing from hyperopt import tpe # Definiamo il dataset X, y = make_classification(n_samples=100, n_features=10, n_informative=5, n_redundant=5, random_state=1) # Suddividiamo il dataset in set di training e di test X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # Definiamo la ricerca model = HyperoptEstimator( classifier=any_classifier('cla'), preprocessing=any_preprocessing('pre'), algo=tpe.suggest, max_evals=50, trial_timeout=30 ) # Eseguiamo la ricerca model.fit(X_train, y_train) # Riepiloghiamo le performance acc = model.score(X_test, y_test) print("Accuracy: %.3f" % acc) # Riepiloghiamo il miglior modello print(model.best_model()) Verrà segnalato lo stato di avanzamento della ricerca e verranno visualizzati alcuni avvisi che puoi tranquillamente ignorare. Al termine dell'esecuzione, il modello con le migliori prestazioni viene valutato sul set di dati di controllo e la pipeline rilevata viene stampata per un uso successivo. I tuoi risultati specifici potrebbero differire a causa della natura stocastica dell'algoritmo di apprendimento e del processo di ricerca. Prova a eseguire l'esempio alcune volte. In questo caso, possiamo vedere che il modello scelto ha raggiunto una precisione di circa l'84,8% sul set di test di controllo. La pipeline prevede un modello SGDClassifier senza pre-elaborazione. Accuracy: 0.848 {'learner': SGDClassifier(alpha=0.0012253733891387925, average=False, class_weight='balanced', early_stopping=False, epsilon=0.1, eta0=0.0002555872679483392, fit_intercept=True, l1_ratio=0.628343459087075, learning_rate='optimal', loss='perceptron', max_iter=64710625.0, n_iter_no_change=5, n_jobs=1, penalty='l2', power_t=0.42312829309173644, random_state=1, shuffle=True, tol=0.0005437535215080966, validation_fraction=0.1, verbose=False, warm_start=False), 'preprocs': (), 'ex_preprocs': ()} Il modello stampato può quindi essere utilizzato direttamente, ad esempio il codice copiato e incollato in un altro progetto. Conclusione AutoML Vorrei ringraziarti per aver dedicato del tempo alla lettura di questo articolo su AutoML e librerie Python per il machine learning automatizzato. Spero che tu abbia trovato queste informazioni utili e interessanti per la tua attività di sviluppo. Il campo del machine learning sta crescendo rapidamente, e l'automazione sta diventando sempre più importante per migliorare l'efficienza e la produttività. Con AutoML e le librerie Python descritte in questo articolo, puoi velocizzare il processo di creazione di modelli di machine learning e ottenere risultati migliori in meno tempo. Se hai domande o commenti su questo argomento, ti invito a condividerli nella sezione dei commenti qui sotto. Grazie ancora per aver letto questo articolo e ti auguro buona fortuna nel tuo prossimo progetto di machine learning!

Imparerai la visione artificiale, i modelli pre-addestrati dalla CNN e l'LSTM per l'elaborazione del prestazioni degli agenti. 5° Progetti di machine learning per potenziare il tuo curriculum : Bot di intelligenza artificiale conversazionale L'IA conversazionale è un progetto divertente.

Scomposizione delle reti neurali artificiali, input, output, strati nascosti, funzioni di attivazione Altro sulle reti neurali : Cosa sono le reti neurali artificiali ANN? e non Spiegazione della più semplice rete neurale per principianti Prerequisiti per le carriere di Intelligenza Artificiale - Machine Learning PyScript, come usare Python nel browser! Programmazione per la Data Science Che cosa è il Machine Learning (ML) Migliori progetti Open Source Python di Intelligenza

Ci abbiamo riflettuto un po' e abbiamo trovato le 5 caratteristiche di quello che crediamo definisca un data scientist di successo. Quali sono alcune delle caratteristiche intrinseche del data scientist di successo? Quelle che accompagnano il data scientist alla professione vera e propria o quelle che possono essere sviluppate dopo aver raggiunto la professione? Ecco le cinque caratteristiche che ci sono venute in mente che aiutano a distinguere il data scientist dalle altre professioni e ti aiutano a definire una carriera di successo. Premettiamo questo facendo notare che tutti i ruoli di data scientist sono diversi, ma hanno tutti alcuni fili di collegamento comuni . Data Scientists di successo 1) Mentalità di analisi predittiva La mentalità dell'analisi predittiva è una delle principali caratteristiche distintive del data scientist, forse più di ogni altra. È l'unica caratteristica distintiva? Certo che no . Avrebbe dovuto essere utilizzato in un diagramma di flusso per separare il data scientist da tutte le altre occupazioni? A posteriori, no, probabilmente no . I data scientist eseguono analisi predittive? Assolutamente SI . Anche i non data scientist? Certo . Non è solo l'applicazione dell'analisi predittiva in situazioni particolari; è una mentalità. E non è solo una mentalità analitica (meno quella predittiva ), ma pensa sempre a come potremmo essere in grado di sfruttare ciò che già sappiamo per scoprire ciò che ancora non sappiamo. Ciò suggerisce che la predizione è parte integrante dell'equazione. I data scientist non hanno solo in mente la previsione, ma, a nostro avviso, lavorare all'interno di questa mentalità è una delle caratteristiche che definiscono il ruolo e che molte altre professioni, legate ai dati o meno, non condividono. Altri che condividono questa caratteristica probabilmente lo collocano più in basso nell'elenco di quelli valutati per la professione in questione. Data Scientists di successo 2) Curiosità Cercare di usare ciò che sappiamo per scoprire ciò che non sappiamo non è abbastanza, ovviamente. I data scientist devono avere una curiosità su di loro che altri ruoli non devono necessariamente avere (nota che non ho detto che altri non hanno assolutamente questa curiosità). La curiosità è quasi il rovescio della medaglia della mentalità dell'analisi predittiva: mentre la mentalità dell'analisi predittiva sta cercando di risolvere X con Y , la curiosità determinerà in primo luogo cosa sia Y. "Come possiamo aumentare le vendite?" "Perché il tasso di abbandono è più alto in alcuni mesi che in altri?" "Perché questo deve essere fatto così ? " "Cosa succede se facciamo da X a Y?" "Come interviene X in quello che succede qui?" "Ci abbiamo provato...?" E così via... Se mentre analizzi i tuoi dati non ti viene spontaneo farti certe domande, molto probabilmente quei dati o quel progetto non ti entusiasmano così tanto. È necessaria una curiosità naturale per essere un utile scienziato dei dati, fine della storia. Se sei il tipo di persona che si sveglia la mattina e passa l'intera giornata senza pensare troppo e senza domandarsi continuamente il perchè di certi eventi, a qualsiasi livello, la scienza dei dati non fa per te. Data Scientists di successo 3) Pensiero sistemico Ecco un pezzo di filosofia che colpisce duramente: il mondo è un luogo complesso. Tutto è connesso in qualche modo, ben oltre l'ovvio, il che porta a strati su strati di complessità del mondo reale. I sistemi complessi interagiscono con altri sistemi complessi per produrre sistemi complessi aggiuntivi propri, e così va fino alla fine dell'universo. Questo gioco di complessità va oltre il semplice riconoscimento del quadro generale: dove si inserisce questo quadro generale nel quadro più ampio, e così via? Ma questo non è solo filosofico. Questa rete infinita di complessità del mondo reale è riconosciuta dai data scientist. Sono interessati a sapere tutto sulle interazioni rilevanti, latenti o meno, mentre affrontano i loro problemi. Cercano elementi noti , incogniti e sconosciuti dipendenti dalla situazione , comprendendo che qualsiasi cambiamento potrebbe avere conseguenze indesiderate altrove. È compito dello scienziato dei dati sapere quanto più possibile sui loro sistemi rilevanti e sfruttare la loro curiosità e la loro mentalità analitica predittiva per tenere conto del maggior numero possibile di operazioni e interazioni di questi sistemi, al fine di mantenerli funzionanti senza intoppi anche quando sono ottimizzato. Se non sei in grado di capire perché nessuna persona è in grado di spiegare completamente come funziona l'economia, la scienza dei dati non fa per te. Data Scientists di successo 4) Creatività Ora siamo arrivati ​​alla nostra caratteristica caratteristica di "pensare fuori dagli schemi". Incoraggiamo tutti a farlo? Certo che lo facciamo. Ma non intendo allo stesso modo qui. Ricorda che i data scientist non lavorano da soli; lavoriamo con tutti i tipi di ruoli diversi e incontriamo tutti i tipi di esperti di domini diversi nei nostri viaggi. Questi esperti di domini hanno modi particolari di guardare ai loro domini particolari, anche quando pensano fuori dagli schemi. In qualità di data scientist, con un insieme unico di abilità e un particolare tipo di mentalità puoi affrontare i problemi dall'esterno vedendo cose che gli esperti di quel dominio non vedono. Puoi essere il nuovo paio di occhi che guarda un problema sotto una nuova luce, a condizione, ovviamente, che tu capisca il problema abbastanza bene. La tua creatività ti aiuterà a evocare nuove idee e prospettive per farlo. Questo non è per sminuire gli esperti di dominio; in effetti, è il contrario. Noi data scientist siamo il loro supporto e, portando un insieme di competenze addestrate a fare ciò che facciamo, siamo (si spera) in grado di portare una nuova prospettiva nel nostro ruolo di supporto per contribuire agli esperti di dominio in grado di eccellere in ciò che fanno . Questa nuova prospettiva sarà guidata dal pensiero creativo del data scientist, una creatività che, se abbinata alla curiosità, porterà a essere in grado di porre domande e cercare risposte. Certo, abbiamo bisogno delle competenze tecniche, statistiche e aggiuntive per poter dare seguito a queste domande, ma queste competenze sono inutili se non abbiamo la creatività per pensare a modi interessanti e non ovvi per poter indagare e infine fornire risposte. Questo è il motivo per cui i data scientist devono essere intrinsecamente creativi. Data Scientists di successo 5) Comunicazione Tutti devono essere in grado di comunicare efficacemente con gli altri, indipendentemente dalla loro posizione nella vita. I data scientist non sono diversi. Ma anche oltre a ciò, i data scientist spesso devono tenersi per mano quando spiegano il loro lavoro ad altre parti interessate che potrebbero non essere completamente immerse nell'Universo dell'Analisi Statistica e della programmazione di Modelli. Un data scientist deve essere in grado di narrare a qualcuno come è arrivato dai dati del punto A a delle risposte per il punto B, anche se quel qualcuno ha poca idea di cosa siano, esattamente, uno di questi punti . In parole povere, lo storytelling è essere in grado di raccontare una narrazione realistica da alcuni dati e dal tuo processo analitico: come siamo passati da questo a questo . Questo non si limita a dichiarare semplicemente i fatti; lo scienziato dei dati deve vedere dove si inserisce lo stakeholder nell'equazione e rendere rilevante il viaggio narrativo, magari con elementi visivi utili o altri oggetti di scena per aiutare a chiudere il proverbiale accordo. Questa narrazione non è come la narrazione di fantasia; è più come "spiegare fantasia" o fornire una spiegazione intuitiva su misura per l'ascoltatore. Non racconteresti una storia di Stephen King a un bambino di cinque anni prima di coricarsi, proprio come non approfondiresti una narrativa secca e prolissa sulle metriche della catena di approvvigionamento a qualcuno che lavora nella ricerca e sviluppo. Sii consapevole del tuo pubblico. Anche questa narrazione non è di natura persuasiva; è esplicativa. Non siamo politici dei dati, siamo scienziati dei dati . Non ne viene mai niente di buono dagli scienziati che travisano le statistiche per piegare gli altri alla loro volontà. Lascia che siano i funzionari eletti. Spero che questo abbia contribuito a dipingere un quadro ricco di quelle che riteniamo essere caratteristiche importanti di un data scientist di successo. Ti auguriamo di riuscire a sviluppare tutte queste skill mentre prosegui nella tua carriera.

Indice Iniziamo dalle basi Esempi di Business Intelligence Business Intelligence vs. analisi aziendali Strategia di Business Intelligence Business Intelligence self-service Software e sistemi di Business Intelligence La figura professionale della BI: Analista di Business Intelligence Il futuro della Business Intelligence Iniziamo dalle basi? della business intelligence.

Prerequisiti : Se non sai perchè utilizzeremo python, clicca qui Se non hai ancora installato Python, clicca qui Se non sai come scaricare e gestire le librerie, clicca qui Se non sai cosa sia un Dataset, clicca qui Prima di iniziare la giuda pratica per creare uno Scatterplot partendo da un dataset vediamo quando è utile o necessario utilizzare il grafico a dispersione. Cosa è lo Satterplot? Il grafico a dispersione rappresenta su due assi (x & y), mediante dei punti, coppie di dati numerici, con una variabile di coordinate ( x, y ). Quando è consigliato usarlo? Quando bisogna cercare quale variabile indipendente influenzi maggiormente la variabile dipendente Quando la variabile dipendente può avere più valori per ogni valore della variabile indipendente Quando si cerca di determinare se le due variabili sono correlate. In alcuni casi vine anche usato per la visualizzazione di cluster. Installiamo le librerie Per installare le librerie necessarie per la rappresentazione apriamo il terminale e digitiamo il seguenti comandi: pip install matplotlib pip3 install matplotlib #per python3 pip install numpy pip3 install numpy #per python3 pip install pandas pip3 install pandas #per python3 Giuda alla visualizzazione dello ScatterPlot da un file Excel Creiamo un nuovo file e importiamo le librerie che ci serviranno. Per questo esempio utilizzeremo questo file excel import matplotlib.pyplot as plt import pandas as pd Creiamo adesso con pandas il nostro dataset in memoria. #carichiamo in Ram i dati contenuti nel file excel dataset = pd.read_excel (r'mq_prezzo_appartamento.xlsx') ​ #stampiamo il nostro dataset print(dataset) ​ Output: mq prezzo 0 50 37500 1 55 45375 2 60 54000 3 65 63375 4 70 73500 5 75 84375 6 80 96000 7 85 108375 8 90 121500 9 95 135375 10 100 150000 11 105 165375 12 110 181500 13 115 198375 14 120 216000 15 125 234375 16 130 253500 17 135 273375 18 140 294000 19 145 315375 20 150 337500 21 155 360375 22 160 384000 23 165 408375 24 170 433500 25 175 459375 26 180 486000 27 185 513375 28 190 541500 29 195 570375 30 200 600000 31 205 630375 32 210 661500 33 215 693375 34 220 726000 35 225 759375 36 230 793500 37 235 828375 38 240 864000 Creiamo due liste conteneti rispettivamente i valori X (metri quadrati) e Y (prezzo appartamento) mq = dataset['mq'] prezzo = dataset['prezzo'] ​ #stampiamo le nostre liste print(mq,prezzo) Output: 0 50 1 55 2 60 3 65 4 70 5 75 6 80 7 85 8 90 9 95 10 100 11 105 12 110 13 115 14 120 15 125 16 130 17 135 18 140 19 145 20 150 21 155 22 160 23 165 24 170 25 175 26 180 27 185 28 190 29 195 30 200 31 205 32 210 33 215 34 220 35 225 36 230 37 235 38 240 Name: mq, dtype: int64 0 37500 1 45375 2 54000 3 63375 4 73500 5 84375 6 96000 7 108375 8 121500 9 135375 10 150000 11 165375 12 181500 13 198375 14 216000 15 234375 16 253500 17 273375 18 294000 19 315375 20 337500 21 360375 22 384000 23 408375 24 433500 25 459375 26 486000 27 513375 28 541500 29 570375 30 600000 31 630375 32 661500 33 693375 34 726000 35 759375 36 793500 37 828375 38 864000 Name: prezzo, dtype: int64 Visti così non si capisce poco e niente, ma ora vedremo come rappresentarli con un grafico a dispesione La libreria MatplotLib offre anche la possibilità di personalizzare i nostri grafici. #definire il titolo del grafico plt.title("Rapporto dimensione / prezzo degli appartamenti") ​ #definire il testo dell'asse x plt.xlabel("Dimensione in m^2 dell'appartamento") ​ #definire il testo dell'asse y plt.ylabel("prezzo in € dell'appartamento") ​ #definire lo sfondo a griglia plt.grid() ​ #definire le dimensioni de grafico plt.rcParams['figure.figsize'] = [15,10] #altezza,lunghezza ​ #la funzione per creare il grafico è molto semplice plt.scatter(mq,prezzo, label="Rapporto appartamenti", marker="s") ​ #definire la leggenda del grafico plt.legend() ​ #salviamo il grafico plt.savefig("scatterPlot_rapporto_mq_prezzo_appartamenti.png") ​ #mostriamo il grafico plt.show() output: Scarica Gratuitamente l'esempio Per scaricare gratuitamente devi prima registrati/accede al portale. Scorri in fondo alla pagina per registrati o accedere Giuda alla visualizzazione dello scatterPlot da dati generati Creiamo un nuovo file e importiamo le librerie che ci serviranno. import matplotlib.pyplot as plt import numpy as np Creiamo adesso con numpy generiamo due liste di dati # utilizzando la funzione np.random.randint(50,150, size=50)+10 andiamo a creare una lista # contenente 50 (size) numeri casuali interi da 50 a 150, i quali indicheranno la metratura quadrata metriquadrati_appartamento = np.random.randint(50,150, size=50)+10 ​ # utilizzando la funzione np.power(metriquadrati_appartamento, 2)*9 andiamo a creare una lista # contenente 50 numeri generati elevando al quadrato e moltiplicato per 15 la metratura quadrata prezzi_appartamento = np.power(metriquadrati_appartamento, 2)*15 print(metriquadrati_appartamento,prezzi_appartamento) output: [157 147 153 122 142 150 105 62 73 120 133 159 123 124 102 92 83 136 90 154 119 141 111 126 82 75 159 95 134 113 145 98 148 71 137 158 151 132 61 101 96 158 125 157 105 65 62 129 104 97] [369735 324135 351135 223260 302460 337500 165375 57660 79935 216000 265335 379215 226935 230640 156060 126960 103335 277440 121500 355740 212415 298215 184815 238140 100860 84375 379215 135375 269340 191535 315375 144060 328560 75615 281535 374460 342015 261360 55815 153015 138240 374460 234375 369735 165375 63375 57660 249615 162240 141135] Visti così non si capisce poco e niente, ma ora vedremo come rappresentarli con un grafico a dispersione La libreria MatplotLib offre anche la possibilità di personalizzare i nostri grafici. #definire il titolo del grafico plt.title("Rapporto dimensione / prezzo degli appartamenti") ​ #definire il testo dell'asse x plt.xlabel("Dimensione in m^2 dell'appartamento") ​ #definire il testo dell'asse y plt.ylabel("prezzo in € dell'appartamento") ​ #definire lo sfondo a griglia plt.grid() ​ #definire le dimensioni de grafico plt.rcParams['figure.figsize'] = [15,10] #altezza,lunghezza ​ #la funzione per creare il grafico è molto semplice plt.scatter(metriquadrati_appartamento,prezzi_appartamento, label="Rapporto appartamenti", marker="s") ​ #definire la leggenda del grafico plt.legend() ​ #salviamo il grafico plt.savefig("scatterPlot_rapporto_mq_prezzo_appartamenti.png") #mostriamo il grafico plt.show() output: Scarica Gratuitamente l'esempio Per scaricare gratuitamente devi prima registrati/accede al portale. Scorri in fondo alla pagina per registrati o accedere Utilità dello ScatterPlot nei Progetti di Analisi Dati Lo ScatterPlot è un'importante strumento di visualizzazione dati ampiamente utilizzato nell'analisi statistica e nell'indagine dei dati. Oltre ai contesti trattati nell'articolo, come la relazione tra due variabili e la ricerca di correlazioni, lo ScatterPlot può essere impiegato in molteplici altri contesti. Ad esempio, nei progetti di analisi dati avanzata, lo ScatterPlot può essere utilizzato per identificare outliers o valori anomali all'interno del dataset. Questi punti, distanti dalla distribuzione principale dei dati, possono fornire preziose informazioni su fenomeni eccezionali o errori di misurazione. Lo ScatterPlot può essere impiegato nella fase di esplorazione dei dati per individuare eventuali pattern o strutture nascoste. Attraverso l'osservazione della distribuzione dei punti sul grafico, è possibile identificare raggruppamenti o tendenze che potrebbero non emergere con altre tecniche di visualizzazione. Infine, lo ScatterPlot può essere utilizzato per la visualizzazione di dati multidimensionali, mediante l'impiego di tecniche come la colorazione dei punti o l'aggiunta di dimensioni aggiuntive tramite grafici 3D. Questo permette di esplorare relazioni complesse tra più variabili simultaneamente, offrendo una panoramica dettagliata del dataset. Personalizzazione dei Grafici con MatplotLib: Consigli e Trucchi Oltre alla semplice creazione di grafici, MatplotLib offre una vasta gamma di opzioni per personalizzare l'aspetto e il layout dei grafici stessi. Alcuni suggerimenti e trucchi per ottenere grafici più accattivanti e informativi includono: Personalizzazione degli assi e dei titoli: Utilizza i comandi di MatplotLib per definire titoli accattivanti per i tuoi grafici e per etichettare chiaramente gli assi x e y. Questo rende più semplice per gli utenti interpretare i dati rappresentati sul grafico. Gestione dello sfondo e delle dimensioni: Modifica lo sfondo dei grafici per renderli più leggibili e professionali. Inoltre, regola le dimensioni dei grafici in modo da adattarle al contesto in cui verranno visualizzati, evitando grafici troppo piccoli o troppo grandi. Utilizzo di marker e colori distintivi: Scegli marker e colori che si distinguono chiaramente sul grafico, facilitando l'individuazione dei punti e migliorando la leggibilità complessiva del grafico. Aggiunta di legende e annotazioni: Fornisci chiare legende per i tuoi grafici in modo che gli utenti possano comprendere facilmente i dati rappresentati. Inoltre, considera l'aggiunta di annotazioni o testo esplicativo per fornire ulteriori contestualizzazioni o spiegazioni. Esportazione e condivisione dei grafici: Una volta creato il grafico desiderato, ricorda di esportarlo in formati compatibili con la condivisione online o la pubblicazione su documenti. MatplotLib supporta vari formati di esportazione, come PNG, PDF e SVG, consentendo una facile condivisione e distribuzione dei grafici. Con questi suggerimenti e trucchi, sarai in grado di creare grafici accattivanti e informativi utilizzando MatplotLib, arricchendo ulteriormente il tuo lavoro di analisi dati e visualizzazione delle informazioni. Grazie mille per la lettura, condividi l'articolo per sostenerci

linguaggio naturale (NLP) L'elaborazione del linguaggio naturale (NLP) è un campo dell'informatica e dell'intelligenza artificiale che si occupa di consentire ai computer di comprendere, interpretare e generare il linguaggio

cos'è il Il filtraggio collaborativo ? Il filtraggio collaborativo può essere considerato una tecnica per fornire consigli in un sistema o motore di suggerimenti. In sostanza, possiamo dire che è un modo per trovare somiglianze tra utenti e oggetti. I sistemi di raccomandazione hanno un'ampia gamma di applicazioni in tutti i domini. Costruire un buon sistema di raccomandazione adatto alle esigenze aziendali è sempre una sfida. Un buon sistema può essere sviluppato solo quando c'è una buona comprensione del suo funzionamento. In questo articolo, discuteremo come creare da zero un sistema di raccomandazione , in particolare basato su filtri collaborativi. Inizieremo con i dati casuali e costruiremo un sistema di raccomandazione per generare raccomandazioni. Indice Che cos'è il filtro collaborativo? Uso della correlazione Implementazione del filtraggio collaborativo basato sugli elementi Implementazione del filtraggio collaborativo basato sull'utente Iniziamo con la comprensione del filtro collaborativo. Che cos'è il filtro collaborativo? Il filtraggio collaborativo può essere considerato una tecnica per fornire consigli in un sistema o motore di suggerimenti. In sostanza, possiamo dire che è un modo per trovare somiglianze tra utenti e oggetti. Utilizzandolo possiamo calcolare le valutazioni in base alle valutazioni di utenti simili o articoli simili. I sistemi di raccomandazione basati sul filtraggio collaborativo possono essere classificati nei seguenti modi: Basato sul prodotto: questo tipo di sistema di raccomandazione aiuta a trovare somiglianze tra gli articoli oi prodotti. Questo viene fatto generando dati sul numero di utenti che hanno acquistato due o più articoli insieme e se il sistema trova una correlazione elevata, presume la somiglianza tra i prodotti. Ad esempio, ci sono due prodotti X e Y che sono altamente correlati quando un utente acquista X, il sistema consiglia di acquistare anche Y. Basato sull'utente: questo tipo di sistema aiuta a trovare utenti simili in base alla loro natura di selezione degli articoli. Ad esempio, un utente utilizza un casco, una ginocchiera e una protezione per i gomiti e il secondo utilizza solo un casco e una protezione per i gomiti al momento della guida in bicicletta, il sistema di raccomandazione basato sull'utente consiglierà al secondo utente di utilizzare una protezione per le ginocchia. In questo articolo cercheremo di comprendere da zero il filtraggio collaborativo. Per prima cosa creeremo un esempio di dati e cercheremo di trovare somiglianze tra gli elementi. Trovare la somiglianza tra gli elementi è correlato alla ricerca della correlazione tra gli elementi in base ai dati che abbiamo. Prima di passare all'implementazione ci viene richiesto di capire qual è la correlazione. Uso della correlazione La correlazione può essere considerata come la relazione tra due variabili. Questo può essere di tre tipi positivo, negativo o neutro. Se due variabili sono correlate positivamente, possiamo dire che i cambiamenti in una variabile in direzione positiva o negativa possono fornire un cambiamento nella seconda variabile in direzione positiva o negativa. Se la correlazione è negativa, un cambiamento in una variabile può causare un cambiamento nella direzione opposta. Se le variabili sono correlate in modo neutro, le modifiche in una variabile non provocano una modifica nell'altra. La misurazione della correlazione può essere effettuata utilizzando il coefficiente di correlazione. Il calcolo del coefficiente di correlazione può essere effettuato calcolando prima la covarianza della variabile e poi dividendo per la quantità di covarianza per il prodotto delle deviazioni standard di tali variabili. Matematicamente, Dove, r = coefficiente di correlazione x i = valori di x variabile in un campione x = media dei valori della variabile x y i = valori della variabile y in un campione y = media dei valori della variabile y E' veramente molto semplice, potresti quasi calcolarla con un foglio di carta e una calcolatrice Esistono molti tipi di coefficienti di correlazione utilizzati nell'analisi statistica, utilizziamo principalmente la correlazione di Pearson per i sistemi di raccomandazione perché è una misura della forza e della direzione della relazione lineare tra due variabili. Passiamo all'implementazione di un sistema di raccomandazione. Implementazione del filtraggio collaborativo basato sui prodotti 1. Importiamo le librerie #Importiamo le libreire import pandas as pd import numpy as np import matplotlib.pyplot as plt 2. Set di dati In questo articolo, implementeremo un sistema di raccomandazione utilizzando l'approccio di filtraggio collaborativo a tale scopo lavoreremo su dati semplici. Diciamo che abbiamo alcuni utenti, prodotti e valutazioni di quel prodotto fornite dall'utente. Possiamo creare un tale set di dati utilizzando il codice di seguito #creiamo un dataset finto molto semplice per farti capire come funziona un filtro collaborativo, #successivamente per te sarà facile implementarlo con i tuoi dati data2 = {'user_id':[1, 2, 3, 1, 2], 'product_id':[1, 2, 1,2,3], 'product_name':['product_1', 'product_2', 'product_1','product_2','product_3'], 'rating':[3,3,3,2,2] } items_df = pd.DataFrame(data2) items_df Output: 3. Tabella pivot Creiamo una tabella pivot utilizzando questi dati in base a user_id e product_name. #Creiamo una tabella Pivot tra il voto e i prodotti pivot = pd.pivot_table(items_df,values='rating',columns='product_name',index='user_id') pivot Output: Qui nell'output sopra, possiamo vedere la nostra tabella pivot. Questo formato di tabella può essere utilizzato per calcolare la correlazione. Poiché la correlazione sarà maggiore, possiamo usarli come nostra raccomandazione. Generazione di raccomandazione Per comprendere chiaramente il processo, abbiamo utilizzato un set di dati molto semplice e possiamo dire, vedendo la tabella sopra, che i prodotti 1, 2 e 3 hanno valutazioni simili e il prodotto 1 ha due recensioni. Quindi potrebbe esserci la possibilità che i prodotti 2 e 3 siano consigliati con il prodotto 1. Verifichiamo i nostri risultati. #generiamo una raccompandazione in base a prodotti e rating print('Il prodotto da consigliare quando viene acquistato il product_2 è :') print( pivot.corr()['product_2'].sort_values(ascending=False).iloc[1:2]) Output : Il prodotto da consigliare quando viene acquistato il product_2 è : product_name product_1 NaN Utilizzando le righe di codici sopra, calcoliamo la correlazione tra i prodotti e ordiniamo i valori. Quindi abbiamo stampato 1 valore e abbiamo scoperto che il nostro sistema ci consiglia di acquistare o utilizzare il prodotto 2 con il prodotto 1. Implementazione del filtraggio collaborativo basato sull'utente Nella sezione precedente, abbiamo esaminato il processo di creazione di dati e tabelle pivot. In questa sezione, utilizzeremo dati simili per implementare il filtraggio collaborativo basato sull'utente. 1. Tabella pivot Iniziamo con la creazione di una tabella pivot per il filtraggio collaborativo basato sull'utente. A questo scopo, ci viene richiesto di invertire la nostra vecchia tabella pivot, il che significa che ora stiamo creando una tabella pivot basata sugli utenti come colonne. #Creiamo una tabella Pivot tra il voto e gli utenti pivot1 = pd.pivot_table(items_df,values='rating',columns='user_id',index='product_name') pivot1 Output: Nella tabella sopra, possiamo vedere che abbiamo user-id come colonna e prodotti come riga. 2. Generazione di raccomandazione In questa sezione, troveremo utenti simili in base alle valutazioni fornite. In modo da poter filtrare gli utenti e fornire consigli simili su elementi diversi oppure possiamo anche fornire consigli a un utente in base a una cronologia utente simile. #generiamo una raccompandazione in base a utenti e rating print('Gli utenti simili a user_2 sono :') print( pivot1.corr()[2].sort_values(ascending=True).iloc[1:2]) Output: Gli utenti simili a user_2 sono : user_id 1 NaN Nell'output sopra, possiamo vedere che l'utente 1° è più simile all'utente 2°, ed è perché hanno fornito valutazioni quasi simili nel nostro set di dati principale. Conclusione In questo articolo, abbiamo esaminato le intuizioni di base alla base della creazione di sistemi di raccomandazione utilizzando tecniche di filtraggio collaborativo e abbiamo imparato questo approccio da zero. Condividi l'articolo se ti è piaciuto :)