L'apprendimento automatico è diventato uno strumento essenziale per le organizzazioni di tutte le dimensioni per ottenere informazioni e prendere decisioni basate sui dati. Tuttavia, il successo dei progetti ML dipende fortemente dalla qualità dei dati utilizzati per addestrare i modelli. Una scarsa qualità dei dati può portare a previsioni imprecise e scarse prestazioni del modello. Comprendere l'importanza della qualità dei dati nel machine learning e le varie tecniche utilizzate per garantire dati di alta qualità è fondamentale.
Questo articolo tratterà le basi del machine learning e l'importanza della qualità dei dati per il successo dei modelli di machine learning. Approfondirà inoltre la pipeline ETL e le tecniche utilizzate per la pulizia dei dati, la preelaborazione e l'ingegnerizzazione delle funzionalità. Alla fine di questo articolo, avrai una solida comprensione dell'importanza della qualità dei dati nel machine learning e delle tecniche utilizzate per garantire dati di alta qualità. Ciò contribuirà a implementare queste tecniche nei progetti del mondo reale e a migliorare le prestazioni dei loro modelli ML.
Obiettivi formativi
Cos'è l'apprendimento automatico?
Perché i dati sono fondamentali nell'apprendimento automatico?
Raccolta di dati tramite pipeline ETL?
Cos'è l'iniezione di dati?
L'importanza della pulizia dei dati
Cos'è la pre-elaborazione dei dati?
Un tuffo nell'ingegneria delle caratteristiche
Codice completo per la pipeline ETL
Conclusione
Cos'è l'apprendimento automatico?
L'apprendimento automatico è una forma di intelligenza artificiale che consente ai computer di apprendere e migliorare in base all'esperienza senza una programmazione esplicita. Svolge un ruolo cruciale nel fare previsioni, identificare modelli nei dati e prendere decisioni senza intervento umano. Ciò si traduce in un sistema più preciso ed efficiente.
L'apprendimento automatico è una parte essenziale della nostra vita e viene utilizzato in applicazioni che vanno dagli assistenti virtuali alle auto a guida autonoma, all'assistenza sanitaria, alla finanza, ai trasporti e all'e-commerce.
I dati, in particolare l'apprendimento automatico, sono uno dei componenti critici di qualsiasi modello. Dipende sempre dalla qualità dei dati che fornisci al tuo modello. Esaminiamo perché i dati sono così essenziali per l'apprendimento automatico.
Che cos'è la Data Quality o qualità dei dati ?
La qualità dei dati è un concetto cruciale nell'elaborazione dei dati e nell'intelligenza artificiale. Si riferisce alla completezza, accuratezza, affidabilità e coerenza dei dati. In altre parole, si tratta della capacità dei dati di soddisfare i requisiti e le aspettative degli utenti e delle applicazioni che li utilizzano. Una buona qualità dei dati è essenziale per l'analisi, la previsione e la decisione informate. La qualità dei dati è influenzata da molti fattori, tra cui la fonte dei dati, la raccolta dei dati, la gestione dei dati e la conservazione dei dati. Per garantire una qualità dei dati elevata, è importante utilizzare metodi di pulizia dei dati, validazione e verifica. In generale, una buona qualità dei dati è fondamentale per garantire che le informazioni utilizzate per prendere decisioni importanti siano affidabili e valide.📊💻
Perché i dati sono importanti nell'apprendimento automatico?
Siamo circondati da molte informazioni ogni giorno. I giganti della tecnologia come Amazon, Facebook e Google raccolgono quotidianamente enormi quantità di dati. Ma perché raccolgono dati? Hai ragione se hai visto Amazon e Google approvare i prodotti che stai cercando.
Infine, i dati delle tecniche di apprendimento automatico svolgono un ruolo essenziale nell'implementazione di questo modello. In breve, i dati sono il carburante che guida l'apprendimento automatico e la disponibilità di dati di alta qualità è fondamentale per creare modelli accurati e affidabili. Molti tipi di dati vengono utilizzati nell'apprendimento automatico, inclusi dati categorici, numerici, di serie temporali e di testo. I dati vengono raccolti tramite una pipeline ETL. Cos'è una pipeline ETL?
Raccolta di dati tramite pipeline ETL
La preparazione dei dati per l'apprendimento automatico viene spesso definita pipeline ETL per l'estrazione, la trasformazione e il caricamento.
Estrazione : il primo passo nella pipeline ETL è l'estrazione dei dati da varie fonti. Può includere l'estrazione di dati da database, API o file semplici come CSV o Excel. I dati possono essere strutturati o non strutturati.
Ecco un esempio di come estraiamo i dati da un file CSV.
Codice Python:
import pandas as pd
#read csv file
df = pd.read_csv("data.csv")
#extract specific data
name = df["name"]
age = df["age"]
address = df["address"]
#print extracted data
print("Name:", name)
print("Age:", age)
print("Address:", address)Trasformazione : è il processo di trasformazione dei dati per renderli adatti all'uso nei modelli di apprendimento automatico. Ciò può includere la pulizia dei dati per rimuovere errori o incoerenze, la standardizzazione dei dati e la conversione dei dati in un formato utilizzabile dal modello. Questo passaggio include anche la progettazione delle funzionalità, in cui i dati grezzi vengono trasformati in un set di funzionalità da utilizzare come input per il modello. Questo è un semplice codice per convertire i dati da JSON a DataFrame.
import json
import pandas as pd
#load json file
with open("data.json", "r") as json_file:
data = json.load(json_file)
#convert json data to a DataFrame
df = pd.DataFrame(data)
#write to csv
df.to_csv("data.csv", index=False)Carica : il passaggio finale consiste nel caricare o caricare i dati convertiti nella destinazione. Può essere un database, un archivio dati o un file system. I dati risultanti sono pronti per un ulteriore utilizzo, come l'addestramento o il test dei modelli di machine learning.
Ecco un semplice codice che mostra come carichiamo i dati usando pandas:
import pandas as pd
df = pd.read_csv('data.csv')Dopo aver raccolto i dati, generalmente utilizziamo l'iniezione di dati se troviamo valori mancanti.
Cos'è l'iniezione di dati?
L'aggiunta di nuovi dati a un server di dati esistente può essere eseguita per vari motivi per aggiornare il database con nuovi dati e per aggiungere dati più diversificati per migliorare le prestazioni dei modelli di apprendimento automatico. Oppure la correzione degli errori del set di dati originale viene solitamente eseguita dall'automazione con alcuni strumenti utili.
Ci sono tre tipi.
Inserimento batch: i dati vengono inseriti in blocco, di solito a un'ora fissa
Iniezione in tempo reale: i dati vengono iniettati immediatamente quando vengono generati.
Stream Injection: i dati vengono iniettati in un flusso continuo. Viene spesso utilizzato in tempo reale.
Ecco un esempio di codice di come iniettiamo i dati utilizzando la funzione append utilizzando la libreria Pandas.La fase successiva della pipeline di dati è la pulizia dei dati.
import pandas as pd
# Create an empty DataFrame
df = pd.DataFrame()
# Add some data to the DataFrame
df = df.append({'Name': 'John', 'Age': 30, 'Country': 'US'}, ignore_index=True)
df = df.append({'Name': 'Jane', 'Age': 25, 'Country': 'UK'}, ignore_index=True)
# Print the DataFrame
print(df)L'importanza della pulizia dei dati
La pulizia dei dati è la rimozione o la correzione di errori nei dati. Ciò può includere la rimozione di valori mancanti e duplicati e la gestione dei valori anomali. La pulizia dei dati è un processo iterativo e le nuove informazioni potrebbero richiedere di tornare indietro e apportare modifiche. In Python, la libreria Pandas viene spesso utilizzata per pulire i dati.
Ci sono motivi importanti per la pulizia dei dati.
Qualità dei dati : la qualità dei dati è fondamentale per un'analisi accurata e affidabile. Informazioni più precise e coerenti possono portare a risultati effettivi e a un migliore processo decisionale.
Prestazioni dell'apprendimento automatico : i dati sporchi possono influire negativamente sulle prestazioni dei modelli di apprendimento automatico. La pulizia dei dati migliora la precisione e l'affidabilità del modello.
Archiviazione e recupero dei dati: i dati puliti sono più facili da archiviare e recuperare e riducono il rischio di errori e incoerenze nell'archiviazione e nel recupero dei dati.
Governance dei dati: la pulizia dei dati è fondamentale per garantire l'integrità dei dati e la conformità alle politiche e ai regolamenti normativi sui dati.
Archiviazione dei dati : la cancellazione dei dati aiuta a salvare i dati per l'uso e l'analisi a lungo termine.
Ecco il codice che mostra come eliminare i valori mancanti e rimuovere i duplicati utilizzando la libreria panda:
df = df.dropna()
df = df.drop_duplicates()
# Fill missing values
df = df.fillna(value=-1)Ecco un altro esempio di come puliamo i dati utilizzando varie tecniche
import pandas as pd
# Create a sample DataFrame
data = {'Name': ['John', 'Jane', 'Mike', 'Sarah', 'NaN'],
'Age': [30, 25, 35, 32, None],
'Country': ['US', 'UK', 'Canada', 'Australia', 'NaN']}
df = pd.DataFrame(data)
# Drop missing values
df = df.dropna()
# Remove duplicates
df = df.drop_duplicates()
# Handle outliers
df = df[df['Age'] < 40]
# Print the cleaned DataFrame
print(df)La terza fase della pipeline di dati è la pre-elaborazione dei dati,
È anche utile comprendere chiaramente i dati e le caratteristiche prima di applicare qualsiasi metodo di pulizia e testare le prestazioni del modello dopo aver pulito i dati.
Cos'è la pre-elaborazione dei dati?
L'elaborazione dei dati sta preparando i dati per l'uso nei modelli di machine learning. Questo è un passaggio essenziale nell'apprendimento automatico perché garantisce che i dati siano in un formato utilizzabile dal modello e che eventuali errori o incoerenze vengano risolti.
L'elaborazione dei dati di solito comporta una combinazione di pulizia dei dati, trasformazione dei dati e standardizzazione dei dati. I passaggi specifici dell'elaborazione dei dati dipendono dal tipo di dati e dal modello di machine learning in uso. Tuttavia, ecco alcuni passaggi generali:
Pulizia dei dati : rimuovere errori, incoerenze e valori anomali dal database.
Trasformazione dei dati : trasformazione dei dati in una forma che può essere utilizzata dai modelli di apprendimento automatico, come la modifica delle variabili categoriche in variabili numeriche.
Normalizzazione dei dati : scala i dati in un intervallo specifico compreso tra 0 e 1, che aiuta a migliorare le prestazioni di alcuni modelli di machine learning.
Aggiungi dati : aggiungi modifiche o manipolazioni ai punti dati esistenti per crearne di nuovi.
Selezione o estrazione delle funzionalità : identifica e seleziona le funzionalità essenziali dai tuoi dati da utilizzare come input per il tuo modello di machine learning.
Rilevamento dei valori anomali : identifica e rimuovi i punti dati che si discostano in modo significativo da grandi quantità di dati. I valori anomali possono alterare i risultati analitici e influire negativamente sulle prestazioni dei modelli di machine learning.
Rileva duplicati : identifica e rimuovi punti dati duplicati. I dati duplicati possono portare a risultati imprecisi o inaffidabili e aumentare le dimensioni del set di dati, rendendone difficile l'elaborazione e l'analisi.
Identifica le tendenze : trova modelli e tendenze nei tuoi dati che puoi utilizzare per fornire previsioni future o comprendere meglio la natura dei tuoi dati.
L'elaborazione dei dati è essenziale nell'apprendimento automatico perché garantisce che i dati siano in una forma che il modello può utilizzare e che eventuali errori o incoerenze vengano rimossi. Ciò migliora le prestazioni del modello e l'accuratezza della previsione.
Di seguito è riportato un semplice codice che mostra come utilizzare la classe LabelEncoder per ridimensionare le variabili categoriche in valori numerici e la classe MinMaxScaler per ridimensionare le variabili numeriche.
import pandas as pd
from sklearn.preprocessing import MinMaxScaler, StandardScaler, OneHotEncoder, LabelEncoder
# Create a sample DataFrame
data = {'Name': ['John', 'Jane', 'Mike', 'Sarah'],
'Age': [30, 25, 35, 32],
'Country': ['US', 'UK', 'Canada', 'Australia'],
'Gender':['M','F','M','F']}
df = pd.DataFrame(data)
# Convert categorical variables to numerical
encoder = LabelEncoder()
df["Gender"] = encoder.fit_transform(df["Gender"])
# One hot encoding
onehot_encoder = OneHotEncoder()
country_encoded = onehot_encoder.fit_transform(df[['Country']])
df = pd.concat([df, pd.DataFrame(country_encoded.toarray())], axis=1)
df = df.drop(['Country'], axis=1)
# Scale numerical variables
scaler = MinMaxScaler()
df[['Age']] = scaler.fit_transform(df[['Age']])
# Print the preprocessed DataFrame
print(df)La fase finale della pipeline di dati è l'ingegneria delle funzionalità.
Un tuffo nell'ingegneria delle funzionalità
L'ingegneria delle funzionalità trasforma i dati grezzi in funzionalità che possono essere utilizzate come input per i modelli di machine learning . Ciò comporta l'identificazione e l'estrazione dei dati più critici dalla materia prima e la loro conversione in un formato utilizzabile dal modello. L'ingegnerizzazione delle funzionalità è essenziale nell'apprendimento automatico perché può influire in modo significativo sulle prestazioni del modello. Diverse tecniche che possono essere utilizzate per l'ingegnerizzazione delle caratteristiche sono:
Estrazione di funzionalità: estrae informazioni rilevanti dai dati grezzi. Ad esempio, identifica le funzionalità più importanti o combina le funzionalità esistenti per creare nuove funzionalità.
Modifica dell'attributo: cambia il tipo di attributo, ad esempio modificando una variabile categoriale in una variabile numerica o ingrandendo i dati per adattarli a un intervallo specifico.
Selezione delle funzionalità : determina le funzionalità essenziali dei tuoi dati da utilizzare come input per il tuo modello di machine learning.
Riduzione dimensione : ridurre il numero di elementi nel database rimuovendo elementi ridondanti o irrilevanti.
Aggiungi dati : aggiungi modifiche o manipolazioni ai punti dati esistenti per crearne di nuovi.
L'ingegnerizzazione delle funzionalità richiede una buona comprensione dei dati, del problema da risolvere e degli algoritmi di apprendimento automatico da utilizzare. Questo processo è iterativo e sperimentale e potrebbe richiedere diverse iterazioni per trovare il set di funzionalità ottimale che migliora le prestazioni del nostro modello.
Codice completo per l'intera pipeline ETL
Ecco un esempio di una pipeline ETL completa che utilizza le librerie pandas e scikit-learn:
import pandas as pd
from sklearn.preprocessing import MinMaxScaler, StandardScaler, OneHotEncoder, LabelEncoder
# Extract data from CSV file
df = pd.read_csv('data.csv')
# Data cleaning
df = df.dropna()
df = df.drop_duplicates()
# Data transformation
encoder = LabelEncoder()
df["Gender"] = encoder.fit_transform(df["Gender"])
onehot_encoder = OneHotEncoder()
country_encoded = onehot_encoder.fit_transform(df[['Country']])
df = pd.concat([df, pd.DataFrame(country_encoded.toarray())], axis=1)
df = df.drop(['Country'], axis=1)
scaler = MinMaxScaler()
df[['Age']] = scaler.fit_transform(df[['Age']])
# Load data into a new CSV file
df.to_csv('cleaned_data.csv', index=False)I dati vengono prima recuperati da un file CSV utilizzando la funzione pandas read_csv() di questo esempio. La pulizia dei dati viene quindi eseguita rimuovendo i valori mancanti e i duplicati. Questa operazione viene eseguita utilizzando LabelEncoder per modificare le variabili categoriali in numeriche, OneHotEncoder per ridimensionare le variabili categoriali in numeri e MinMaxScaler per ridimensionare le variabili numeriche. Infine, i dati eliminati vengono letti in un nuovo file CSV utilizzando la funzione pandas to_csv().
Si noti che questo esempio è una versione molto semplificata della pipeline ETL. In uno scenario reale, la pipeline può essere più complessa e comportare più elaborazione e outsourcing, determinazione dei costi, ecc. possono includere metodi come. Inoltre, anche la tracciabilità dei dati è essenziale. Cioè, tiene traccia dell'origine dei dati, delle sue modifiche e di dove sono archiviati. Questo non solo ti aiuta a capire la qualità dei tuoi dati, ma ti aiuta anche a eseguire il debug e rivedere la tua pipeline. Inoltre, è essenziale comprendere chiaramente i dati e le caratteristiche prima di applicare metodi di post-elaborazione e controllare le prestazioni del modello dopo la pre-elaborazione. Informazione.
Conclusione
La qualità dei dati è fondamentale per il successo dei modelli di machine learning. Prendendoti cura di ogni fase del processo, dalla raccolta dei dati alla pulizia, elaborazione e convalida, puoi garantire che i tuoi dati siano della massima qualità. Ciò consentirà al tuo modello di fare previsioni più accurate, portando a risultati migliori e progetti di machine learning di successo.
.png)
