Alex Shoop, un ingegnere di DataRobot ed esperto di progettazione di sistemi di intelligenza artificiale, ha condiviso alcune riflessioni al riguardo. "Penso che un aspetto importante della parte 'ingegnere' di 'prompt engineer' includerà il seguire le migliori pratiche come test robusti, risultati riproducibili e l'utilizzo di tecnologie sicure ", ha affermato. "
ma facciamo un piccolo passo indietro, cosa è la prompt engineering o ingegneria dei prompt....
Cos'è la prompt engineering o ingegneria dei prompt ?
L'ingegneria dei prompt è un concetto di elaborazione del linguaggio naturale (NLP) che implica la scoperta di input che producono risultati desiderabili o utili. Suggerire è l'equivalente di dire al Genio nella lampada magica cosa fare. In questo caso, la lampada magica è DALL-E, pronta a generare qualsiasi immagine desideriate.
Lo sappiamo che è difficice immaginare l'esistenza di questo nuovo lavoro, ma al momento l'IA sta creando più opportunità che rischi
Proprio come i desideri che esprimi possono rivoltarti contro, quando chiedi all'IA, il modo in cui esprimi ciò che deve fare può cambiare drasticamente l'output.
E la parte più interessante? Il prompt non era una funzionalità sviluppata dagli esperti di intelligenza artificiale. Era una caratteristica emergente. In breve, sviluppando questi enormi modelli di apprendimento automatico, il prompt è diventato il modo in cui la macchina eseguiva gli input.
Nessuno l'ha chiesto, è successo e basta!
In un documento, nel 2021, i ricercatori di Stanford hanno evidenziato come i modelli basati su trasformatore siano diventati modelli fondamentali.
A che serve la prompt engineering o ingegneria dei prompt ?
La motivazione alla base dell'ingegneria dei prompt può essere difficile da capire alla lettera , quindi descriviamo l'idea con un esempio.
Immagina di creare una piattaforma di consegna di cibo online e di possedere migliaia di immagini di verdure diverse da includere nel sito.
L'unico problema è che nessuno dei metadati dell'immagine descrive quali verdure si trovano in quali foto.
A questo punto, potresti manualmente ordinare noiosamente le immagini e posizionare le foto di patate nella cartella delle patate, le foto dei broccoli nella cartella dei broccoli e così via.
Potresti anche far etichettare tutte le immagini attraverso un classificatore per ordinarle più facilmente ma, come scoprirai, addestrare il modello del classificatore richiede ancora dati etichettati. E di conseguenza il tuo lavoro manuale...
Utilizzando l'ingegneria dei prompt, puoi scrivere un prompt basato su testo che ritieni produrrà i migliori risultati di classificazione delle immagini.
Ad esempio, potresti dire al modello di mostrare " un'immagine contenente patate ". La struttura di questo prompt – o l'affermazione che definisce come il modello riconosce le immagini – è fondamentale per l'ingegneria del prompt.
Scrivere il miglior prompt è spesso una questione di tentativi ed errori. In effetti, il prompt " un'immagine contenente patate" è abbastanza diverso da " una foto di patate" o " una raccolta di patate ".
Una guida al Prompt Engineering
Esistono molti fattori che potrebbero influenzare le prestazioni di un sistema basato su prompt, come la scelta del modello linguistico, il modo in cui viene formulato il prompt e se i parametri del modello linguistico sono ottimizzati o bloccati. Li discuterò in questa sezione.
Si supponga di voler risolvere un'attività NLP utilizzando l'approccio di ingegneria dei prompt. Come puoi iniziare? Innanzitutto, classifichiamo le attività NLP in attività di classificazione e generazione di testo . Ti aiuterà in seguito nella selezione degli altri componenti.
La classificazione del testo è, ad esempio, l'etichettatura degli argomenti, l'analisi del sentimento, il riconoscimento di entità con nome e l'inferenza del linguaggio naturale.
La generazione di testo è, ad esempio, traduzione, riepilogo del testo e risposta a domande a dominio aperto.
Scelta del modello linguistico per la Prompt Engineering
Ci sono un certo numero di LM che sono stati proposti finora. Differiscono per struttura, obiettivo di formazione, dominio e lingua. Quale dovresti scegliere? Ecco i tre tipi popolari di LM, classificati in base al metodo di allenamento e alla direzionalità.
Modelli linguistici: i LM da sinistra a destra vengono addestrati per prevedere il token successivo data una sequenza di token, da sinistra a destra, un token alla volta. I modelli linguistici formati in questo modo sono anche noti come modelli autoregressivi . I modelli linguistici LM da sinistra a destra sono stati dominanti fino a poco tempo fa con l'introduzione di modelli linguistici mascherati.
Applicazione: classificazione e generazione di testi
Modelli di linguaggio mascherato: a un modello di linguaggio mascherato (MLM) viene fornito un testo come input in cui sono mascherati diversi token. Viene quindi addestrato a prevedere correttamente queste posizioni mascherate. MLM è una variante dei modelli di codifica automatica , che si riferiscono a modelli che sono stati addestrati con sequenze di input danneggiate e tentano di ricostruire la sequenza originale. Uno dei modelli più popolari di questo tipo è BERT, che si basa su trasformatori bidirezionali. In generale, gli MLM sono più adatti per le attività di classificazione del testo rispetto agli LM da sinistra a destra. Il motivo è che le attività di classificazione del testo possono spesso essere formulate come testi cloze, in linea con l'obiettivo di formazione dei MLM. I modelli basati su BERT non sono adatti per attività di generazione di testo a causa del loro obiettivo di formazione, bidirezionalità e formato di output, che non sono ottimizzati per la generazione di testi. Tuttavia, diversi lavori hanno mostrato modi per utilizzare BERT per la generazione di testo, come i lavori di Chen et al. (2019) e Wang e Cho (2019) .
Applicazione: classificazione del testo
Modelli di linguaggio codificatore-decodificatore: i modelli codificatore-decodificatore (noti anche come modelli da sequenza a sequenza) sono un'architettura comune per attività di generazione di testo condizionale come la traduzione automatica o il riepilogo del testo, in cui l'output non è una mappatura diretta dell'input ( Jurafsky e Martin, 2009) . I modelli di linguaggio codificatore-decodificatore possono essere naturalmente utilizzati per le attività di generazione del testo. Funzionano anche per compiti non di generazione che possono essere riformulati come problemi di generazione sotto forma di prompt. Ad esempio, estrazione di informazioni e risposta alle domande .
Applicazione: classificazione e generazione di testi
Vediamolo in azione in un'altra applicazione di esempio: Codex Babylon . Codex Babylon è un'applicazione Typescript che utilizza BabylonJS per il rendering di una scena 3D.
BabylonJS è un framework popolare per il rendering 3D. Codex Babylon fornisce un'interfaccia web per inserire comandi in linguaggio naturale per posizionare e manipolare oggetti in una scena 3D. I comandi vengono inviati a Codex per generare il codice che posiziona gli oggetti nella scena. Il codice viene quindi eseguito dall'app nel browser.
Nell'animazione di seguito, vedi l'input del linguaggio naturale per creare e manipolare cubi, il codice BabylonJS generato da Codex e quindi l'output visualizzato direttamente nel browser.
Esistono aziende che assumono prompt engineering?
Ebbene si, come puoi vedere con i tuoi stessi occhi ci sono 4739 posizioni lavorative aperte!
Conclusione sui Prompt engineering
Non c'è dubbio che una l' ingegneria dei prompt ridefinirà il modo in cui guardiamo alla tecnologia, il modo in cui comunichiamo con i nostri dispositivi e abbasserà la barriera all'accesso alla tecnologia avanzata. Ciò consente all'IA di scrivere, creare e conversare. Ha un grande potenziale per creare una serie di opportunità commerciali e fare un passo da gigante verso una società ricca. Finirà per creare interruzioni e nuove opportunità di carriera come sottoprodotto di questi progressi. L'ingegneria tempestiva in un certo senso è il passo fondamentale verso la creazione delle carriere del futuro!
.png)
