La parola “chat-bot” è una parola composita tratta dal dizionario inglese dove con “chat” si intende l’azione del “chiacchierare” e con la contrazione “bot” si intende “robot”.
Solitamente però si identificano i/le chabot come macchine virtuali ovvero software che in base a degli algoritmi di “intelligenza artificiale”, sono in grado di interagire verbalmente con gli esseri umani.
Un chatbot robotico è un robot reale, che possiede, oltre ad una gestione software di interazione colloquiale, anche degli apparati hardware, quali sensori,
motori, strutture e parti in movimento.
L’espressione più performante di queste macchine sono i robot umanoidi.
Non serve necessariamente che il robot abbia delle sembianze umane, per essere un piccolo chatbot, per esempio Q.bo STEM è un esempio di chatbot che coniuga bene alcuni aspetti del chatbot. Ha una estetica simpatica non necessariamente umana, ma in grado di assumere delle forme che generano empatia.
1. Progettazione di un chat bot robotico
Quindi, la prima categoria di ingredienti sono proprio le apparecchiature, le parti meccaniche, le plastiche che danno forma al robottino.
Ma alla base, c’è la progettazione ergonomica ed estetica, quindi, una delle “skills” richieste è quella di saper utilizzare degli strumenti adatti a generare almeno
il design dell’oggetto. Per gli appassionati di disegno tecnico, ci sono moltissimi software che possono essere utilizzati per disegnare un robot anche in tridimensionale, oppure anche in “virtuale”.
Ovvio, ci sono dei software con altissime prestazioni, ma sono a pagamento, però in rete esistono anche degli software gratuiti, che permettono di arrivare anche a dei buoni livelli di progettazione, mi riferisco ad esempio a “FreeCad”: un software di disegno 3D completo e molto poliedrico.
Si tratta di un potente programma open source multipiattaforma che si può installare in windows Mac e linux per eseguire disegni tecnici 2D e 3D.
Il software consente di lavorare in una moltitudine di ambienti che possono essere impiegati per la creazione di disegni, di oggetti tridimensionali, di files per il
controllo delle macchine a controllo numerico, renderizzazione, creazione di animazioni, ecc.
FreeCAD è un CAD completamente gratuito, progettato in particolare per creare modelli in 3D ed è rivolto soprattutto all’ingegneria meccanica ma è adatto anche per altre applicazioni ingegneristiche ed al settore dell’architettura.
Ovvio che non potrà competere ad esempio con colossi come Solidworks, ma con tutti i suoi limiti, consente de avere a disposizione una discreta interfaccia utente, e di generare dei disegni tridimensionali di buona qualità.
Le carenze possono essere date da analisi dinamiche delle meccaniche e altre prestazioni avanzate, che sono più consone a framework for software engineering
professionali, ma per iniziare a progettare delle strutture robotiche adeguate a dei piccoli chatbot, direi che è sufficiente e propedeutico. Alcuni esempi:
Tutto sommato, direi che è una buona base di partenza per cercare di realizzare, almeno sotto il profilo progettuale, la struttura, il disegno, l’immagine grafica
tridimensionale, dei vari componenti, apparecchiature e parti ergonomiche, che al limite, possono anche essere realizzate utilizzando una stampante
tridimensionale.
E’ anche vero che ci sono robot venduti in scatola di montaggio ( anche Q.bo STEM lo era), ma volete mettere cosa significa dare una vostra impronta
personale all’estetica (e anche alla funzionalità) del prodotto?
2. La realtà virtuale
Con il termine realtà virtuale (a volte abbreviato in VR dall'inglese virtual reality) si identificano vari modi di simulazione di situazioni reali mediante l'utilizzo
di computer e l'ausilio di interfacce appositamente sviluppate, quindi non è strettamente necessario che il robot sia fisicamente realizzato, una alternativa è quella di utilizzare proprio strumenti che permettono di sviluppare il prodotto per l’utilizzo della realtà virtuale.
Gazebo è un toolkit gratuito di simulazione robotica open source progettato per aiutare gli ingegneri a testare algoritmi, progettare virtualmente i loro robot, addestrare sistemi di intelligenza artificiale con scenari realistici e altro ancora.
Il sistema presenta dozzine di caratteristiche e funzioni, inoltre è supportato da dozzine di ingegneri robotici in tutto il mondo.
Gazebo riceve aggiornamenti frequenti e correzioni di bug dalla comunità di sviluppatori attivi, il che lo rende affidabile per l'utilizzo nel mondo reale.
Il progetto è stato avviato nell'autunno del 2002 presso la University of Southern California. È diventato un progetto open source di livello mondiale.
Caratteristiche:
• Open-source
• Simulazione di robotica dinamica
• Simulazione grafica 3D avanzata di alta qualità
• Kit di simulazione sensori ricco
• Simulazione del rumore
• Sistema di moduli con dozzine di plugin
• Ricco set di modelli di robot
• Supporto per il trasporto TCP/IP
• Simulazione delle nuvole
• Ricchi strumenti da riga di comando
• Sviluppatore e documentazione di facile utilizzo
• API a misura di sviluppatore
• GUI intuitiva
• Tasti di scelta rapida e set di interazione del mouse
• Ricco di comunità di ingegneri e sviluppatori
Risorse:
http://gazebosim.org/
https://github.com/osrf/gazebo
Gazebo è sicuramente un software fondamentale di ROS.
ROS (Robot Operating System) è un kit di sviluppo software open source per applicazioni di robotica. ROS offre una piattaforma software standard agli sviluppatori di tutti i settori che si occupano di ricerca e di prototipazione ed è utilizzato fino all'implementazione dei processi di produzione. A tal proposito vi rimando ad un mio articolo che trattava proprio questo argomento: Clicca qui per saperne di più...
Alcuni esempi di applicazioni su ambienti virtuali realizzati con Gazebo:
3. Circuiti elettronici di un chat bot robotico
Molte apparecchiature che vengono utilizzate nei robot, sono apparecchiature commerciali, ma ci può anche essere l’esigenza di dover progettare delle apposite
schede elettroniche PCB (dall'acronimo inglese Printed Circuit Board), ad esempio per il comando dei motori, dei microfoni, dell’altoparlante, o di altri sensori
particolari, come touch sensor, rilevatori radar, sonar ecc.
A questo punto, servono competenze specifiche in elettronica, o perlomeno, competenze sulla progettazione di layout per circuiterie elettroniche.
EAGLE di Autodesk, ad esempio, è un software EDA (Electronic Design Automation) che consente ai progettisti di circuiti stampati
(PCB) di collegare i componenti, partendo da diagrammi schematici.
A tal riguardo, consiglio di acquistare il libro “The ultimate PCB designer. Edizione 2021”
Il libro, edito nel 2021, fa parte della collana di trattati di elettronica del dott. Gottardo.
Basato principalmente sul CAD Eagle, di Autodesk, è in realtà spendibile per qualunque prodotto software. Mirato all’apprendimento delle procedure di progettazione e sviluppo di PCB professionali ma contiene anche una spiegazione pratica su come realizzare in casa prototipi con tecniche di fotoincisione e corrosione facilmente replicabili senza grossi investimenti.
Sono comunque interessanti anche software quali “Proteus”.
la Proteus Design Suite si trova in scuole superiori, college e università di tutto il mondo, insegnando design embedded e layout PCB a decine di migliaia di studenti ogni anno.
Sono dei software che consentono anche l’analisi circuitale, quindi particolarmente indicati anche in fase di progettazione elettronica dei dispositivi.
Per iniziare però, si può anche utilizzare del software gratuito oppure online, magari per provare a disegnare un “ponte ad H”, per poi passare ad un “PWM”.
Per farsi un’idea della difficoltà di realizzazione si potrebbe prendere visione di alcune pagine di questo sito
4. Sistemi operativi di un chat bot robotico
La realizzazione di una chatbot robotico richiede sicuramente che, chi si approccia a compiere questo percorso, lo faccia a piccoli passi ed usufruisca di tutte e
due le gambe, appoggiando bene i piedi a terra, nel senso pratico, anche se il robot poi si muoverà su rotelle! E non abbia la testa tra le nuvole, anche se poi il
robot potrebbe anche volare! C’è un oceano di cose da prendere in considerazione, anche se si vuole costruire un piccolo catamarano.
L’impresa può sembrare titanica, anche se si tratta di progettare un piccolo robottino,
Da una parte c’è l’hardware del sistema, che come accennato sopra, richiede parecchie competenze, e l’altra è il software, che ne richiede altrettante.
L’hardware del sistema è legato al software, che, per chi inizia ad entrare in questo ambito della materia STEM (dall'inglese science, technology, engineering
and mathematics), quasi sempre è una versione GNU Linux.
Il Progetto GNU supporta sia i sistemi GNU/Linux sia il sistema GNU.
La Free Software Foundation (FSF) ha finanziato la riscrittura delle estensioni relative a Linux della libreria GNU C, in modo che ora sono ben integrate.
Oggi esistono numerose varianti del sistema GNU/Linux, di solito vengono chiamate “distribuzioni”, in particolare, ad esempio, ci sono sistemi operativi che
vengono installati su delle SBC (acronimo inglese di single board computer), una soluzione molto flessibile che si presenta come una scheda compatta che offre
tutte le principali interfacce del mondo PC.
Le soluzioni single-board computer inoltre possono essere personalizzate e ben interfacciate, dal punto di vista hardware, proprio quello che avviene ad esempio
per il Raspberry Pi, che è soltanto uno dei molti reperibili sul mercato, ma che usufruisce di sistemi operativi free, come le distribuzioni GNU/Linux.
Ma ci sono almeno 65 tipi di SBC nel mercato, alcuni, con sistemi operativi proprietari.
Da quanto sopra, è evidente che, la prima competenza indispensabile, per chi si inoltra in questo cammino, è l’apprendomento dei linguaggi o script di shell, per
Linux ad esempio, Bash è una shell testuale che è stata ideata da Stephen Bourne, da cui prende il nome. E' l'evoluzione della shell standard /bin/sh di Unix.
Si tratta di un interprete testuale di comandi che ne permette l’esecuzione.
I comandi sono digitati tramite la linea di comando e possono anche essere incorporati in file eseguibili, contenenti procedure ( script ). Uno script quindi è costituito da una serie di comandi operativi. Può contenere variabili e strutture di controllo, come un linguaggio di programmazione, ma non deve essere compilato.
Il software interprete del sistema lo legge e lo esegue direttamente.
E’ quella parte di software che permette di caricare le “software suite”, “piattaforme”, ovvero, dei “contenitori” di programmi informatici che rispondono a esigenze diverse, nello stesso ambito operativo, famosa è Microsoft office, che nell’ambiente Linux corrisponde a Libre Office o Open Office.
Per quanto riguarda alcune applicazioni di intelligenza artificiale, nell’ambito della computer vision, OpenCV (acronimo in lingua inglese di Open Source
Computer Vision Library) è una libreria software multipiattaforma nell'ambito della visione artificiale in tempo reale.
5. A.I. e librerie di programmi per un chat bot robotico
Il chatbot robotico, per essere tale, deve avere la possibilità di interagire con il mondo esterno, non necessariamente deambulare o muoversi e camminare a due
o a sei gambe, volare oppure navigare, ma almeno deve vedere, in alcuni casi riconoscere ostacoli, forme, oggetti, volti, per poter interagire e chiacchierare.
La conoscenza di OpenCV, oppure di qualche altra alternativa per la gestione immagini e video costituisce quindi una parte fondamentale delle competenze da mettere in campo.
Il chatbot, deve interagire con gli umani, deve quindi essere in grado di effettuare un rilevamento facciale (face detection), se non addirittura un riconoscimento facciale (Facial recognition), laddove è consentito. A questo punto subentrano le librerie specifiche di Intelligenza artificiale, che, nel caso della computervision, possono “lavorare sotto il cofano” di altre applicazioni, oppure essere esplicitamente programmate. Se viene richiesta una interazione funzionale, il chatbot deve essere in grado di riconoscere perlomeno dei comandi specifici, quindi si necessita di poter
eseguire perlomeno una trasposizione da “parlato” a testo.
La trascrizione del del parlato in testo (STT) in tempo reale viene basata su tecniche di machine learning. Speech-to-Text di google, ad esempio, converte con precisione la voce in testo, utilizzando un'API basata sulle migliori ricerche e tecnologie AI di Google.
Nelle versioni più elementari di ChatBot, però, si deve essere in grado anche di fornire in output almeno una voce sintetizzata trasformando del testo, in parlato (TTS).
Da quanto sopra è palese che, per fare queste operazioni, si debba essere in grado, non solo di saper installare i software necessari, ma anche di saper
programmare, mediante dei linguaggi dedicati le varie “skills” del Chatbot.
Attualmente credo che il linguaggio più indicato per questa tipologia informatica sia Python, che è generalmente più orientato al linguaggio umano, che non il C o il C++, che, a mio avviso trova migliori applicazioni se orientato alla parte hardware o per sistemi embedded.
La libreria python, per quanto concerne l’intelligenza artificiale è vastissima e permette di arrivare alla analisi del linguaggio parlato NLP (Natural Language Processing).
Per concludere, vorrei solo accennare ad alcune di queste librerie di riferimento:
PyTorch è una libreria di tensori ottimizzata per il deep learning tramite GPU e CPU, che si basa su NumPy. NumPy è una libreria open source per il linguaggio di programmazione Python, che aggiunge supporto a grandi matrici e array
multidimensionali insieme a una vasta collezione di funzioni matematiche di alto livello per poter operare efficientemente su queste strutture dati.
Questa è una libreria software open source per l'apprendimento automatico (machine learning), che fornisce moduli sperimentati e ottimizzati, utili nella realizzazione di algoritmi per diversi tipi di compiti percettivi e di comprensione del linguaggio.
Fondamentalmente è una generazione di API, (application programming interface), utilizzata da molti team attivi sia in ambiti di ricerca scientifica, sia in ambiti di produzione. Viene utilizzato da prodotti commerciali Google come il riconoscimento vocale, Gmail, Google Foto, e Ricerca. TensorFlow fu sviluppato dal team Google Brain e reso disponibile il 9 novembre 2015, nei termini della licenza open source Apache 2.0.
E' una libreria scritta in Python (rilasciata sotto licenza MIT).
Si tratta di software open source per l’apprendimento automatico e le reti neurali e supporta come back-end TensorFlow (dal 2017). Keras offre moduli utili per organizzare differenti livelli. Il tipo principale di modello è quello sequenziale, ovvero una pila lineare di livelli.
Keras consente una prototipazione facile e veloce, supporta sia reti convoluzionali (CNN) che reti ricorrenti (RNN) o combinazioni di entrambi, supporta
schemi di connettività come multi-input e multi-output e funziona sia su CPU che GPU.
Keras quindi è una libreria di alto livello, mentre Tensorflow è una libreria di basso livello denominata backend, proprio per il ruolo che svolge nella pila software.
Questa è una libreria open source di apprendimento automatico per il linguaggio di programmazione Python.
Contiene algoritmi di classificazione, regressione e clustering (raggruppamento) e macchine a vettori di supporto, regressione logistica, classificatore bayesiano, k-mean e DBSCAN, ed è progettato per operare con le librerie NumPy e SciPy. scikit-learn utilizzata anche dalla I.A. di Google.
Pandas DataFrame è una struttura dati tabulare bidimensionale, potenzialmente eterogenea, con assi etichettati (righe e colonne).
Panda è una libreria Python che consente di lavorare con dati organizzati utilizzando righe e colonne chiamate "dati tabulari". Similmente ad foglio di calcolo come Excel, viene utilizzata per manipolare i dati tabulari.
Pandas si può usare per attività simili per le quali si userebbe Excel, o qualunque altro spreadsheet come la semplice manipolazione dei dati, ma può anche
essere utilizzato per potenziare attività complesse di data science come l’apprendimento automatico. Se il chatbot è dotato di un touchscreen, è l’ideale per la presentazione dei dati.
Ma, il chatbot robotico, per essere all’altezza del suo nome, deve implementare degli algoritmi rivolti al processamento del linguaggio naturale umano.
NLTK è una piattaforma leader per la creazione di programmi Python per lavorare con i dati del linguaggio umano. Fornisce interfacce di facile utilizzo per
oltre 50 corpora e risorse lessicali come WordNet, insieme a una suite di librerie di elaborazione del testo per classificazione, tokenizzazione, stemming, tagging, analisi e ragionamento semantico, wrapper per librerie NLP di livello industriale, e un forum di discussione attivo .
Grazie a una guida pratica che introduce i fondamenti della programmazione insieme ad argomenti di linguistica computazionale, oltre a una documentazione
API completa, NLTK è adatto a linguisti, ingegneri, studenti, educatori, ricercatori e utenti del settore. NLTK è disponibile per Windows, Mac OS X e Linux.
Soprattutto, NLTK è un progetto gratuito, open source e guidato dalla comunità.
NLTK è stato definito "uno strumento meraviglioso per insegnare e lavorare nella linguistica computazionale utilizzando Python" e "una straordinaria libreria
per giocare con il linguaggio naturale".
L'elaborazione del linguaggio naturale con Python fornisce un'introduzione pratica alla programmazione per l'elaborazione del linguaggio. Scritto dai creatori di
NLTK, guida il lettore attraverso i fondamenti della scrittura di programmi Python, del lavoro con i corpora, della categorizzazione del testo, dell'analisi della
struttura linguistica e altro ancora. La versione online del libro è stata aggiornata per Python 3 e NLTK 3. Ovviamente ci sono altri software che sono stati implementati da varie multinazionali al fine di rendere sempre più elevvate le prestazioni dei chatbot, in questo ambito, LaMDA (Language Model Fot Dialogue Applications), ne è un esempio lampante, chi non ha presente la vicenda scatenata dalla interazione di questa
A.I. e l’ingegnere dello staff di Google?.
GPT-3 è un software di intelligenza artificiale particolarmente efficiente nella produzione automatica di testi, creato da OpenAI.
Tecnicamente si tratta di un modello di linguaggio che utilizza il deep learning per generare testo simile a quello che produrrebbe un essere umano.
Il nome GPT-3, è un acronimo che sta per Generative Pre-trained Transformer, di terza generazione. Quindi un sistema generativo, pre-addestrato, e basato sui "Transformer".
Ma OpneAI, elabora fornisce molti altri prodotti che possono essere implementati, per esempio per generare ha elaborate la A.I. Dall-e.
Per concludere, vorrei precisare che questi sono solo alcuni degli “ingredienti” che si possono utilizzare per alimentare la nostra mente e prepararla ad affrontare
nel modo più funzionale possibile, la scorpacciata che ci aspetta quanto vogliamo digerire un buon piatto di STEM.
Creiamo un chatbot Robot
Spero di avere solleticato l’appetito di qaulcuno dei lettori di questo articolo, e non posso lasciarvi a bocca asciutta, quindi, cerco di darvene un piccolo
assaggio, con dei bocconcini di codice che ho utilizzato per fare in modo che Q.bo STEM, salutasse, quando riconosce un volto, di fronte o di profilo.
Sono spezzoni di codice in python, che spero possano rendere l’idea di che cosa significhi produrre del codice per un chatbot robotico.
La parte iniziale del programma è dedicata alle procedure di importazione delle librerie necessarie:
#!/usr/bin/env python3
import QboCmd_test_base_v3
import serial
import cv2 as cv
import numpy as np
import subprocess
import time
import yamlLa seconda parte di questo spezzone di codice riporta un esempio di controllo sulla comunicazione della porta seriale che determina il controllo delle periferiche
del robot.
port = '/dev/serial0'
# Open serial port
ser = serial.Serial(port, baudrate=115200, bytesize = serial.EIGHTBITS, stopbits = serial.STOPBITS_ONE, parity = serial.PARITY_NONE, rtscts
= False, dsrdtr =False, timeout = 0)
#altro codice di controllo
print ("Open serial port sucessfully.")
print(ser.name)
QBO = QboCmd_test_base_v3.Controller(ser)
print (ser)Le seguenti righe di codice riportano un esempio di settaggio delle variabili globali e locali necessarie per il corretto funzionamento del programma.
Ksp = 100 #speed = 100
fw = 320
fh = 280
fwc = fw/2
fhc =fh/2
center = fwc, fhc
f_frameCenter = fwc, fhc
p_frameCenter = fwc, fhc
f_face = None
p_face = None
#logic flags
f_Facedet = None
p_Facedet = None... segueno altri settaggi....
Caricamento del file di configurazione e predisposizione per un minimale sistema di colloquio:
config = yaml.safe_load(open("configQbo.yml"))
print(str(config["volume"]))
phrases = (
"ciao, ti ho visto! Vuoi dirmi qualcosa?",
"buogiorno! cosa facciamo?",
"heilà, dimmi!",
"scusa, ero distratto! adesso ti ho visto, ti ascolto!",
"ci sono! adesso ti vedo! cosa posso fare?",
"ciao! vuoi che faccia qualcosa?",
"guarda che ti vedo sai? ti ascolto anche!",
"eccoti quì! finalmete, dimmi, ti posso essere utile?",
"non è stato facile, ma ti ho visto! ti ascolto!",
"che piacere vederti, facciamo qualcosa assieme?"
)Caricamento degli algoritmi per il riconoscimento facciale:
f_faceCascade = cv.CascadeClassifier("/home/pi/.local/lib/python3.7/site-packages/cv2/data/haarcascade_frontalface_alt2.xml")
p_faceCascade = cv.CascadeClassifier("/home/pi/.local/lib/python3.7/site-packages/cv2/data/haarcascade_profileface.xml").... segue altro codice di settaggio per acquisizione video ecc.
script delle funzioni di programma:
def ServoHead(): #funzioni di movimentazione della testa
def F_capture(video_capture): #funzioni sul rilevamento della faccia
def P_capture(video_capture): #funzioni di rilevamento del profilo#Funzione di attivazione della procedura di saluto:
def FaceControl():
global Home_x, Home_y, Xcoor, Ycoor, Face_detected
if f_Facedet == True or p_Facedet == True:
Face_detected = True
print ("Face_detected = ", Face_detected)
speaker_ok = False
if Face_detected == True and speaker_ok == False:
t_ini = time.time()
print("sepaker", speaker_ok)
Speech_it(phrases[int(np.random.rand()*10)])
speaker_ok = True
print ("t_ini",t_ini," ", "sepaker_ok=", speaker_ok)
Face_detected = False
print ("time", time.time())
if time.time() - t_ini > 100:
print ("°°°°°°°°°°°")
print ("time:", time.time(), "t_ini", t_ini)
t_ini = time.time()
speaker_ok = False
... seguono altre line di codice
Funzione di procedura di saluto effettuata con le condizioni impostate sopra:
def Speech_it(text_to_speech ):
... segue codice per l’attivazione dello speaker ...Altra funzione ausiliaria per il controllo del tocco
def WaitForTouch():Procedura di loop:
while True:
fr_time = time.time()
#print ("time: " + str(time.time() - fr_time))
F_capture(video_capture)
P_capture(video_capture)
#cv2.circle(f_frame, f_frameCenter, radius=4, color=(255, 0, 0), thickness=-1)
#cv.imshow('FVideo', f_frame)
#cv2.circle(p_frame, p_frameCenter, radius=4, color=(0, 255, 0), thickness=-1)
#cv2.imshow('PVideo', p_frame)
FaceControl()
time.sleep(1)
#WaitForTouch()
if cv.waitKey(1) & 0xFF == ord('q') : #== ord('q')
break
video_capture.release()
cv2.destroyAllWindows()
QBO.SetNoseColor(0)
time.sleep(0.5)
QBO.SetMouth(0)Questo sono delle linee di codice estrapolate da un file di test preliminare per il controllo delle potenzialità espressive e funzionali del ChatBot. Q.bo STEM.
Q.bo STEM è un ChatBot Robotico versatile, che può essere utilizzato in semplici impieghi, come ad esempio promoter di articoli o gadget, puo fare anche home sourveillance, ma la sua vera natura attitudinale è quella di essere impiegato nella didattica di apprendimento per l’utilizzo etico dell’intelligenza artificiale.
Per questo mi sono impegnato per un lungo periodo a scrivere il libro di testo ROBOTICS in EDUCATION, che spero venga apprezzato da insegnanti e docenti delle scuole che si fregiano di insegnare tecniche STEM o STEAM.
Nella sua forma più elementare, STEM sta per Scienza, Tecnologia, Ingegneria e Matematica (in lingua inglese).
In alternativa, STEAM sta per Scienza, Tecnologia, Ingegneria, Arti e Matematica.
Ma l’educazione STEM è molto più che unire insieme i titoli delle materie, è una filosofia dell’educazione che abbraccia abilità e materie di insegnamento in un
modo che assomiglia alla vita reale.
Il Libro ROBOTICS IN EDUCATION è acuistabile sulle piattaforme:
( Acquistabile con il Bonus Cultura e Carta docente )
Grazie per l’attenzione, Romeo Ceccato.
.png)
