Crea un chatbot addestrato sui tuoi dati tramite l'API OpenAI - SitePoint

Aug 23, 2023

In questo articolo imparerai come addestrare e testare il tuo chatbot utilizzando l'API OpenAI e come trasformarlo in un'app Web che puoi condividere con il mondo.

Poiché l’intelligenza artificiale ha rivoluzionato le tecnologie dell’informazione, molti l’hanno sfruttata utilizzando fornitori di API come OpenAI per integrare l’intelligenza artificiale nei propri dati.

Un modo particolarmente efficace per utilizzare l’intelligenza artificiale per i tuoi dati è creare il tuo chatbot.

Ad esempio, immagina di avere un set di dati composto da migliaia di report sugli utili aziendali. Ti piacerebbe esplorarlo e analizzarlo senza spendere ore del tuo tempo. Una buona opzione sarebbe quella di creare un chatbot per rispondere a qualsiasi domanda tu possa avere sui documenti, per evitare di doverli cercare manualmente.

Ad esempio, potresti chiedere "quale azienda ha registrato i migliori utili lo scorso trimestre?" - una domanda a cui di solito dovresti rispondere scavando manualmente nel tuo set di dati. Utilizzando un chatbot addestrato sui tuoi dati, puoi ottenere la risposta a questa domanda in pochi secondi.

Per iniziare a utilizzare il tuo chatbot personale, devi prima accedere all'API OpenAI. Per ottenere la chiave API OpenAI, registrati sul sito Web OpenAI. Quindi fai clic sull'icona del tuo profilo situata nell'angolo in alto a destra della home page, selezionaVisualizza le chiavi APIe fare clicCrea una nuova chiave segretaper generare una nuova chiave API.

Per questo tutorial utilizzerò la pagina Wikipedia per computer per creare un semplice chatbot in grado di rispondere a qualsiasi domanda generale sui computer e sulla loro storia.

È possibile scaricare il set di dati in formato testo dal repository GitHub di questo articolo.

Crea una nuova cartella in cui creerai il tuo chatbot. Quindi crea una cartella denominata chatbot_docs all'interno della cartella del progetto e incolla il file del set di dati in quella cartella. (Il nome della cartella non ha importanza, ma per questo tutorial è molto più semplice chiamarla chatbot_docs.)

Una volta che hai la chiave API e il file del set di dati, puoi iniziare con il codice vero e proprio.

Vai alla cartella del tuo progetto e crea un file Python vuoto all'interno della nuova cartella del progetto.

Dopo averlo fatto, scarica le librerie che utilizzeremo eseguendo quanto segue nel tuo terminale:

Infine, una volta installate tutte le librerie necessarie, incolla questo codice Python dal nostro repository nel tuo file Python.

Per questo tutorial, sto utilizzando il modello OpenAI gpt-3.5-turbo, poiché è il più veloce ed è il più conveniente. Come avrai notato se hai guardato il codice, ho impostato la temperatura del chatbot su 0. L'ho fatto per rendere il chatbot quanto più accurato possibile. ILtemperatura Il parametro determina la creatività del chatbot, dove una temperatura pari a 0 significa che il chatbot è sempre accurato nei fatti e una temperatura pari a 1 significa che il chatbot ha completa libertà di inventare risposte e dettagli per motivi di creatività, anche se sono non preciso. Più alta è la temperatura, più creativo e meno accurato sui fatti è il chatbot.

In tutto questo codice menziono la parola “embedding”. Questo è proprio ciò in cui viene trasformato il testo nel tuo documento Wikipedia per essere compreso e compreso dal chatbot. Ogni incorporamento è un elenco di numeri che vanno da -1 a 1 che associano ciascuna informazione in base a quanto è strettamente correlata a un'altra. Nel caso ti stia chiedendo cosa significhi text-embedding-ada-002, questo è solo il modello utilizzato per effettuare gli incorporamenti, perché è il più efficiente in termini di costi e tempo.

Questo codice crea un file CSV di incorporamento per ogni documento nella cartella chatbot_docs e poiché ne hai solo uno (ai fini di questo tutorial), crea solo un file di incorporamento. Ma se avessi più documenti, il codice creerebbe un file di incorporamento per ciascun documento. Questo approccio rende il tuo chatbot più scalabile.

Probabilmente ti starai anche chiedendo quale sia la parte con i pezzi:

Lasciatemi spiegare. Questo codice divide la pagina di Wikipedia sui computer in blocchi di 2000 caratteri e blocchi sovrapposti di 250 caratteri. Maggiore è la dimensione del blocco, maggiore è il contesto del chatbot, ma questo può anche renderlo più lento, quindi ho scelto 2000 come una bella via di mezzo tra 0 e 4096 (la dimensione massima del blocco) per questo tutorial.