Ora puoi addestrare ChatGPT sui tuoi documenti tramite API

Aug 28, 2023

Benj Edwards - 23 agosto 2023 20:16 UTC

Martedì, OpenAI ha annunciato la messa a punto di GPT-3.5 Turbo, il modello di intelligenza artificiale che alimenta la versione gratuita di ChatGPT, attraverso la sua API. Consente di addestrare il modello con dati personalizzati, come documenti aziendali o documentazione di progetto. OpenAI afferma che un modello ottimizzato può funzionare altrettanto bene di GPT-4 con costi inferiori in determinati scenari.

Nell'intelligenza artificiale, la messa a punto si riferisce al processo di prendere una rete neurale preaddestrata (come GPT-3.5 Turbo) e addestrarla ulteriormente su un set di dati diverso (come i dati personalizzati), che in genere è più piccolo e possibilmente correlato a un'attività specifica. Questo processo si basa sulla conoscenza acquisita dal modello durante la fase di formazione iniziale e lo perfeziona per un'applicazione specifica.

Quindi, in pratica, la messa a punto insegna a GPT-3.5 Turbo i contenuti personalizzati, come la documentazione del progetto o qualsiasi altro riferimento scritto. Ciò può tornare utile se desideri creare un assistente AI basato su GPT-3.5 che abbia molta familiarità con il tuo prodotto o servizio ma non ne sia a conoscenza nei suoi dati di addestramento (che, come promemoria, sono stati cancellati dal web prima di settembre 2021).

"Dal rilascio di GPT-3.5 Turbo, sviluppatori e aziende hanno chiesto la possibilità di personalizzare il modello per creare esperienze uniche e differenziate per i propri utenti", scrive OpenAI sul suo blog promozionale. "Con questo lancio, gli sviluppatori possono ora eseguire una messa a punto supervisionata per migliorare le prestazioni di questo modello per i loro casi d'uso."

Sebbene GPT-4, il cugino più potente di GPT-3.5, sia noto come generalista e adattabile a molti argomenti, è più lento e più costoso da eseguire. OpenAI sta proponendo la messa a punto 3.5 come un modo per ottenere prestazioni simili a GPT-4 in uno specifico dominio di conoscenza a un costo inferiore e con tempi di esecuzione più rapidi. "I primi test hanno dimostrato che una versione ottimizzata di GPT-3.5 Turbo può eguagliare, o addirittura superare, le capacità di base di livello GPT-4 su determinati compiti ristretti", scrivono.

Inoltre, OpenAI afferma che i modelli perfezionati forniscono “una migliore manovrabilità”, il che significa seguire meglio le istruzioni; "formattazione di output affidabile", che migliora la capacità del modello di generare in modo coerente testo in un formato come chiamate API o JSON; e "tono personalizzato", che può conferire un sapore o una personalità personalizzata a un chatbot.

OpenAI afferma che la messa a punto consente agli utenti di abbreviare le richieste e di risparmiare denaro nelle chiamate API OpenAI, che vengono fatturate per token. "I primi tester hanno ridotto le dimensioni dei prompt fino al 90% perfezionando le istruzioni nel modello stesso", afferma OpenAI. Al momento, la lunghezza del contesto per la messa a punto è fissata a 4.000 token, ma OpenAI afferma che la messa a punto si estenderà al modello da 16.000 token "più avanti in autunno".

A questo punto ti starai chiedendo come funziona l'utilizzo dei tuoi dati per addestrare GPT-3.5 e quanto costa. OpenAI presenta un processo semplificato sul suo blog che mostra l'impostazione di un prompt di sistema con l'API, il caricamento di file su OpenAI per la formazione e la creazione di un lavoro di messa a punto utilizzando lo strumento da riga di comando curl per interrogare un indirizzo web API. Una volta completato il processo di messa a punto, OpenAI afferma che il modello personalizzato è immediatamente disponibile per l'uso con gli stessi limiti di velocità del modello base. Maggiori dettagli possono essere trovati nella documentazione ufficiale di OpenAI.

Tutto ciò, ovviamente, ha un prezzo, suddiviso in costi di formazione e costi di utilizzo. Il training di GPT-3.5 costa $ 0,008 per 1.000 token. Durante la fase di utilizzo, l'accesso all'API costa $ 0,012 per 1.000 token per l'input di testo e $ 0,016 per 1.000 token per l'output di testo.

In confronto, il modello base 4k GPT-3.5 Turbo costa $ 0,0015 per 1.000 token in ingresso e $ 0,002 per 1.000 token in uscita, quindi il modello ottimizzato è circa otto volte più costoso da gestire. E mentre il modello di contesto 8K di GPT-4 è anche più economico con 0,03 dollari per 1.000 token in ingresso e 0,06 dollari per 1.000 token in uscita, OpenAI continua a sostenere che è possibile risparmiare denaro grazie alla ridotta necessità di suggerimenti nel modello ottimizzato. È una forzatura, ma in casi ristretti può essere applicabile.