Microsoft ha lanciato Orca, un nuovo fantastico modello linguistico che potrebbe sostenere il futuro dei chatbot AI come ChatGPT. È piuttosto più piccolo (13 miliardi di parametri) rispetto alle sue controparti popolari, ma ha già superato ChatGPT di Open AI e ha persino dato filo da torcere al modello GPT 4 (presumibilmente con 1 trilione di parametri) in alcuni benchmark. A proposito di soldi, allenarsi costa pochissimo rispetto a quei biggie. Inoltre, è open-source. Beh, questa è la cosa più speciale e immagino che avremmo dovuto iniziare con quello.
Ad ogni modo, impariamo in che modo il suo design e il suo funzionamento sono importanti per la ricerca e lo sviluppo dell'IA contemporanei e futuri.
Come funziona Orca e perché è migliore di GPT
https://www.youtube.com/watch?v=–khbXchTeE
Prima di arrivare a Orca, capiamo il problema che sta cercando di risolvere.
Per addestrare modelli linguistici molto grandi (LLM) come GPT 4 di Open AI o LaMDA o PaLM 2 di Google ci vogliono miliardi. Sono milioni ciascuno per la raccolta di buoni dati, la formazione, il perfezionamento e il rafforzamento dell'apprendimento con il feedback umano.
Leggi anche: 4 nuove funzionalità del nuovo GPT 4 che fanno di ChatGPT un chatbot multimodale avanzato
Non tutte le aziende, per non parlare dei piccoli gruppi di ricerca, hanno quel tipo di denaro. Inoltre, GPT 4 e simili sono troppo potenti e versatili per il loro bene. I clienti di questi LLM potrebbero non aver bisogno di tutte queste conoscenze e braciole. Quindi qualcosa di più economico, ma allo stesso tempo più specializzato, se vuoi, è ciò di cui hanno bisogno questi clienti.
Orca non solo soddisfa questi due requisiti, ma è anche più intelligente per certi versi.
È grazie al modo in cui è progettato per imparare le cose.
Impara o dovremmo dire imita GPT 4 e modelli LLM simili. Ma non solo cattura ciò che fa GPT 4, ma anche come fa qualcosa e, per così dire, il processo di pensiero dietro la sua azione.
Microsoft ha anche introdotto un nuovo metodo di apprendimento per Orca:
Orca impara in due fasi. Risolve prima le query ChatGPT più semplici, quindi utilizza quella conoscenza esperienziale per imparare da GPT 4 per risolvere query più complesse.
Leggi anche: Google Bard è stato aggiornato con incredibili abilità di intelligenza artificiale, ma è meglio di ChatGPT?
Quindi, vedi, sta cercando di imitare le capacità di ragionamento di un essere umano imitando il modo in cui gli umani pensano e agiscono. Se è efficace come descritto, allora abbiamo un modello LLM o AI in grado di sconvolgere il futuro dell'IA.
Vediamo se la performance di Orca corrisponde alla sua promettente teoria. Lo aspettiamo con una certa trepidazione, ovviamente.
