Gemini, ChatGPT e Claude sono stati messi alla prova con lo stesso identico comando per realizzare un sito dedicato a una concessionaria di auto usate. Il confronto ha evidenziato risultati simili nella struttura di base, ma differenze importanti nella precisione delle immagini, nella qualità del design e nella capacità di interpretare le richieste non esplicitate.
gemini, chatgpt e claude alle prese con un sito per auto usate
la struttura principale è stata compresa da tutti i modelli
La richiesta prevedeva la creazione di un sito per una concessionaria di veicoli usati, con una homepage, una pagina dedicata all’inventario e una sezione per visualizzare i dettagli di ogni singola automobile. Il comando è stato mantenuto volutamente generico, così da verificare le capacità di ragionamento dei diversi sistemi di intelligenza artificiale.
Tutti e tre i modelli hanno compreso le indicazioni essenziali e hanno prodotto un sito funzionante. Nessuno ha interrotto il lavoro senza completarlo. Nei vari progetti sono comparsi anche i consueti messaggi promozionali di una concessionaria, compresi i riferimenti ai veicoli sottoposti a controlli e alla trasparenza dei prezzi.
Per il test sono state utilizzate le versioni più capaci e le impostazioni disponibili agli utenti gratuiti:
- Gemini 3.6 Flash con la modalità Extended Thinking attiva;
- ChatGPT con l’unica modalità Think disponibile;
- Claude Sonnet 5 con la funzione Thinking e il livello di impegno impostato su Extra.
Claude disponeva anche di un livello Max, ma con questa impostazione il modello non è riuscito a portare a termine l’attività prima di esaurire i token.
gemini mostra diversi problemi nelle immagini e nei prezzi
le automobili non corrispondono sempre ai modelli indicati
A prima vista, il risultato di Gemini appariva adeguato. Un’analisi più attenta ha però fatto emergere alcune criticità rilevanti. La scheda relativa a una Jeep Wrangler Unlimited Rubicon del 2020 mostrava, per esempio, l’immagine di una strada vuota, senza alcun veicolo.
Anche nella pagina dell’inventario era presente un modello privo di fotografia. Un’altra scheda, dedicata a una Ford F-150 Lariat 4×4 del 2019, presentava invece l’immagine di una Ferrari.
Le fotografie erano state selezionate in modo casuale e non risultavano abbinate correttamente ai nomi delle automobili. Pur raffigurando veicoli reali appartenenti a marchi conosciuti, nella maggior parte dei casi avevano poca o nessuna relazione con i modelli elencati.
Anche la gestione dei prezzi ha mostrato una capacità di ragionamento limitata. La maggior parte delle automobili aveva un costo quasi identico, nonostante appartenesse a categorie molto diverse.
claude interpreta meglio il contesto delle auto usate
immagini coerenti, condizioni dei veicoli e design più maturo
Claude ha ottenuto risultati più convincenti nella scelta delle immagini. Il modello ha individuato fotografie che rappresentavano gli stessi modelli indicati nelle schede. Inoltre, le automobili apparivano effettivamente usate e gli annunci comprendevano indicatori relativi alle condizioni, come i badge A+, A- e B.
Le immagini erano ad alta risoluzione e consentivano di osservare con maggiore facilità i dettagli dei veicoli. In alcuni casi erano visibili anche ammaccature e graffi, sebbene questa caratteristica non fosse stata richiesta in modo esplicito.
La differenza rispetto a Gemini era evidente anche nell’impostazione generale. Il progetto realizzato da Gemini ricordava maggiormente una pubblicità per automobili nuove, mentre quello di Claude risultava più coerente con una vera concessionaria di veicoli usati.
Anche il design complessivo del sito di Claude è apparso più curato. L’interfaccia è sembrata più matura, ordinata e professionale, mentre quella di Gemini appariva più improvvisata. ChatGPT si è collocato in una posizione intermedia: ha utilizzato fotografie casuali, ma alcune erano almeno coerenti con la tipologia di veicolo mostrata.
Le immagini generate da ChatGPT erano inoltre ad alta risoluzione e il sito presentava un design più rifinito rispetto a quello prodotto da Gemini. Il modello sembrava comprendere meglio la natura del progetto che stava costruendo.
claude ha avuto bisogno di un secondo tentativo
la prima versione utilizzava schizzi svg
Il primo approccio di Claude alle immagini è stato diverso da quello degli altri modelli. Il sistema ha spiegato che l’utilizzo di fotografie reali reperite online, soprattutto con loghi e marchi riconoscibili, avrebbe potuto creare problemi legati al copyright. Per questo motivo ha inizialmente prodotto schizzi in formato SVG invece di fotografie realistiche.
Poiché l’obiettivo era confrontare le capacità dei tre modelli, è stato richiesto a Claude di utilizzare immagini reali. Anche in questa fase non è stata inserita un’indicazione specifica sulle fotografie realistiche di auto usate. Il modello ha comunque interpretato autonomamente l’intento del progetto.
Dopo la modifica, Claude ha associato correttamente tutte le immagini ai rispettivi modelli e ha superato Gemini e ChatGPT sia in termini di accuratezza sia per la qualità del design.
claude è più lento ma ragiona come un designer
la velocità di esecuzione non coincide con la qualità finale
Il principale svantaggio di Claude è rappresentato dai tempi di realizzazione. Gemini e ChatGPT hanno completato il compito in meno di due minuti. Claude ha impiegato invece circa dieci minuti per aggiungere le immagini reali e ancora più tempo per produrre la prima versione del sito.
L’attesa è stata abbastanza lunga da far pensare che il processo si fosse bloccato. Il risultato finale, però, ha dimostrato che un tempo di elaborazione maggiore può essere utile quando il sistema deve valutare anche gli aspetti meno evidenti della richiesta.
Nel caso specifico, l’obiettivo era verificare se l’intelligenza artificiale fosse in grado di comprendere quale aspetto dovesse avere un sito dedicato alla vendita di automobili usate. Claude ha mostrato una capacità di ragionamento superiore, mentre gli altri modelli hanno completato tecnicamente l’attività compiendo alcune scelte poco accurate.
Il secondo tentativo richiesto a Claude è dipeso soprattutto dai suoi vincoli etici, non da un limite tecnico. Correggere tutti gli errori presenti nei risultati di Gemini e ChatGPT avrebbe richiesto più tempo rispetto all’utilizzo diretto di Claude e avrebbe potuto risultare complesso per chi non possiede competenze di sviluppo software.
Lascia un commento