Nella newsletter di Dicembre ci avete chiesto di testare JuliusAI, un chatbot basato sull’intelligenza artificiale e progettato specificamente per lavorare con i dati. Abbiamo pensato di mettere alla prova le capacità di JuliusAI nell’assisterci in un compito che affrontiamo spesso nel nostro lavoro di progettazione.

Abbiamo caricato un dataset di progetti europei finanziati dal programma Creative Europe, con l’obiettivo di verificare l’utilità di JuliusAI nell’esplorare i partenariati, analizzare i trend e supportare lo sviluppo di idee progettuali legate alla formazione ed alle competenze digitali.

Cosa abbiamo provato a fare

Per individuare in quali aspetti JuliusAI potesse effettivamente rappresentare una risorsa, abbiamo provato il funzionamento del tool nelle 4 fasi che tipicamente compongono un lavoro con i dati: 

  1. Caricamento del dataset;
  2. Valutazione della sua struttura e completezza dei dati (ed eventuale pulizia);
  3. Analisi tramite statistiche descrittive di base;
  4. Elaborazione di grafici per comunicare i dati.

Nel corso del lavoro, abbiamo chiesto a JuliusAI di filtrare i dati in base a parole chiave legate alla formazione e alle competenze digitali, e di fornire approfondimenti strategici basati sui risultati dell’analisi.

5 cose che ci sono piaciute

JuliusAI presenta delle caratteristiche che effettivamente facilitano il lavoro con i dati rispetto ad altri strumenti IA più generalisti. Per esempio:

  • C’è un archivio con tutti i file caricati e facilmente riutilizzabili (nel piano gratuito però rimangono in memoria per sole 2 ore);
  • La presenza di “workflow”, ovvero blocchi di prompt che possono essere riutilizzati e che permettono di risparmiare tempo ma anche di imparare attraverso l’esempio di altri utenti;
  • La funzionalità “advanced reasoning” che rende espliciti i passaggi in cui l’IA ha spacchettato il task che hai richiesto (funzionalità presente solo per utenti paganti);
  • L’opzione di poter scegliere se lavorare con Python o R;
  • La possibilità di fornire istruzioni e impostazioni personalizzate, che si può rivelare fondamentale in casi specifici.

3 cose che non ci sono piaciute… ed una riflessione generale

Sebbene lo strumento abbia mostrato potenzialità, sono emerse anche alcune criticità, in particolare:

  1. Il tier gratuito consente di inviare solo 15 messaggi al mese: pochi per riuscire a farsi un’idea delle potenzialità del tool e della sua utilità per il proprio lavoro;
  2. Ci sono dei bug nel salvataggio dei thread e dei file. Diverse volte il nostro thread è scomparso o non si sono salvati gli ultimi messaggi, portando non solo alla perdita del lavoro fatto ma anche al consumo dei messaggi che sono limitati;
  3. Non siamo riusciti a esportare l’SVG dei grafici, passaggio fondamentale per poterli modificare liberamente.

Oltre a questi aspetti specifici del tool, rimane a nostro avviso problematico e ingannevole pubblicizzare i chatbot come strumenti che permettono di fare “in pochi minuti” il lavoro di un data scientist, tramite una chat. I modelli utilizzati in questo esperimento, come quelli di tool simili, hanno mostrato fin dalle primissime righe il limite dei LLM nello svolgere l’analisi dati. 

Per esempio, di default il codice per il caricamento dei file salta eventuali righe con problemi di formattazione, invece di avvisarti e chiederti di risolverle. Chi non conosce Python, o non presta particolare attenzione al codice, potrebbe non accorgersi di questo comportamento, dato che non viene segnalato, come invece accadrebbe durante una programmazione tradizionale. E il rischio è di escludere informazioni importanti dal dataset poi utilizzato per l’analisi. 

Anche nella task di classificare i progetti per individuare quelli relativi alle competenze digitali, sulla base di keywords specificate, ci sono state fornite tre risposte diverse, con un’oscillazione non da poco e non giustificata dalla scelta delle keywords: 2,936 progetti nel primo tentativo, 183 nell’ultimo.

Per accertarci dell’accuratezza e attendibilità effettiva dell’analisi di JuliusAI abbiamo dovuto ripetere i passaggi autonomamente con Python, vanificando il risparmio di tempo ottenuto dall’uso del tool.

Il verdetto

Il nostro esperimento ci ricorda che i tool di IA dedicati alla data analysis tramite chat, e JuliusAI in particolare, possono essere un buon assistente quando si tratta di lavorare sui dati, sia velocizzando e automatizzando molti passaggi tecnici, sia per un supporto più creativo nelle fasi di brainstorming e ricerca. È fondamentale capire quali strumenti possono aiutarci ad usare l’IA per lavorare con i dati.

Nonostante queste potenzialità, sono state comunque riscontrate le allucinazioni tipiche delle IA, che possono portare a gravi errori e conclusioni false se non individuate e corrette in tempo. Per questo motivo, ricordiamo di non sottovalutare le competenze necessarie a lavorare con i dati tramite IA.

La nostra conclusione è che tool di chatbot come JuliusAI possono essere utili in task come:

  • Ricerca delle fonti;
  • Raccolta di idee su domande e angoli narrativi;
  • Esplorazione veloce dei dati (salvo non fidarsi al 100% ed essere disposti a verificare autonomamente);
  • Creazione di roadmap sui passaggi da eseguire per analizzare correttamente un dataset;
  • Miglioramento della chiarezza di titoli e spiegazioni dei grafici o consigli macroscopici su come migliorarne il design.

Rimane invece preferibile utilizzare strumenti tradizionali per l’analisi dati vera e propria oppure per il design finale di una persona esperta in grafica. I tool di IA sono infatti degli assistenti, ma sei tu che devi supervisionare il processo e sarai responsabile dei risultati.