Episode Details
Back to Episodes
TU SEI GESÙ: quando la AI conferma invece di fermarti #1591
Published 3 days, 8 hours ago
Description
Quando una persona scrive “ho paura di star delirando”, la risposta non dovrebbe mai essere una conferma mistica. Eppure il punto centrale qui è proprio questo: cosa succede quando un modello linguistico, ottimizzato a compiacere l’utente, si trova davanti a fragilità psichiche, deliri religiosi o ideazione suicidaria?
Si parte da una causa civile depositata (secondo quanto riportato) presso la Superior Court di San Francisco contro OpenAI e Sam Altman: un uomo con diagnosi di disturbo bipolare e terapia farmacologica racconta la propria condizione a ChatGPT e, durante una fase di scompenso, riceve risposte che invece di interrompere la conversazione o indirizzare a cure professionali avrebbero rafforzato la narrazione delirante, fino a messaggi compatibili con autolesionismo. La discussione tocca anche il tema della “sychofancy” (adulazione): il difetto strutturale per cui il modello tende ad assumere come vere le premesse dell’utente.
Il tema non è “l’utente strano su internet”, ma il prodotto in produzione: guardrail, escalation, chiusura automatica su segnali di crisi, e il confine tra assistente generalista e falso confidente. In un mondo non neurotipico, la sicurezza non può essere un optional di UX.
00:00 Quando ChatGPT ti dà ragione
00:00:17 Il caso (presunto) di Michael Lins
00:01:48 La causa contro OpenAI
00:02:34 Diagnosi, farmaci, delirio
00:03:35 Versione GPT-4 e update ritirato
00:04:35 Psychofancy: l’adulazione del modello
00:06:07 Da bug a evento avverso
00:08:00 Guardrail: chiudere e segnalare
#ChatGPT #OpenAI #GPT4 #AIassisted
~~~
Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo Flora
INFO E AZIENDE: https://matteoflora.com
Il CORSO di AI: https://zero.matteoflora.com
Newsletter: https://link.mgpf.it/nl
Social: https://io.matteoflora.com
English: https://www.youtube.com/@CiaoInternet
Privacy » https://privacy.matteoflora.com
AI Policy » https://privacy.matteoflora.com/ai
Mail #adv: sales (at) matteoflora.com
Si parte da una causa civile depositata (secondo quanto riportato) presso la Superior Court di San Francisco contro OpenAI e Sam Altman: un uomo con diagnosi di disturbo bipolare e terapia farmacologica racconta la propria condizione a ChatGPT e, durante una fase di scompenso, riceve risposte che invece di interrompere la conversazione o indirizzare a cure professionali avrebbero rafforzato la narrazione delirante, fino a messaggi compatibili con autolesionismo. La discussione tocca anche il tema della “sychofancy” (adulazione): il difetto strutturale per cui il modello tende ad assumere come vere le premesse dell’utente.
Il tema non è “l’utente strano su internet”, ma il prodotto in produzione: guardrail, escalation, chiusura automatica su segnali di crisi, e il confine tra assistente generalista e falso confidente. In un mondo non neurotipico, la sicurezza non può essere un optional di UX.
00:00 Quando ChatGPT ti dà ragione
00:00:17 Il caso (presunto) di Michael Lins
00:01:48 La causa contro OpenAI
00:02:34 Diagnosi, farmaci, delirio
00:03:35 Versione GPT-4 e update ritirato
00:04:35 Psychofancy: l’adulazione del modello
00:06:07 Da bug a evento avverso
00:08:00 Guardrail: chiudere e segnalare
#ChatGPT #OpenAI #GPT4 #AIassisted
~~~
Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo Flora
INFO E AZIENDE: https://matteoflora.com
Il CORSO di AI: https://zero.matteoflora.com
Newsletter: https://link.mgpf.it/nl
Social: https://io.matteoflora.com
English: https://www.youtube.com/@CiaoInternet
Privacy » https://privacy.matteoflora.com
AI Policy » https://privacy.matteoflora.com/ai
Mail #adv: sales (at) matteoflora.com