Link alla notizia: https://www.hwupgrade.it/news/web/chatgpt-sono-sbagliate-piu-della-meta-delle-risposte-a-domande-di-programmazione_127457.html

L'intelligenza artificiale è imprecisa, anche nei compiti più tecnici. Ma il tono garbato e analitico delle risposte contribuisce ad aumentare la percezione di affidabilità

Click sul link per visualizzare la notizia.

non solo, e per alcuni linguaggi meno noti nemmeno dà una risposta

Non posso che confermare. E quando sono giuste l'implementazione proposta è da 3 media.
Certo ora esistono anche AI più specializzate di chatGPT per la programmazione ma GPT fa veramente pena.

L'altro grosso problema è l'incapacità degli utenti, non dico programmatori perché chiaramente non lo sono, di capire la scarsa qualità delle risposte,

contenere errori non significa che il codice sia sbagliato, ma che deve essere corretto. ...

Scusa puoi argomentare meglio, sarà il Venerdì ma non capisco cosa intendi

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

che magari chiedi un metodo per fare la moltiplicazione di due numeri. 10 righe codice di cui l'ultima con il return errata. Copi il codice, lo testi e correggi l'errore sull'ultima riga. C'è un errore? si ma l'intero metodo debuggato poi funziona e comunque ti sei risparmiato la scrittura di tutto il metodo...

Sarò vecchia scuola ma se ti serve il debug per rilevare un simile errore (non il banale esempio del return ma logico se conosci il linguaggio) non sei un programmatore. Se ti limiti a cut&paste e debug il risultato finale dubito sia un buon algoritmo e che possa mai diventarlo

concordo, poi tra il codice di chatgpt e quello appunto di stackoverflow, sul secondo posso "correggerlo" insieme all'AI stessa
Sinceramente se l'idea è che chatgpt programmi da sola, ovviamente siamo lontanissimi, ma è un ottimo sostituto di uno stackoverflow

Stackoverflow ti permette il confronto su design e implementazione non è da usare per chiedere spezzoni di codice per risolvere il compitino


Naturalmente solo semplici opinioni nessun attacco o altro. AI è sicuramente utile a fare velocemente codice che poi va quasi sicuramente riadattato all'esigenza specifica

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

Infatti non credo la colpa sia interamente del AI. Molto dipende da come viene costruito il prompt quindi dalla capacità di dettagliare il task.

Io non sono un grafico, ma vedo immagini generate da AI stupende. Se provo a generare immagini simili se va bene ottengo uno schizzo colorato con i gessetti

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

Niente di nuovo sotto il sole.

Do Users Write More Insecure Code with AI Assistants? (https://arxiv.org/abs/2211.03622)
We conduct the first large-scale user study examining how users interact with an AI Code assistant to solve a variety of security related tasks across different programming languages. Overall, we find that participants who had access to an AI assistant based on OpenAI's codex-davinci-002 model wrote significantly less secure code than those without access. Additionally, participants with access to an AI assistant were more likely to believe they wrote secure code than those without access to the AI assistant. Furthermore, we find that participants who trusted the AI less and engaged more with the language and format of their prompts (e.g. re-phrasing, adjusting temperature) provided code with fewer security vulnerabilities. Finally, in order to better inform the design of future AI-based Code assistants, we provide an in-depth analysis of participants' language and interaction behavior, as well as release our user interface as an instrument to conduct similar studies in the future.

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

Esatto.

Va anche detto che spesso è in grado di correggere da solo alcuni errori, dopo un po' di iterazioni e mostrandogli gli errori.
Molta strada da fare ma già adesso un tool utile per sveltire certi lavori di bassa complessità.

P.s.: Che non abbia una coscienza penso sia noto anche ai sassi, anche perché non è auspicabile che ce l'abbia: diventerebbe difficile da controllare e verrebbero introdotti anche problemi etici non indifferenti.

Io ho provato a fargli fare il codice piuttosto banale di convertire una stringa con caratteri e spazi e trasformarla in una stringa con ritorni a capo dove ogni riga doveva essere non più larga di un certo numero di pixel. Veniva usata una funzione che data una stringa ne dava la larghezza in pixel.

Il codice fornito da Chat GPT era corto ma del tutto inefficiente nel creare righe completamente riempite di parole prima di andare a capo. Ho dovuto scriverlo da me senza prendere alcun spunto dal codice fornito dall'AI.

Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.

E premio speciale va a chi ha inventato il gergo allucinazione (come se fosse un essere umano sotto l'uso di droghe o vaneggiamenti da febbre alta) per descrivere quello che di fatto è un errore.

Ci stanno spacciando per intelligenza artificiale una roba che tutto è meno ce intelligente

Quella propagandata per AI è semplicemente un sistema di correlazioni multiple tra dati anche tra loro omogenei coadiuvato da un'efficiente e velocissimo sistema di ricerca dati in una rete o albero, non c'è nulla d'intelligente

Io stesso diverso tempo fa ho voluto testare in chatGPT quella che ci propagandano intelligenza artificiale e ovviamente sono andato sul pesante ponendogli la seguente domanda

Ho uno spazio X in cui definisco una struttura topologica non T2 ed ho una sequenza numerabile di punti di X che converge in un punto di accumulazione a (non importa se a è un punto di X o non lo è); allora gli ho chiesto se a è unico

Be ChatGPT mi ha dato delle risposte assurde senza senso, e questa me la chiamate intelligenza?

Avremo l'intelligenza artificiale quando sarà capace di affrontare e risolvere problemi matematici soprattutto problemi storici che matematici per secoli non sono riusciti a risolvere

Ribadisco l'AI di oggi è semplicemente un efficiente sistema di percorrere alberi contenente dati anche non omogenei tra loro, ma quei dati non se li inventa gli vengono forniti proprio in quella fase chiamata autoapprendimento

Diciamo le cose come stanno, l'AI di oggi è un menomato mentale confrontato con l'intelligenza anche di un bambino di 4/6 anni

E’ stata la mia più grande delusione, recentemente.
Non pensavo che questa grande innovazione non fosse in grado di mettere in piedi due righe di codice per un problema semplice.

La programmazione è un atto creativo, che che se ne dica. Esistono infiniti modi per codificare *correttamente* lo stesso programma.

In ogni caso il problema mi sembra il solito del machine learning: garbage in -> garbage out.

Visto che in giro c'è una discreta quantità di codice buggato e/o talmente contorto da preferire quasi sempre riscriverlo da zero, non si può pretendere che la fuffa artificiale faccia poi tanto meglio.

Anche perché purtroppo il mondo del software è andato via via preferendo la complessità anziché preferire la semplicità delle soluzioni, il che molto spesso porta inesorabilmente a soluzioni fallimentari sul lungo termine.

Mah. Staremo a vedere.

PS: la stanza cinese di Searle (in risposta alle ipotesi del test di Turing) fa venire sufficienti dubbi sul fatto che manipolare simboli per dare risposte apparentemente corrette a delle domande, senza avere alcuna coscienza di ciò che viene chiesto, possa essere definito "intelligenza". Ma poco importa: al programmatore/dirigente mediocre Chat-GPT va più che bene.

Esulate un attimo dalla questione tecnica.
Questa parte è la più significativa:

le risposte articolate, analitiche e di particolare completezza, unitamente al linguaggio "garbato", vengano percepite come più convincenti,

Tradotto:
Si sono adoperati per rendere le risposte non necessariamente esatte ma assolutamente convincenti. Lo sforzo è lì.
Non vi ricorda niente?
Ne siamo immersi.

La supercazzola prematurata con scappellamento a destra come fosse Antani stuzzica sempre.

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.

La **luce** viaggia a una velocità costante nel vuoto, nota come **velocità della luce**. Questa velocità è di circa **299.792.458 metri al secondo**¹. Per calcolare quanto tempo impiega la luce a percorrere una distanza, possiamo utilizzare la formula:

$$
\text{Tempo} = \frac{\text{Distanza}}{\text{Velocità}}
$$

Nel caso di **1000 km**, possiamo calcolare il tempo impiegato dalla luce nel seguente modo:

1. Convertiamo la distanza in metri: \(1000 \, \text{km} = 1.000.000 \, \text{m}\).
2. Applichiamo la formula:

$$
\text{Tempo} = \frac{1.000.000 \, \text{m}}{299.792.458 \, \text{m/s}} \approx 3,34 \, \text{secondi}
$$

Quindi, la luce impiega circa **3,34 secondi** per percorrere **1000 km** nel vuoto¹.

Se hai altre domande o hai bisogno di ulteriori chiarimenti, sarò felice di aiutarti! 😊

Conversazione con Copilot 25/5/2024
(1) Quanto tempo impiega la luce a percorrere un metro - Chimica-online. https://www.chimica-online.it/fisica/quanto-tempo-impiega-la-luce-a-percorrere-un-metro.htm.
(2) Quanto ci mette la luce a percorrere 2 m? - ernesto.it. https://www.ernesto.it/faq/quanto-ci-mette-la-luce-a-percorrere-2-m.
(3) Quanto ci mette la luce a percorrere 1 km? - ernesto.it. https://www.ernesto.it/faq/quanto-ci-mette-la-luce-a-percorrere-1-km.
(4) Anno luce in anni terrestri: perché non ha senso - YouMath. https://www.youmath.it/domande-a-risposte/view/6689-anno-luce-in-anni-terrestri.html.
(5) A quale velocità viaggia la luce? | Sapere.it. https://www.sapere.it/sapere/strumenti/domande-risposte/scienza-tecnologia/velocita-della-luce.html.

E premio speciale va a chi ha inventato il gergo allucinazione (come se fosse un essere umano sotto l'uso di droghe o vaneggiamenti da febbre alta) per descrivere quello che di fatto è un errore.

Esatto, ma questo vale per tutto i termini utilizzati nelle reti neurali e nel machine learning (https://encrypted.tesio.it/2018/01/19/the-delusions-of-neural-networks.html).

tra poco verranno create IA specifiche per ogni ambito di utilizzo poichè i costi di diminuiranno grazie alla diffusione di processori specifici vedi Nvidia che nel tempo diminuiranno di prezzo e le memorie di massa sempre più capienti e meno costose almeno per gli HHD molte IA saranno ad uso privato ed aziendale sganciandosida queste di oggi filtrate e limitate. Questo è quello che temono i potentati attuali del pianeta Terra. Chi saprà programmare, costruire e manutenere un IA farà tanti soldi nel breve - medio periodo nel lungo prevedo che l' IA si possano autoprogrammare automaticamente. Che ne pensate ? sono troppo esagerato ?

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.
.

chat gpt 4:

Quindi, la luce impiega circa 0,00334 secondi a percorrere 1000 km.

ma poi ci saranno la chat gpt 5 e la 6 la 7 ecc ecc e tutte le sue cugine ma noi saremo evoluti di poco nel frattempo

con SAS e SQL (versioni specifiche di SQL, non generiche) non sbaglia praticamente mai...

e' efffettivamente vero che riesce a produrre SQL corretto in base alla domanda specifica, il che e' abbastanza interessante

Ripeto che un LLM non "sa" nulla, non "capisce", non "impara". Non ha una conoscenza né una coscienza, l'unica cosa che sa fare è mettere in fila parole statisticamente probabili. Questo implica errori. Dal recitare poesie e canzoni (inventate di sana pianta nonostante nel corpus esistano i testi originali) al programmare cose. Un premio speciale anche a quelli che affermano che una cosa che contiene errori non è sbagliata.
concordo. è un gioco statistico complicatissimo, ma è pur sempre un gioco statistico.
Conformismo Artificiale, più che intelligenza. Nel senso che dà la risposta più comune, diffusa e banale. Insomma, una specie di Wikipedia automatizzata. :D
In ogni caso il problema mi sembra il solito del machine learning: garbage in -> garbage out.

Visto che in giro c'è una discreta quantità di codice buggato e/o talmente contorto da preferire quasi sempre riscriverlo da zero, non si può pretendere che la fuffa artificiale faccia poi tanto meglio.
Esatto. :)

E’ stata la mia più grande delusione, recentemente.
Non pensavo che questa grande innovazione non fosse in grado di mettere in piedi due righe di codice per un problema semplice.
Questo sembra esattamente un testo scritto da chatgpt :p
confessa.

Esulate un attimo dalla questione tecnica.
Questa parte è la più significativa:

le risposte articolate, analitiche e di particolare completezza, unitamente al linguaggio "garbato", vengano percepite come più convincenti,

Tradotto:
Si sono adoperati per rendere le risposte non necessariamente esatte ma assolutamente convincenti. Lo sforzo è lì.
Non vi ricorda niente?
Ne siamo immersi..
certamente.
basta vedere come vota la gente... basta raccontare due balle che si sa benissimo che sono balle, e la mandria di deficienti sbava.

certamente.
basta vedere come vota la gente... basta raccontare due balle che si sa benissimo che sono balle, e la mandria di deficienti sbava.

...che è esattamente l'hype che stanno generando sulle AI...

Scazza di brutto, domanda appena fatta:

"quanto ci mette la luce a percorrere 1000 km?". Per chat GPT 3, 34 secondi 😅.

La **luce** viaggia a una velocità costante nel vuoto, nota come **velocità della luce**. Questa velocità è di circa **299.792.458 metri al secondo**¹. Per calcolare quanto tempo impiega la luce a percorrere una distanza, possiamo utilizzare la formula:

$$
\text{Tempo} = \frac{\text{Distanza}}{\text{Velocità}}
$$

Nel caso di **1000 km**, possiamo calcolare il tempo impiegato dalla luce nel seguente modo:

1. Convertiamo la distanza in metri: \(1000 \, \text{km} = 1.000.000 \, \text{m}\).
2. Applichiamo la formula:

$$
\text{Tempo} = \frac{1.000.000 \, \text{m}}{299.792.458 \, \text{m/s}} \approx 3,34 \, \text{secondi}
$$

Quindi, la luce impiega circa **3,34 secondi** per percorrere **1000 km** nel vuoto¹.

Se hai altre domande o hai bisogno di ulteriori chiarimenti, sarò felice di aiutarti! 😊

Conversazione con Copilot 25/5/2024
(1) Quanto tempo impiega la luce a percorrere un metro - Chimica-online. https://www.chimica-online.it/fisica/quanto-tempo-impiega-la-luce-a-percorrere-un-metro.htm.
(2) Quanto ci mette la luce a percorrere 2 m? - ernesto.it. https://www.ernesto.it/faq/quanto-ci-mette-la-luce-a-percorrere-2-m.
(3) Quanto ci mette la luce a percorrere 1 km? - ernesto.it. https://www.ernesto.it/faq/quanto-ci-mette-la-luce-a-percorrere-1-km.
(4) Anno luce in anni terrestri: perché non ha senso - YouMath. https://www.youmath.it/domande-a-risposte/view/6689-anno-luce-in-anni-terrestri.html.
(5) A quale velocità viaggia la luce? | Sapere.it. https://www.sapere.it/sapere/strumenti/domande-risposte/scienza-tecnologia/velocita-della-luce.html.

ti spiace postare l'immagine? questa la mia.
https://i.postimg.cc/nrszhcHM/cacciaballe.jpg

Stackoverflow ti permette il confronto su design e implementazione non è da usare per chiedere spezzoni di codice per risolvere il compitino


Naturalmente solo semplici opinioni nessun attacco o altro. AI è sicuramente utile a fare velocemente codice che poi va quasi sicuramente riadattato all'esigenza specifica

Non sto parlando del "ho un problema complesso, scrivo un posto su stackoverflow", ma "devo fare X o y, cerco su google che nel 99% dei casi mi rimanda a un post di stackoverflow"
Per questi casi, chiedere a chatgpt/copilot/ecc per me è stato più rapido e potevo direttamente chiedere le modifiche all'IA stessa. Fare lo stesso su SO mi richiedeva più tempo e più "attenzione" nel leggere tutte le risposte (e scavalcare i post di insulti :D)

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari :mbe:

Però mi piace molto in altre scienze.
Giurisprudenza e psicologia per esempio.

Gli parli di te e gli proponi i tuoi sogni e ti sa fare interpretazione in diverse modalità quella freudiana, junghiana, gestaltica, cognitiva e transpersonale.

L'ho interpellato su codice civile e diritto di famiglia, per esempio i processi per affido dei figli e le risposte sono molto interessanti e danno spunti per imbastire un buon ricorso e pararsi anche il culo nelle CTU fallate da bias sociali e culturali. Ossia quando un CTU di Reggio Emilia ti canna una valutazione psichiatrica su un padre siciliano solo perché è così diverso culturalmente.

Io ho provato a far scrivere un banale script Bash a Bing Copilot (basato su chatGPT) e a Google Gemini.

Il risultato di Copilot era uno script funzionante, quello di Gemini no, non funzionava.

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari :mbe:
se non mi piace la soluzione prospettata, copioincollo la stessa domanda e in genere propone una soluzione diversa. Utile anche per confrontare diversi approcci al problema.

Ovviamente roba semplice di poche righe, mai chiesto di creare un kernel o un foglio di calcolo:D

Nella mia piccola esperienza con chatGPT, che comunque uso giornalmente, posso dire che se gli chiedi piccoli codici diciamo da circa 20-30 righe, funziona bene. Magari c'è da correggere qualcosa, ma lo scheletro del codice lo hai, e risparmi comunque un botto di tempo.

Se gli chiedi cose più grandi va a gallina. Ma insomma, mi pare anche normale, ha ancora ampi margini di miglioramento.

La cosa strana che mi capita ogni tanto è quando gli dico "guarda che questa soluzione è sbagliata", si scusa e me la ripropone pari pari :mbe:

se non mi piace la soluzione prospettata, copioincollo la stessa domanda e in genere propone una soluzione diversa. Utile anche per confrontare diversi approcci al problema.

Ovviamente roba semplice di poche righe, mai chiesto di creare un kernel o un foglio di calcolo:D

copilot mi ha dato comportamenti diversi
caso 1, richiesta di codice, correggendo o chiedendo modifiche ha dato soluzioni diverse per 3-4 volte
caso 2, problema di "ottimizzazione di turni", dopo una-due correzioni/modifiche è ripartito con la prima soluzione