Merge pull request #323 from robertopauletto/main
Italian translation: Chapter 9, quizzes and index.js, main README.md
This commit is contained in:
Jen Looper
GitHub
Коммит
2f69359deb
|
|
@ -4,7 +4,7 @@
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video che illustra la differenza tra machine learning, intelligenza artificiale (AI) e deep learning.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/1/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/1/?loc=it)
|
||||
|
||||
### Introduzione
|
||||
|
||||
|
|
@ -97,7 +97,7 @@ Nel prossimo futuro, comprendere le basi di machine learning sarà un must per l
|
|||
|
||||
Disegnare, su carta o utilizzando un'app online come [Excalidraw](https://excalidraw.com/), la propria comprensione delle differenze tra AI, ML, deep learning e data science. Aggiungere alcune idee sui problemi che ciascuna di queste tecniche è in grado di risolvere.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/2/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/2/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -1,118 +1,118 @@
|
|||
# Storia di machine learning
|
||||
|
||||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/3/)
|
||||
|
||||
In questa lezione, si camminerà attraverso le principali pietre miliari nella storia di machine learning e dell'intelligenza artificiale.
|
||||
|
||||
La storia dell'intelligenza artificiale, AI, come campo è intrecciata con la storia di machine learning, poiché gli algoritmi e i progressi computazionali alla base di machine learning hanno contribuito allo sviluppo dell'intelligenza artificiale. È utile ricordare che, mentre questi campi come distinte aree di indagine hanno cominciato a cristallizzarsi negli anni '50, importanti [scoperte algoritmiche, statistiche, matematiche, computazionali e tecniche](https://wikipedia.org/wiki/Timeline_of_machine_learning) hanno preceduto e si sono sovrapposte a questa era. In effetti, le persone hanno riflettuto su queste domande per [centinaia di anni](https://wikipedia.org/wiki/History_of_artificial_intelligence); questo articolo discute le basi intellettuali storiche dell'idea di una "macchina pensante".
|
||||
|
||||
## Scoperte rilevanti
|
||||
|
||||
- 1763, 1812 [Teorema di Bayes](https://it.wikipedia.org/wiki/Teorema_di_Bayes) e suoi predecessori. Questo teorema e le sue applicazioni sono alla base dell'inferenza, descrivendo la probabilità che un evento si verifichi in base alla conoscenza precedente.
|
||||
- 1805 [Metodo dei Minimi Quadrati](https://it.wikipedia.org/wiki/Metodo_dei_minimi_quadrati) del matematico francese Adrien-Marie Legendre. Questa teoria, che verrà trattata nell'unità Regressione, aiuta nell'adattamento dei dati.
|
||||
- 1913 [Processo Markoviano](https://it.wikipedia.org/wiki/Processo_markoviano) dal nome del matematico russo Andrey Markov è usato per descrivere una sequenza di possibili eventi basati su uno stato precedente.
|
||||
- 1957 [Percettrone](https://it.wikipedia.org/wiki/Percettrone) è un tipo di classificatore lineare inventato dallo psicologo americano Frank Rosenblatt che sta alla base dei progressi nel deep learning.
|
||||
- 1967 [Nearest Neighbor](https://wikipedia.org/wiki/Nearest_neighbor) è un algoritmo originariamente progettato per mappare i percorsi. In un contesto ML viene utilizzato per rilevare i modelli.
|
||||
- 1970 [La Retropropagazione dell'Errore](https://it.wikipedia.org/wiki/Retropropagazione_dell'errore) viene utilizzata per addestrare [le reti neurali feed-forward](https://it.wikipedia.org/wiki/Rete_neurale_feed-forward).
|
||||
- Le [Reti Neurali Ricorrenti](https://it.wikipedia.org/wiki/Rete_neurale_ricorrente) del 1982 sono reti neurali artificiali derivate da reti neurali feedforward che creano grafici temporali.
|
||||
|
||||
✅ Fare una piccola ricerca. Quali altre date si distinguono come fondamentali nella storia del machine learning e dell'intelligenza artificiale?
|
||||
## 1950: Macchine che pensano
|
||||
|
||||
Alan Turing, una persona davvero notevole che è stata votata [dal pubblico nel 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) come il più grande scienziato del XX secolo, è accreditato per aver contribuito a gettare le basi per il concetto di "macchina in grado di pensare". Ha affrontato gli oppositori e il suo stesso bisogno di prove empiriche di questo concetto in parte creando il [Test di Turing](https://www.bbc.com/news/technology-18475646), che verrà esplorato nelle lezioni di NLP (elaborazione del linguaggio naturale).
|
||||
|
||||
## 1956: Progetto di Ricerca Estivo Dartmouth
|
||||
|
||||
"Il Dartmouth Summer Research Project sull'intelligenza artificiale è stato un evento seminale per l'intelligenza artificiale come campo", qui è stato coniato il termine "intelligenza artificiale" ([fonte](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)).
|
||||
|
||||
> In linea di principio, ogni aspetto dell'apprendimento o qualsiasi altra caratteristica dell'intelligenza può essere descritto in modo così preciso che si può costruire una macchina per simularlo.
|
||||
|
||||
Il ricercatore capo, il professore di matematica John McCarthy, sperava "di procedere sulla base della congettura che ogni aspetto dell'apprendimento o qualsiasi altra caratteristica dell'intelligenza possa in linea di principio essere descritta in modo così preciso che si possa costruire una macchina per simularlo". I partecipanti includevano un altro luminare nel campo, Marvin Minsky.
|
||||
|
||||
Il workshop è accreditato di aver avviato e incoraggiato diverse discussioni tra cui "l'ascesa di metodi simbolici, sistemi focalizzati su domini limitati (primi sistemi esperti) e sistemi deduttivi contro sistemi induttivi". ([fonte](https://wikipedia.org/wiki/Dartmouth_workshop)).
|
||||
|
||||
## 1956 - 1974: "Gli anni d'oro"
|
||||
|
||||
Dagli anni '50 fino alla metà degli anni '70, l'ottimismo era alto nella speranza che l'AI potesse risolvere molti problemi. Nel 1967, Marvin Minsky dichiarò con sicurezza che "Entro una generazione... il problema della creazione di 'intelligenza artificiale' sarà sostanzialmente risolto". (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall)
|
||||
|
||||
La ricerca sull'elaborazione del linguaggio naturale è fiorita, la ricerca è stata perfezionata e resa più potente ed è stato creato il concetto di "micro-mondi", in cui compiti semplici sono stati completati utilizzando istruzioni in linguaggio semplice.
|
||||
|
||||
La ricerca è stata ben finanziata dalle agenzie governative, sono stati fatti progressi nel calcolo e negli algoritmi e sono stati costruiti prototipi di macchine intelligenti. Alcune di queste macchine includono:
|
||||
|
||||
* [Shakey il robot](https://wikipedia.org/wiki/Shakey_the_robot), che poteva manovrare e decidere come eseguire i compiti "intelligentemente".
|
||||
|
||||
|
||||
> Shakey nel 1972
|
||||
|
||||
* Eliza, una delle prime "chatterbot", poteva conversare con le persone e agire come una "terapeuta" primitiva. Si Imparerà di più su Eliza nelle lezioni di NLP.
|
||||
|
||||
|
||||
> Una versione di Eliza, un chatbot
|
||||
|
||||
* Il "mondo dei blocchi" era un esempio di un micromondo in cui i blocchi potevano essere impilati e ordinati e si potevano testare esperimenti su macchine per insegnare a prendere decisioni. I progressi realizzati con librerie come [SHRDLU](https://it.wikipedia.org/wiki/SHRDLU) hanno contribuito a far progredire l'elaborazione del linguaggio.
|
||||
|
||||
[](https://www.youtube.com/watch?v=QAJz4YKUwqw "Il mondo dei blocchi con SHRDLU")
|
||||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Blocks world con SHRDLU
|
||||
|
||||
## 1974 - 1980: "L'inverno dell'AI"
|
||||
|
||||
Verso la metà degli anni '70, era diventato evidente che la complessità della creazione di "macchine intelligenti" era stata sottovalutata e che la sua promessa, data la potenza di calcolo disponibile, era stata esagerata. I finanziamenti si sono prosciugati e la fiducia nel settore è rallentata. Alcuni problemi che hanno influito sulla fiducia includono:
|
||||
|
||||
- **Limitazioni**. La potenza di calcolo era troppo limitata.
|
||||
- **Esplosione combinatoria**. La quantità di parametri necessari per essere addestrati è cresciuta in modo esponenziale man mano che veniva chiesto di più ai computer, senza un'evoluzione parallela della potenza e delle capacità di calcolo.
|
||||
- **Scarsità di dati**. C'era una scarsità di dati che ostacolava il processo di test, sviluppo e perfezionamento degli algoritmi.
|
||||
- **Stiamo facendo le domande giuste?**. Le stesse domande che venivano poste cominciarono ad essere messe in discussione. I ricercatori hanno iniziato a criticare i loro approcci:
|
||||
- I test di Turing furono messi in discussione attraverso, tra le altre idee, la "teoria della stanza cinese" che postulava che "la programmazione di un computer digitale può far sembrare che capisca il linguaggio ma non potrebbe produrre una vera comprensione". ([fonte](https://plato.stanford.edu/entries/chinese-room/))
|
||||
- L'etica dell'introduzione di intelligenze artificiali come la "terapeuta" ELIZA nella società è stata messa in discussione.
|
||||
|
||||
Allo stesso tempo, iniziarono a formarsi varie scuole di pensiero sull'AI. È stata stabilita una dicotomia tra pratiche ["scruffy" contro "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies). I laboratori _scruffy_ ottimizzavano i programmi per ore fino a quando non ottenevano i risultati desiderati. I laboratori _Neat_ "si focalizzavano sulla logica e sulla risoluzione formale dei problemi". ELIZA e SHRDLU erano ben noti _sistemi scruffy_. Negli anni '80, quando è emersa la richiesta di rendere riproducibili i sistemi ML, l'_approccio neat_ ha gradualmente preso il sopravvento in quanto i suoi risultati sono più spiegabili.
|
||||
|
||||
## Sistemi esperti degli anni '80
|
||||
|
||||
Man mano che il settore cresceva, i suoi vantaggi per le imprese diventavano più chiari e negli anni '80 lo stesso accadeva con la proliferazione di "sistemi esperti". "I sistemi esperti sono stati tra le prime forme di software di intelligenza artificiale (AI) di vero successo". ([fonte](https://wikipedia.org/wiki/Expert_system)).
|
||||
|
||||
Questo tipo di sistema è in realtà _ibrido_, costituito in parte da un motore di regole che definisce i requisiti aziendali e un motore di inferenza che sfrutta il sistema di regole per dedurre nuovi fatti.
|
||||
|
||||
Questa era ha visto anche una crescente attenzione rivolta alle reti neurali.
|
||||
|
||||
## 1987 - 1993: AI 'Chill'
|
||||
|
||||
La proliferazione di hardware specializzato per sistemi esperti ha avuto lo sfortunato effetto di diventare troppo specializzato. L'ascesa dei personal computer ha anche gareggiato con questi grandi sistemi centralizzati specializzati. La democratizzazione dell'informatica era iniziata e alla fine ha spianato la strada alla moderna esplosione dei big data.
|
||||
|
||||
## 1993 - 2011
|
||||
|
||||
Questa epoca ha visto una nuova era per ML e AI per essere in grado di risolvere alcuni dei problemi che erano stati causati in precedenza dalla mancanza di dati e potenza di calcolo. La quantità di dati ha iniziato ad aumentare rapidamente e a diventare più ampiamente disponibile, nel bene e nel male, soprattutto con l'avvento degli smartphone intorno al 2007. La potenza di calcolo si è ampliata in modo esponenziale e gli algoritmi si sono evoluti di pari passo. Il campo ha iniziato a maturare quando i giorni a ruota libera del passato hanno iniziato a cristallizzarsi in una vera disciplina.
|
||||
|
||||
## Adesso
|
||||
|
||||
Oggi, machine learning e intelligenza artificiale toccano quasi ogni parte della nostra vita. Questa era richiede un'attenta comprensione dei rischi e dei potenziali effetti di questi algoritmi sulle vite umane. Come ha affermato Brad Smith di Microsoft, "La tecnologia dell'informazione solleva questioni che vanno al cuore delle protezioni fondamentali dei diritti umani come la privacy e la libertà di espressione. Questi problemi aumentano la responsabilità delle aziende tecnologiche che creano questi prodotti. A nostro avviso, richiedono anche un'attenta regolamentazione del governo e lo sviluppo di norme sugli usi accettabili" ([fonte](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)).
|
||||
|
||||
Resta da vedere cosa riserva il futuro, ma è importante capire questi sistemi informatici e il software e gli algoritmi che eseguono. Ci si augura che questo programma di studi aiuti ad acquisire una migliore comprensione in modo che si possa decidere in autonomia.
|
||||
|
||||
[](https://www.youtube.com/watch?v=mTtDfKgLm54 " storia del deep learning")
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Yann LeCun discute la storia del deep learning in questa lezione
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Approfondire uno di questi momenti storici e scoprire
|
||||
di più sulle persone che stanno dietro ad essi. Ci sono personaggi affascinanti e nessuna scoperta scientifica è mai stata creata in un vuoto culturale. Cosa si è scoperto?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/4/)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Ecco gli elementi da guardare e ascoltare:
|
||||
|
||||
[Questo podcast in cui Amy Boyd discute l'evoluzione dell'AI](http://runasradio.com/Shows/Show/739)
|
||||
|
||||
[](https://www.youtube.com/watch?v=EJt3_bFYKss "La storia dell'AI di Amy Boyd")
|
||||
|
||||
## Compito
|
||||
|
||||
[Creare una sequenza temporale](assignment.it.md)
|
||||
# Storia di machine learning
|
||||
|
||||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/3/?loc=it)
|
||||
|
||||
In questa lezione, si camminerà attraverso le principali pietre miliari nella storia di machine learning e dell'intelligenza artificiale.
|
||||
|
||||
La storia dell'intelligenza artificiale, AI, come campo è intrecciata con la storia di machine learning, poiché gli algoritmi e i progressi computazionali alla base di machine learning hanno contribuito allo sviluppo dell'intelligenza artificiale. È utile ricordare che, mentre questi campi come distinte aree di indagine hanno cominciato a cristallizzarsi negli anni '50, importanti [scoperte algoritmiche, statistiche, matematiche, computazionali e tecniche](https://wikipedia.org/wiki/Timeline_of_machine_learning) hanno preceduto e si sono sovrapposte a questa era. In effetti, le persone hanno riflettuto su queste domande per [centinaia di anni](https://wikipedia.org/wiki/History_of_artificial_intelligence); questo articolo discute le basi intellettuali storiche dell'idea di una "macchina pensante".
|
||||
|
||||
## Scoperte rilevanti
|
||||
|
||||
- 1763, 1812 [Teorema di Bayes](https://it.wikipedia.org/wiki/Teorema_di_Bayes) e suoi predecessori. Questo teorema e le sue applicazioni sono alla base dell'inferenza, descrivendo la probabilità che un evento si verifichi in base alla conoscenza precedente.
|
||||
- 1805 [Metodo dei Minimi Quadrati](https://it.wikipedia.org/wiki/Metodo_dei_minimi_quadrati) del matematico francese Adrien-Marie Legendre. Questa teoria, che verrà trattata nell'unità Regressione, aiuta nell'adattamento dei dati.
|
||||
- 1913 [Processo Markoviano](https://it.wikipedia.org/wiki/Processo_markoviano) dal nome del matematico russo Andrey Markov è usato per descrivere una sequenza di possibili eventi basati su uno stato precedente.
|
||||
- 1957 [Percettrone](https://it.wikipedia.org/wiki/Percettrone) è un tipo di classificatore lineare inventato dallo psicologo americano Frank Rosenblatt che sta alla base dei progressi nel deep learning.
|
||||
- 1967 [Nearest Neighbor](https://wikipedia.org/wiki/Nearest_neighbor) è un algoritmo originariamente progettato per mappare i percorsi. In un contesto ML viene utilizzato per rilevare i modelli.
|
||||
- 1970 [La Retropropagazione dell'Errore](https://it.wikipedia.org/wiki/Retropropagazione_dell'errore) viene utilizzata per addestrare [le reti neurali feed-forward](https://it.wikipedia.org/wiki/Rete_neurale_feed-forward).
|
||||
- Le [Reti Neurali Ricorrenti](https://it.wikipedia.org/wiki/Rete_neurale_ricorrente) del 1982 sono reti neurali artificiali derivate da reti neurali feedforward che creano grafici temporali.
|
||||
|
||||
✅ Fare una piccola ricerca. Quali altre date si distinguono come fondamentali nella storia del machine learning e dell'intelligenza artificiale?
|
||||
## 1950: Macchine che pensano
|
||||
|
||||
Alan Turing, una persona davvero notevole che è stata votata [dal pubblico nel 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) come il più grande scienziato del XX secolo, è accreditato per aver contribuito a gettare le basi per il concetto di "macchina in grado di pensare". Ha affrontato gli oppositori e il suo stesso bisogno di prove empiriche di questo concetto in parte creando il [Test di Turing](https://www.bbc.com/news/technology-18475646), che verrà esplorato nelle lezioni di NLP (elaborazione del linguaggio naturale).
|
||||
|
||||
## 1956: Progetto di Ricerca Estivo Dartmouth
|
||||
|
||||
"Il Dartmouth Summer Research Project sull'intelligenza artificiale è stato un evento seminale per l'intelligenza artificiale come campo", qui è stato coniato il termine "intelligenza artificiale" ([fonte](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)).
|
||||
|
||||
> In linea di principio, ogni aspetto dell'apprendimento o qualsiasi altra caratteristica dell'intelligenza può essere descritto in modo così preciso che si può costruire una macchina per simularlo.
|
||||
|
||||
Il ricercatore capo, il professore di matematica John McCarthy, sperava "di procedere sulla base della congettura che ogni aspetto dell'apprendimento o qualsiasi altra caratteristica dell'intelligenza possa in linea di principio essere descritta in modo così preciso che si possa costruire una macchina per simularlo". I partecipanti includevano un altro luminare nel campo, Marvin Minsky.
|
||||
|
||||
Il workshop è accreditato di aver avviato e incoraggiato diverse discussioni tra cui "l'ascesa di metodi simbolici, sistemi focalizzati su domini limitati (primi sistemi esperti) e sistemi deduttivi contro sistemi induttivi". ([fonte](https://wikipedia.org/wiki/Dartmouth_workshop)).
|
||||
|
||||
## 1956 - 1974: "Gli anni d'oro"
|
||||
|
||||
Dagli anni '50 fino alla metà degli anni '70, l'ottimismo era alto nella speranza che l'AI potesse risolvere molti problemi. Nel 1967, Marvin Minsky dichiarò con sicurezza che "Entro una generazione... il problema della creazione di 'intelligenza artificiale' sarà sostanzialmente risolto". (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall)
|
||||
|
||||
La ricerca sull'elaborazione del linguaggio naturale è fiorita, la ricerca è stata perfezionata e resa più potente ed è stato creato il concetto di "micro-mondi", in cui compiti semplici sono stati completati utilizzando istruzioni in linguaggio semplice.
|
||||
|
||||
La ricerca è stata ben finanziata dalle agenzie governative, sono stati fatti progressi nel calcolo e negli algoritmi e sono stati costruiti prototipi di macchine intelligenti. Alcune di queste macchine includono:
|
||||
|
||||
* [Shakey il robot](https://wikipedia.org/wiki/Shakey_the_robot), che poteva manovrare e decidere come eseguire i compiti "intelligentemente".
|
||||
|
||||
|
||||
> Shakey nel 1972
|
||||
|
||||
* Eliza, una delle prime "chatterbot", poteva conversare con le persone e agire come una "terapeuta" primitiva. Si Imparerà di più su Eliza nelle lezioni di NLP.
|
||||
|
||||
|
||||
> Una versione di Eliza, un chatbot
|
||||
|
||||
* Il "mondo dei blocchi" era un esempio di un micromondo in cui i blocchi potevano essere impilati e ordinati e si potevano testare esperimenti su macchine per insegnare a prendere decisioni. I progressi realizzati con librerie come [SHRDLU](https://it.wikipedia.org/wiki/SHRDLU) hanno contribuito a far progredire l'elaborazione del linguaggio.
|
||||
|
||||
[](https://www.youtube.com/watch?v=QAJz4YKUwqw "Il mondo dei blocchi con SHRDLU")
|
||||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Blocks world con SHRDLU
|
||||
|
||||
## 1974 - 1980: "L'inverno dell'AI"
|
||||
|
||||
Verso la metà degli anni '70, era diventato evidente che la complessità della creazione di "macchine intelligenti" era stata sottovalutata e che la sua promessa, data la potenza di calcolo disponibile, era stata esagerata. I finanziamenti si sono prosciugati e la fiducia nel settore è rallentata. Alcuni problemi che hanno influito sulla fiducia includono:
|
||||
|
||||
- **Limitazioni**. La potenza di calcolo era troppo limitata.
|
||||
- **Esplosione combinatoria**. La quantità di parametri necessari per essere addestrati è cresciuta in modo esponenziale man mano che veniva chiesto di più ai computer, senza un'evoluzione parallela della potenza e delle capacità di calcolo.
|
||||
- **Scarsità di dati**. C'era una scarsità di dati che ostacolava il processo di test, sviluppo e perfezionamento degli algoritmi.
|
||||
- **Stiamo facendo le domande giuste?**. Le stesse domande che venivano poste cominciarono ad essere messe in discussione. I ricercatori hanno iniziato a criticare i loro approcci:
|
||||
- I test di Turing furono messi in discussione attraverso, tra le altre idee, la "teoria della stanza cinese" che postulava che "la programmazione di un computer digitale può far sembrare che capisca il linguaggio ma non potrebbe produrre una vera comprensione". ([fonte](https://plato.stanford.edu/entries/chinese-room/))
|
||||
- L'etica dell'introduzione di intelligenze artificiali come la "terapeuta" ELIZA nella società è stata messa in discussione.
|
||||
|
||||
Allo stesso tempo, iniziarono a formarsi varie scuole di pensiero sull'AI. È stata stabilita una dicotomia tra pratiche ["scruffy" contro "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies). I laboratori _scruffy_ ottimizzavano i programmi per ore fino a quando non ottenevano i risultati desiderati. I laboratori _Neat_ "si focalizzavano sulla logica e sulla risoluzione formale dei problemi". ELIZA e SHRDLU erano ben noti _sistemi scruffy_. Negli anni '80, quando è emersa la richiesta di rendere riproducibili i sistemi ML, l'_approccio neat_ ha gradualmente preso il sopravvento in quanto i suoi risultati sono più spiegabili.
|
||||
|
||||
## Sistemi esperti degli anni '80
|
||||
|
||||
Man mano che il settore cresceva, i suoi vantaggi per le imprese diventavano più chiari e negli anni '80 lo stesso accadeva con la proliferazione di "sistemi esperti". "I sistemi esperti sono stati tra le prime forme di software di intelligenza artificiale (AI) di vero successo". ([fonte](https://wikipedia.org/wiki/Expert_system)).
|
||||
|
||||
Questo tipo di sistema è in realtà _ibrido_, costituito in parte da un motore di regole che definisce i requisiti aziendali e un motore di inferenza che sfrutta il sistema di regole per dedurre nuovi fatti.
|
||||
|
||||
Questa era ha visto anche una crescente attenzione rivolta alle reti neurali.
|
||||
|
||||
## 1987 - 1993: AI 'Chill'
|
||||
|
||||
La proliferazione di hardware specializzato per sistemi esperti ha avuto lo sfortunato effetto di diventare troppo specializzato. L'ascesa dei personal computer ha anche gareggiato con questi grandi sistemi centralizzati specializzati. La democratizzazione dell'informatica era iniziata e alla fine ha spianato la strada alla moderna esplosione dei big data.
|
||||
|
||||
## 1993 - 2011
|
||||
|
||||
Questa epoca ha visto una nuova era per ML e AI per essere in grado di risolvere alcuni dei problemi che erano stati causati in precedenza dalla mancanza di dati e potenza di calcolo. La quantità di dati ha iniziato ad aumentare rapidamente e a diventare più ampiamente disponibile, nel bene e nel male, soprattutto con l'avvento degli smartphone intorno al 2007. La potenza di calcolo si è ampliata in modo esponenziale e gli algoritmi si sono evoluti di pari passo. Il campo ha iniziato a maturare quando i giorni a ruota libera del passato hanno iniziato a cristallizzarsi in una vera disciplina.
|
||||
|
||||
## Adesso
|
||||
|
||||
Oggi, machine learning e intelligenza artificiale toccano quasi ogni parte della nostra vita. Questa era richiede un'attenta comprensione dei rischi e dei potenziali effetti di questi algoritmi sulle vite umane. Come ha affermato Brad Smith di Microsoft, "La tecnologia dell'informazione solleva questioni che vanno al cuore delle protezioni fondamentali dei diritti umani come la privacy e la libertà di espressione. Questi problemi aumentano la responsabilità delle aziende tecnologiche che creano questi prodotti. A nostro avviso, richiedono anche un'attenta regolamentazione del governo e lo sviluppo di norme sugli usi accettabili" ([fonte](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)).
|
||||
|
||||
Resta da vedere cosa riserva il futuro, ma è importante capire questi sistemi informatici e il software e gli algoritmi che eseguono. Ci si augura che questo programma di studi aiuti ad acquisire una migliore comprensione in modo che si possa decidere in autonomia.
|
||||
|
||||
[](https://www.youtube.com/watch?v=mTtDfKgLm54 " storia del deep learning")
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Yann LeCun discute la storia del deep learning in questa lezione
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Approfondire uno di questi momenti storici e scoprire
|
||||
di più sulle persone che stanno dietro ad essi. Ci sono personaggi affascinanti e nessuna scoperta scientifica è mai stata creata in un vuoto culturale. Cosa si è scoperto?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/4/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Ecco gli elementi da guardare e ascoltare:
|
||||
|
||||
[Questo podcast in cui Amy Boyd discute l'evoluzione dell'AI](http://runasradio.com/Shows/Show/739)
|
||||
|
||||
[](https://www.youtube.com/watch?v=EJt3_bFYKss "La storia dell'AI di Amy Boyd")
|
||||
|
||||
## Compito
|
||||
|
||||
[Creare una sequenza temporale](assignment.it.md)
|
||||
|
|
|
|||
|
|
@ -1,212 +1,212 @@
|
|||
# Equità e machine learning
|
||||
|
||||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/5/)
|
||||
|
||||
## Introduzione
|
||||
|
||||
In questo programma di studi, si inizierà a scoprire come machine learning può e sta influenzando la vita quotidiana. Anche ora, sistemi e modelli sono coinvolti nelle attività decisionali quotidiane, come le diagnosi sanitarie o l'individuazione di frodi. Quindi è importante che questi modelli funzionino bene per fornire risultati equi per tutti.
|
||||
|
||||
Si immagini cosa può accadere quando i dati che si stanno utilizzando per costruire questi modelli mancano di determinati dati demografici, come razza, genere, visione politica, religione, o rappresentano tali dati demografici in modo sproporzionato. E quando il risultato del modello viene interpretato per favorire alcuni gruppi demografici? Qual è la conseguenza per l'applicazione?
|
||||
|
||||
In questa lezione, si dovrà:
|
||||
|
||||
- Aumentare la propria consapevolezza sull'importanza dell'equità nel machine learning.
|
||||
- Informarsi sui danni legati all'equità.
|
||||
- Apprendere ulteriori informazioni sulla valutazione e la mitigazione dell'ingiustizia.
|
||||
|
||||
## Prerequisito
|
||||
|
||||
Come prerequisito, si segua il percorso di apprendimento "Principi di AI Responsabile" e si guardi il video qui sotto sull'argomento:
|
||||
|
||||
Si scopra di più sull'AI Responsabile seguendo questo [percorso di apprendimento](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-15963-cxa)
|
||||
|
||||
[](https://youtu.be/dnC8-uUZXSc "approccio di Microsoft all'AI Responsabile")
|
||||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: L'approccio di Microsoft all'AI Responsabile
|
||||
|
||||
## Iniquità nei dati e negli algoritmi
|
||||
|
||||
> "Se si torturano i dati abbastanza a lungo, essi confesseranno qualsiasi cosa" - Ronald Coase
|
||||
|
||||
Questa affermazione suona estrema, ma è vero che i dati possono essere manipolati per supportare qualsiasi conclusione. Tale manipolazione a volte può avvenire involontariamente. Come esseri umani, abbiamo tutti dei pregiudizi, ed è spesso difficile sapere consapevolmente quando si introduce un pregiudizio nei dati.
|
||||
|
||||
Garantire l'equità nell'intelligenza artificiale e machine learning rimane una sfida socio-tecnica complessa. Ciò significa che non può essere affrontata da prospettive puramente sociali o tecniche.
|
||||
|
||||
### Danni legati all'equità
|
||||
|
||||
Cosa si intende per ingiustizia? L'"ingiustizia" comprende gli impatti negativi, o "danni", per un gruppo di persone, come quelli definiti in termini di razza, genere, età o stato di disabilità.
|
||||
|
||||
I principali danni legati all'equità possono essere classificati come:
|
||||
|
||||
- **Allocazione**, se un genere o un'etnia, ad esempio, sono preferiti a un altro.
|
||||
- **Qualità di servizio** Se si addestrano i dati per uno scenario specifico, ma la realtà è molto più complessa, si ottiene un servizio scadente.
|
||||
- **Stereotipi**. Associazione di un dato gruppo con attributi preassegnati.
|
||||
- **Denigrazione**. Criticare ed etichettare ingiustamente qualcosa o qualcuno.
|
||||
- **Sovra o sotto rappresentazione**. L'idea è che un certo gruppo non è visto in una certa professione, e qualsiasi servizio o funzione che continua a promuovere ciò, contribuisce al danno.
|
||||
|
||||
Si dia un'occhiata agli esempi.
|
||||
|
||||
### Allocazione
|
||||
|
||||
Si consideri un ipotetico sistema per la scrematura delle domande di prestito. Il sistema tende a scegliere gli uomini bianchi come candidati migliori rispetto ad altri gruppi. Di conseguenza, i prestiti vengono negati ad alcuni richiedenti.
|
||||
|
||||
Un altro esempio potrebbe essere uno strumento sperimentale di assunzione sviluppato da una grande azienda per selezionare i candidati. Lo strumento discrimina sistematicamente un genere utilizzando i modelli che sono stati addestrati a preferire parole associate con altro. Ha portato a penalizzare i candidati i cui curricula contengono parole come "squadra di rugby femminile".
|
||||
|
||||
✅ Si compia una piccola ricerca per trovare un esempio reale di qualcosa del genere
|
||||
|
||||
### Qualità di Servizio
|
||||
|
||||
I ricercatori hanno scoperto che diversi classificatori di genere commerciali avevano tassi di errore più elevati intorno alle immagini di donne con tonalità della pelle più scura rispetto alle immagini di uomini con tonalità della pelle più chiare. [Riferimento](https://www.media.mit.edu/publications/gender-shades-intersectional-accuracy-disparities-in-commercial-gender-classification/)
|
||||
|
||||
Un altro esempio infamante è un distributore di sapone per le mani che sembrava non essere in grado di percepire le persone con la pelle scura. [Riferimento](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
|
||||
|
||||
### Stereotipi
|
||||
|
||||
La visione di genere stereotipata è stata trovata nella traduzione automatica. Durante la traduzione in turco "he is a nurse and she is a doctor" (lui è un'infermiere e lei un medico), sono stati riscontrati problemi. Il turco è una lingua senza genere che ha un pronome, "o" per trasmettere una terza persona singolare, ma tradurre la frase dal turco all'inglese produce lo stereotipo e scorretto come "she is a nurse and he is a doctor" (lei è un'infermiera e lui è un medico).
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
### Denigrazione
|
||||
|
||||
Una tecnologia di etichettatura delle immagini ha contrassegnato in modo infamante le immagini di persone dalla pelle scura come gorilla. L'etichettatura errata è dannosa non solo perché il sistema ha commesso un errore, ma anche perché ha applicato specificamente un'etichetta che ha una lunga storia di essere intenzionalmente utilizzata per denigrare i neri.
|
||||
|
||||
[](https://www.youtube.com/watch?v=QxuyfWoVV98 "AI, non sono una donna?")
|
||||
> 🎥 Cliccare sull'immagine sopra per un video: AI, Ain't I a Woman - una performance che mostra il danno causato dalla denigrazione razzista da parte dell'AI
|
||||
|
||||
### Sovra o sotto rappresentazione
|
||||
|
||||
I risultati di ricerca di immagini distorti possono essere un buon esempio di questo danno. Quando si cercano immagini di professioni con una percentuale uguale o superiore di uomini rispetto alle donne, come l'ingegneria o CEO, si osserva che i risultati sono più fortemente distorti verso un determinato genere.
|
||||
|
||||
|
||||
> Questa ricerca su Bing per "CEO" produce risultati piuttosto inclusivi
|
||||
|
||||
Questi cinque principali tipi di danno non si escludono a vicenda e un singolo sistema può presentare più di un tipo di danno. Inoltre, ogni caso varia nella sua gravità. Ad esempio, etichettare ingiustamente qualcuno come criminale è un danno molto più grave che etichettare erroneamente un'immagine. È importante, tuttavia, ricordare che anche danni relativamente non gravi possono far sentire le persone alienate o emarginate e l'impatto cumulativo può essere estremamente opprimente.
|
||||
|
||||
✅ **Discussione**: rivisitare alcuni degli esempi e vedere se mostrano danni diversi.
|
||||
|
||||
| | Allocatione | Qualita di servizio | Stereotipo | Denigrazione | Sovra o sotto rappresentazione |
|
||||
| ----------------------------------- | :---------: | :-----------------: | :--------: | :----------: | :----------------------------: |
|
||||
| Sistema di assunzione automatizzato | x | x | x | | x |
|
||||
| Traduzione automatica | | | | | |
|
||||
| Eitchettatura foto | | | | | |
|
||||
|
||||
## Rilevare l'ingiustizia
|
||||
|
||||
Ci sono molte ragioni per cui un dato sistema si comporta in modo scorretto. I pregiudizi sociali, ad esempio, potrebbero riflettersi nell'insieme di dati utilizzati per addestrarli. Ad esempio, l'ingiustizia delle assunzioni potrebbe essere stata esacerbata dall'eccessivo affidamento sui dati storici. Utilizzando i modelli nei curricula inviati all'azienda per un periodo di 10 anni, il modello ha determinato che gli uomini erano più qualificati perché la maggior parte dei curricula proveniva da uomini, un riflesso del passato dominio maschile nell'industria tecnologica.
|
||||
|
||||
Dati inadeguati su un determinato gruppo di persone possono essere motivo di ingiustizia. Ad esempio, i classificatori di immagini hanno un tasso di errore più elevato per le immagini di persone dalla pelle scura perché le tonalità della pelle più scure sono sottorappresentate nei dati.
|
||||
|
||||
Anche le ipotesi errate fatte durante lo sviluppo causano iniquità. Ad esempio, un sistema di analisi facciale destinato a prevedere chi commetterà un crimine basato sulle immagini dei volti delle persone può portare a ipotesi dannose. Ciò potrebbe portare a danni sostanziali per le persone classificate erroneamente.
|
||||
|
||||
## Si comprendano i propri modelli e si costruiscano in modo onesto
|
||||
|
||||
Sebbene molti aspetti dell'equità non vengano catturati nelle metriche di equità quantitativa e non sia possibile rimuovere completamente i pregiudizi da un sistema per garantire l'equità, si è comunque responsabili di rilevare e mitigare il più possibile i problemi di equità.
|
||||
|
||||
Quando si lavora con modelli di machine learning, è importante comprendere i propri modelli assicurandone l'interpretabilità e valutando e mitigando l'ingiustizia.
|
||||
|
||||
Si utilizza l'esempio di selezione del prestito per isolare il caso e determinare il livello di impatto di ciascun fattore sulla previsione.
|
||||
|
||||
## Metodi di valutazione
|
||||
|
||||
1. **Identificare i danni (e benefici)**. Il primo passo è identificare danni e benefici. Si pensi a come azioni e decisioni possono influenzare sia i potenziali clienti che un'azienda stessa.
|
||||
|
||||
1. **Identificare i gruppi interessati**. Una volta compreso il tipo di danni o benefici che possono verificarsi, identificare i gruppi che potrebbero essere interessati. Questi gruppi sono definiti per genere, etnia o gruppo sociale?
|
||||
|
||||
1. **Definire le metriche di equità**. Infine, si definisca una metrica in modo da avere qualcosa su cui misurare il proprio lavoro per migliorare la situazione.
|
||||
|
||||
### **Identificare danni (e benefici)**
|
||||
|
||||
Quali sono i danni e i benefici associati al prestito? Si pensi agli scenari di falsi negativi e falsi positivi:
|
||||
|
||||
**Falsi negativi** (rifiutato, ma Y=1) - in questo caso viene rifiutato un richiedente che sarà in grado di rimborsare un prestito. Questo è un evento avverso perché le risorse dei prestiti non sono erogate a richiedenti qualificati.
|
||||
|
||||
**Falsi positivi** (accettato, ma Y=0) - in questo caso, il richiedente ottiene un prestito ma alla fine fallisce. Di conseguenza, il caso del richiedente verrà inviato a un'agenzia di recupero crediti che può influire sulle sue future richieste di prestito.
|
||||
|
||||
### **Identificare i gruppi interessati**
|
||||
|
||||
Il passo successivo è determinare quali gruppi potrebbero essere interessati. Ad esempio, nel caso di una richiesta di carta di credito, un modello potrebbe stabilire che le donne dovrebbero ricevere limiti di credito molto più bassi rispetto ai loro coniugi che condividono i beni familiari. Un intero gruppo demografico, definito in base al genere, è così interessato.
|
||||
|
||||
### **Definire le metriche di equità**
|
||||
|
||||
Si sono identificati i danni e un gruppo interessato, in questo caso, delineato per genere. Ora, si usino i fattori quantificati per disaggregare le loro metriche. Ad esempio, utilizzando i dati di seguito, si può vedere che le donne hanno il più alto tasso di falsi positivi e gli uomini il più piccolo, e che è vero il contrario per i falsi negativi.
|
||||
|
||||
✅ In una futura lezione sul Clustering, si vedrà come costruire questa 'matrice di confusione' nel codice
|
||||
|
||||
| | percentuale di falsi positivi | Percentuale di falsi negativi | conteggio |
|
||||
| ----------- | ----------------------------- | ----------------------------- | --------- |
|
||||
| Donna | 0,37 | 0,27 | 54032 |
|
||||
| Uomo | 0,31 | 0.35 | 28620 |
|
||||
| Non binario | 0,33 | 0,31 | 1266 |
|
||||
|
||||
Questa tabella ci dice diverse cose. Innanzitutto, si nota che ci sono relativamente poche persone non binarie nei dati. I dati sono distorti, quindi si deve fare attenzione a come si interpretano questi numeri.
|
||||
|
||||
In questo caso, ci sono 3 gruppi e 2 metriche. Quando si pensa a come il nostro sistema influisce sul gruppo di clienti con i loro richiedenti di prestito, questo può essere sufficiente, ma quando si desidera definire un numero maggiore di gruppi, è possibile distillare questo in insiemi più piccoli di riepiloghi. Per fare ciò, si possono aggiungere più metriche, come la differenza più grande o il rapporto più piccolo di ogni falso negativo e falso positivo.
|
||||
|
||||
✅ Ci si fermi a pensare: quali altri gruppi potrebbero essere interessati dalla richiesta di prestito?
|
||||
|
||||
## Mitigare l'ingiustizia
|
||||
|
||||
Per mitigare l'ingiustizia, si esplori il modello per generare vari modelli mitigati e si confrontino i compromessi tra accuratezza ed equità per selezionare il modello più equo.
|
||||
|
||||
Questa lezione introduttiva non approfondisce i dettagli dell'algoritmo della mitigazione dell'ingiustizia, come l'approccio di post-elaborazione e riduzione, ma ecco uno strumento che si potrebbe voler provare.
|
||||
|
||||
### Fairlearn
|
||||
|
||||
[Fairlearn](https://fairlearn.github.io/) è un pacchetto Python open source che consente di valutare l'equità dei propri sistemi e mitigare l'ingiustizia.
|
||||
|
||||
Lo strumento consente di valutare in che modo le previsioni di un modello influiscono su diversi gruppi, consentendo di confrontare più modelli utilizzando metriche di equità e prestazioni e fornendo una serie di algoritmi per mitigare l'ingiustizia nella classificazione binaria e nella regressione.
|
||||
|
||||
- Si scopra come utilizzare i diversi componenti controllando il GitHub di [Fairlearn](https://github.com/fairlearn/fairlearn/)
|
||||
|
||||
- Si esplori la [guida per l'utente](https://fairlearn.github.io/main/user_guide/index.html), e gli [esempi](https://fairlearn.github.io/main/auto_examples/index.html)
|
||||
|
||||
- Si provino alcuni [notebook di esempio](https://github.com/fairlearn/fairlearn/tree/master/notebooks).
|
||||
|
||||
- Si scopra [come abilitare le valutazioni dell'equità](https://docs.microsoft.com/azure/machine-learning/how-to-machine-learning-fairness-aml?WT.mc_id=academic-15963-cxa) dei modelli di Machine Learning in Azure Machine Learning.
|
||||
|
||||
- Si dia un'occhiata a questi [notebook di esempio](https://github.com/Azure/MachineLearningNotebooks/tree/master/contrib/fairness) per ulteriori scenari di valutazione dell'equità in Azure Machine Learning.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Per evitare che vengano introdotti pregiudizi, in primo luogo, si dovrebbe:
|
||||
|
||||
- avere una diversità di background e prospettive tra le persone che lavorano sui sistemi
|
||||
- investire in insiemi di dati che riflettano le diversità della società
|
||||
- sviluppare metodi migliori per rilevare e correggere i pregiudizi quando si verificano
|
||||
|
||||
Si pensi a scenari di vita reale in cui l'ingiustizia è evidente nella creazione e nell'utilizzo del modello. Cos'altro si dovrebbe considerare?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/6/)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
In questa lezione si sono apprese alcune nozioni di base sui concetti di equità e ingiustizia in machine learning.
|
||||
|
||||
Si guardi questo workshop per approfondire gli argomenti:
|
||||
|
||||
- YouTube: Danni correlati all'equità nei sistemi di IA: esempi, valutazione e mitigazione di Hanna Wallach e Miro Dudik [Danni correlati all'equità nei sistemi di IA: esempi, valutazione e mitigazione - YouTube](https://www.youtube.com/watch?v=1RptHwfkx_k)
|
||||
|
||||
Si legga anche:
|
||||
|
||||
- Centro risorse RAI di Microsoft: [risorse AI responsabili – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4)
|
||||
|
||||
- Gruppo di ricerca FATE di Microsoft[: FATE: equità, responsabilità, trasparenza ed etica nell'intelligenza artificiale - Microsoft Research](https://www.microsoft.com/research/theme/fate/)
|
||||
|
||||
Si esplori il toolkit Fairlearn
|
||||
|
||||
[Fairlearn](https://fairlearn.org/)
|
||||
|
||||
Si scoprano gli strumenti di Azure Machine Learning per garantire l'equità
|
||||
|
||||
- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-15963-cxa)
|
||||
|
||||
## Compito
|
||||
|
||||
[Esplorare Fairlearn](assignment.it.md)
|
||||
# Equità e machine learning
|
||||
|
||||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/5/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
In questo programma di studi, si inizierà a scoprire come machine learning può e sta influenzando la vita quotidiana. Anche ora, sistemi e modelli sono coinvolti nelle attività decisionali quotidiane, come le diagnosi sanitarie o l'individuazione di frodi. Quindi è importante che questi modelli funzionino bene per fornire risultati equi per tutti.
|
||||
|
||||
Si immagini cosa può accadere quando i dati che si stanno utilizzando per costruire questi modelli mancano di determinati dati demografici, come razza, genere, visione politica, religione, o rappresentano tali dati demografici in modo sproporzionato. E quando il risultato del modello viene interpretato per favorire alcuni gruppi demografici? Qual è la conseguenza per l'applicazione?
|
||||
|
||||
In questa lezione, si dovrà:
|
||||
|
||||
- Aumentare la propria consapevolezza sull'importanza dell'equità nel machine learning.
|
||||
- Informarsi sui danni legati all'equità.
|
||||
- Apprendere ulteriori informazioni sulla valutazione e la mitigazione dell'ingiustizia.
|
||||
|
||||
## Prerequisito
|
||||
|
||||
Come prerequisito, si segua il percorso di apprendimento "Principi di AI Responsabile" e si guardi il video qui sotto sull'argomento:
|
||||
|
||||
Si scopra di più sull'AI Responsabile seguendo questo [percorso di apprendimento](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-15963-cxa)
|
||||
|
||||
[](https://youtu.be/dnC8-uUZXSc "approccio di Microsoft all'AI Responsabile")
|
||||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: L'approccio di Microsoft all'AI Responsabile
|
||||
|
||||
## Iniquità nei dati e negli algoritmi
|
||||
|
||||
> "Se si torturano i dati abbastanza a lungo, essi confesseranno qualsiasi cosa" - Ronald Coase
|
||||
|
||||
Questa affermazione suona estrema, ma è vero che i dati possono essere manipolati per supportare qualsiasi conclusione. Tale manipolazione a volte può avvenire involontariamente. Come esseri umani, abbiamo tutti dei pregiudizi, ed è spesso difficile sapere consapevolmente quando si introduce un pregiudizio nei dati.
|
||||
|
||||
Garantire l'equità nell'intelligenza artificiale e machine learning rimane una sfida socio-tecnica complessa. Ciò significa che non può essere affrontata da prospettive puramente sociali o tecniche.
|
||||
|
||||
### Danni legati all'equità
|
||||
|
||||
Cosa si intende per ingiustizia? L'"ingiustizia" comprende gli impatti negativi, o "danni", per un gruppo di persone, come quelli definiti in termini di razza, genere, età o stato di disabilità.
|
||||
|
||||
I principali danni legati all'equità possono essere classificati come:
|
||||
|
||||
- **Allocazione**, se un genere o un'etnia, ad esempio, sono preferiti a un altro.
|
||||
- **Qualità di servizio** Se si addestrano i dati per uno scenario specifico, ma la realtà è molto più complessa, si ottiene un servizio scadente.
|
||||
- **Stereotipi**. Associazione di un dato gruppo con attributi preassegnati.
|
||||
- **Denigrazione**. Criticare ed etichettare ingiustamente qualcosa o qualcuno.
|
||||
- **Sovra o sotto rappresentazione**. L'idea è che un certo gruppo non è visto in una certa professione, e qualsiasi servizio o funzione che continua a promuovere ciò, contribuisce al danno.
|
||||
|
||||
Si dia un'occhiata agli esempi.
|
||||
|
||||
### Allocazione
|
||||
|
||||
Si consideri un ipotetico sistema per la scrematura delle domande di prestito. Il sistema tende a scegliere gli uomini bianchi come candidati migliori rispetto ad altri gruppi. Di conseguenza, i prestiti vengono negati ad alcuni richiedenti.
|
||||
|
||||
Un altro esempio potrebbe essere uno strumento sperimentale di assunzione sviluppato da una grande azienda per selezionare i candidati. Lo strumento discrimina sistematicamente un genere utilizzando i modelli che sono stati addestrati a preferire parole associate con altro. Ha portato a penalizzare i candidati i cui curricula contengono parole come "squadra di rugby femminile".
|
||||
|
||||
✅ Si compia una piccola ricerca per trovare un esempio reale di qualcosa del genere
|
||||
|
||||
### Qualità di Servizio
|
||||
|
||||
I ricercatori hanno scoperto che diversi classificatori di genere commerciali avevano tassi di errore più elevati intorno alle immagini di donne con tonalità della pelle più scura rispetto alle immagini di uomini con tonalità della pelle più chiare. [Riferimento](https://www.media.mit.edu/publications/gender-shades-intersectional-accuracy-disparities-in-commercial-gender-classification/)
|
||||
|
||||
Un altro esempio infamante è un distributore di sapone per le mani che sembrava non essere in grado di percepire le persone con la pelle scura. [Riferimento](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
|
||||
|
||||
### Stereotipi
|
||||
|
||||
La visione di genere stereotipata è stata trovata nella traduzione automatica. Durante la traduzione in turco "he is a nurse and she is a doctor" (lui è un'infermiere e lei un medico), sono stati riscontrati problemi. Il turco è una lingua senza genere che ha un pronome, "o" per trasmettere una terza persona singolare, ma tradurre la frase dal turco all'inglese produce lo stereotipo e scorretto come "she is a nurse and he is a doctor" (lei è un'infermiera e lui è un medico).
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
### Denigrazione
|
||||
|
||||
Una tecnologia di etichettatura delle immagini ha contrassegnato in modo infamante le immagini di persone dalla pelle scura come gorilla. L'etichettatura errata è dannosa non solo perché il sistema ha commesso un errore, ma anche perché ha applicato specificamente un'etichetta che ha una lunga storia di essere intenzionalmente utilizzata per denigrare i neri.
|
||||
|
||||
[](https://www.youtube.com/watch?v=QxuyfWoVV98 "AI, non sono una donna?")
|
||||
> 🎥 Cliccare sull'immagine sopra per un video: AI, Ain't I a Woman - una performance che mostra il danno causato dalla denigrazione razzista da parte dell'AI
|
||||
|
||||
### Sovra o sotto rappresentazione
|
||||
|
||||
I risultati di ricerca di immagini distorti possono essere un buon esempio di questo danno. Quando si cercano immagini di professioni con una percentuale uguale o superiore di uomini rispetto alle donne, come l'ingegneria o CEO, si osserva che i risultati sono più fortemente distorti verso un determinato genere.
|
||||
|
||||
|
||||
> Questa ricerca su Bing per "CEO" produce risultati piuttosto inclusivi
|
||||
|
||||
Questi cinque principali tipi di danno non si escludono a vicenda e un singolo sistema può presentare più di un tipo di danno. Inoltre, ogni caso varia nella sua gravità. Ad esempio, etichettare ingiustamente qualcuno come criminale è un danno molto più grave che etichettare erroneamente un'immagine. È importante, tuttavia, ricordare che anche danni relativamente non gravi possono far sentire le persone alienate o emarginate e l'impatto cumulativo può essere estremamente opprimente.
|
||||
|
||||
✅ **Discussione**: rivisitare alcuni degli esempi e vedere se mostrano danni diversi.
|
||||
|
||||
| | Allocatione | Qualita di servizio | Stereotipo | Denigrazione | Sovra o sotto rappresentazione |
|
||||
| ----------------------------------- | :---------: | :-----------------: | :--------: | :----------: | :----------------------------: |
|
||||
| Sistema di assunzione automatizzato | x | x | x | | x |
|
||||
| Traduzione automatica | | | | | |
|
||||
| Eitchettatura foto | | | | | |
|
||||
|
||||
## Rilevare l'ingiustizia
|
||||
|
||||
Ci sono molte ragioni per cui un dato sistema si comporta in modo scorretto. I pregiudizi sociali, ad esempio, potrebbero riflettersi nell'insieme di dati utilizzati per addestrarli. Ad esempio, l'ingiustizia delle assunzioni potrebbe essere stata esacerbata dall'eccessivo affidamento sui dati storici. Utilizzando i modelli nei curricula inviati all'azienda per un periodo di 10 anni, il modello ha determinato che gli uomini erano più qualificati perché la maggior parte dei curricula proveniva da uomini, un riflesso del passato dominio maschile nell'industria tecnologica.
|
||||
|
||||
Dati inadeguati su un determinato gruppo di persone possono essere motivo di ingiustizia. Ad esempio, i classificatori di immagini hanno un tasso di errore più elevato per le immagini di persone dalla pelle scura perché le tonalità della pelle più scure sono sottorappresentate nei dati.
|
||||
|
||||
Anche le ipotesi errate fatte durante lo sviluppo causano iniquità. Ad esempio, un sistema di analisi facciale destinato a prevedere chi commetterà un crimine basato sulle immagini dei volti delle persone può portare a ipotesi dannose. Ciò potrebbe portare a danni sostanziali per le persone classificate erroneamente.
|
||||
|
||||
## Si comprendano i propri modelli e si costruiscano in modo onesto
|
||||
|
||||
Sebbene molti aspetti dell'equità non vengano catturati nelle metriche di equità quantitativa e non sia possibile rimuovere completamente i pregiudizi da un sistema per garantire l'equità, si è comunque responsabili di rilevare e mitigare il più possibile i problemi di equità.
|
||||
|
||||
Quando si lavora con modelli di machine learning, è importante comprendere i propri modelli assicurandone l'interpretabilità e valutando e mitigando l'ingiustizia.
|
||||
|
||||
Si utilizza l'esempio di selezione del prestito per isolare il caso e determinare il livello di impatto di ciascun fattore sulla previsione.
|
||||
|
||||
## Metodi di valutazione
|
||||
|
||||
1. **Identificare i danni (e benefici)**. Il primo passo è identificare danni e benefici. Si pensi a come azioni e decisioni possono influenzare sia i potenziali clienti che un'azienda stessa.
|
||||
|
||||
1. **Identificare i gruppi interessati**. Una volta compreso il tipo di danni o benefici che possono verificarsi, identificare i gruppi che potrebbero essere interessati. Questi gruppi sono definiti per genere, etnia o gruppo sociale?
|
||||
|
||||
1. **Definire le metriche di equità**. Infine, si definisca una metrica in modo da avere qualcosa su cui misurare il proprio lavoro per migliorare la situazione.
|
||||
|
||||
### **Identificare danni (e benefici)**
|
||||
|
||||
Quali sono i danni e i benefici associati al prestito? Si pensi agli scenari di falsi negativi e falsi positivi:
|
||||
|
||||
**Falsi negativi** (rifiutato, ma Y=1) - in questo caso viene rifiutato un richiedente che sarà in grado di rimborsare un prestito. Questo è un evento avverso perché le risorse dei prestiti non sono erogate a richiedenti qualificati.
|
||||
|
||||
**Falsi positivi** (accettato, ma Y=0) - in questo caso, il richiedente ottiene un prestito ma alla fine fallisce. Di conseguenza, il caso del richiedente verrà inviato a un'agenzia di recupero crediti che può influire sulle sue future richieste di prestito.
|
||||
|
||||
### **Identificare i gruppi interessati**
|
||||
|
||||
Il passo successivo è determinare quali gruppi potrebbero essere interessati. Ad esempio, nel caso di una richiesta di carta di credito, un modello potrebbe stabilire che le donne dovrebbero ricevere limiti di credito molto più bassi rispetto ai loro coniugi che condividono i beni familiari. Un intero gruppo demografico, definito in base al genere, è così interessato.
|
||||
|
||||
### **Definire le metriche di equità**
|
||||
|
||||
Si sono identificati i danni e un gruppo interessato, in questo caso, delineato per genere. Ora, si usino i fattori quantificati per disaggregare le loro metriche. Ad esempio, utilizzando i dati di seguito, si può vedere che le donne hanno il più alto tasso di falsi positivi e gli uomini il più piccolo, e che è vero il contrario per i falsi negativi.
|
||||
|
||||
✅ In una futura lezione sul Clustering, si vedrà come costruire questa 'matrice di confusione' nel codice
|
||||
|
||||
| | percentuale di falsi positivi | Percentuale di falsi negativi | conteggio |
|
||||
| ----------- | ----------------------------- | ----------------------------- | --------- |
|
||||
| Donna | 0,37 | 0,27 | 54032 |
|
||||
| Uomo | 0,31 | 0.35 | 28620 |
|
||||
| Non binario | 0,33 | 0,31 | 1266 |
|
||||
|
||||
Questa tabella ci dice diverse cose. Innanzitutto, si nota che ci sono relativamente poche persone non binarie nei dati. I dati sono distorti, quindi si deve fare attenzione a come si interpretano questi numeri.
|
||||
|
||||
In questo caso, ci sono 3 gruppi e 2 metriche. Quando si pensa a come il nostro sistema influisce sul gruppo di clienti con i loro richiedenti di prestito, questo può essere sufficiente, ma quando si desidera definire un numero maggiore di gruppi, è possibile distillare questo in insiemi più piccoli di riepiloghi. Per fare ciò, si possono aggiungere più metriche, come la differenza più grande o il rapporto più piccolo di ogni falso negativo e falso positivo.
|
||||
|
||||
✅ Ci si fermi a pensare: quali altri gruppi potrebbero essere interessati dalla richiesta di prestito?
|
||||
|
||||
## Mitigare l'ingiustizia
|
||||
|
||||
Per mitigare l'ingiustizia, si esplori il modello per generare vari modelli mitigati e si confrontino i compromessi tra accuratezza ed equità per selezionare il modello più equo.
|
||||
|
||||
Questa lezione introduttiva non approfondisce i dettagli dell'algoritmo della mitigazione dell'ingiustizia, come l'approccio di post-elaborazione e riduzione, ma ecco uno strumento che si potrebbe voler provare.
|
||||
|
||||
### Fairlearn
|
||||
|
||||
[Fairlearn](https://fairlearn.github.io/) è un pacchetto Python open source che consente di valutare l'equità dei propri sistemi e mitigare l'ingiustizia.
|
||||
|
||||
Lo strumento consente di valutare in che modo le previsioni di un modello influiscono su diversi gruppi, consentendo di confrontare più modelli utilizzando metriche di equità e prestazioni e fornendo una serie di algoritmi per mitigare l'ingiustizia nella classificazione binaria e nella regressione.
|
||||
|
||||
- Si scopra come utilizzare i diversi componenti controllando il GitHub di [Fairlearn](https://github.com/fairlearn/fairlearn/)
|
||||
|
||||
- Si esplori la [guida per l'utente](https://fairlearn.github.io/main/user_guide/index.html), e gli [esempi](https://fairlearn.github.io/main/auto_examples/index.html)
|
||||
|
||||
- Si provino alcuni [notebook di esempio](https://github.com/fairlearn/fairlearn/tree/master/notebooks).
|
||||
|
||||
- Si scopra [come abilitare le valutazioni dell'equità](https://docs.microsoft.com/azure/machine-learning/how-to-machine-learning-fairness-aml?WT.mc_id=academic-15963-cxa) dei modelli di Machine Learning in Azure Machine Learning.
|
||||
|
||||
- Si dia un'occhiata a questi [notebook di esempio](https://github.com/Azure/MachineLearningNotebooks/tree/master/contrib/fairness) per ulteriori scenari di valutazione dell'equità in Azure Machine Learning.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Per evitare che vengano introdotti pregiudizi, in primo luogo, si dovrebbe:
|
||||
|
||||
- avere una diversità di background e prospettive tra le persone che lavorano sui sistemi
|
||||
- investire in insiemi di dati che riflettano le diversità della società
|
||||
- sviluppare metodi migliori per rilevare e correggere i pregiudizi quando si verificano
|
||||
|
||||
Si pensi a scenari di vita reale in cui l'ingiustizia è evidente nella creazione e nell'utilizzo del modello. Cos'altro si dovrebbe considerare?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/6/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
In questa lezione si sono apprese alcune nozioni di base sui concetti di equità e ingiustizia in machine learning.
|
||||
|
||||
Si guardi questo workshop per approfondire gli argomenti:
|
||||
|
||||
- YouTube: Danni correlati all'equità nei sistemi di IA: esempi, valutazione e mitigazione di Hanna Wallach e Miro Dudik [Danni correlati all'equità nei sistemi di IA: esempi, valutazione e mitigazione - YouTube](https://www.youtube.com/watch?v=1RptHwfkx_k)
|
||||
|
||||
Si legga anche:
|
||||
|
||||
- Centro risorse RAI di Microsoft: [risorse AI responsabili – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4)
|
||||
|
||||
- Gruppo di ricerca FATE di Microsoft[: FATE: equità, responsabilità, trasparenza ed etica nell'intelligenza artificiale - Microsoft Research](https://www.microsoft.com/research/theme/fate/)
|
||||
|
||||
Si esplori il toolkit Fairlearn
|
||||
|
||||
[Fairlearn](https://fairlearn.org/)
|
||||
|
||||
Si scoprano gli strumenti di Azure Machine Learning per garantire l'equità
|
||||
|
||||
- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-15963-cxa)
|
||||
|
||||
## Compito
|
||||
|
||||
[Esplorare Fairlearn](assignment.it.md)
|
||||
|
|
|
|||
|
|
@ -1,114 +1,114 @@
|
|||
# Tecniche di Machine Learning
|
||||
|
||||
Il processo di creazione, utilizzo e mantenimento dei modelli di machine learning e dei dati che utilizzano è un processo molto diverso da molti altri flussi di lavoro di sviluppo. In questa lezione si demistifica il processo, e si delineano le principali tecniche che occorre conoscere. Si dovrà:
|
||||
|
||||
- Comprendere i processi ad alto livello alla base di machine learning.
|
||||
- Esplorare concetti di base come "modelli", "previsioni" e "dati di addestramento".
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/7/)
|
||||
|
||||
## Introduzione
|
||||
|
||||
Ad alto livello, il mestiere di creare processi di apprendimento automatico (ML) comprende una serie di passaggi:
|
||||
|
||||
1. **Decidere circa la domanda**. La maggior parte dei processi ML inizia ponendo una domanda alla quale non è possibile ottenere risposta da un semplice programma condizionale o da un motore basato su regole. Queste domande spesso ruotano attorno a previsioni basate su una raccolta di dati.
|
||||
2. **Raccogliere e preparare i dati**. Per poter rispondere alla domanda, servono dati. La qualità e, a volte, la quantità dei dati determineranno quanto bene sarà possibile rispondere alla domanda iniziale. La visualizzazione dei dati è un aspetto importante di questa fase. Questa fase include anche la suddivisione dei dati in un gruppo di addestramento (training) e test per costruire un modello.
|
||||
3. **Scegliere un metodo di addestramento**. A seconda della domanda e della natura dei dati, è necessario scegliere come si desidera addestrare un modello per riflettere al meglio i dati e fare previsioni accurate su di essi. Questa è la parte del processo di ML che richiede competenze specifiche e, spesso, una notevole quantità di sperimentazione.
|
||||
4. **Addestrare il modello**. Usando i dati di addestramento, si utilizzeranno vari algoritmi per addestrare un modello a riconoscere modelli nei dati. Il modello potrebbe sfruttare pesi interni che possono essere regolati per privilegiare alcune parti dei dati rispetto ad altre per costruire un modello migliore.
|
||||
5. **Valutare il modello**. Si utilizzano dati mai visti prima (i dati di test) da quelli raccolti per osservare le prestazioni del modello.
|
||||
6. **Regolazione dei parametri**. In base alle prestazioni del modello, si può ripetere il processo utilizzando parametri differenti, o variabili, che controllano il comportamento degli algoritmi utilizzati per addestrare il modello.
|
||||
7. **Prevedere**. Usare nuovi input per testare la precisione del modello.
|
||||
|
||||
## Che domanda fare
|
||||
|
||||
I computer sono particolarmente abili nello scoprire modelli nascosti nei dati. Questa caratteristica è molto utile per i ricercatori che hanno domande su un determinato campo a cui non è possibile rispondere facilmente creando un motore di regole basato su condizioni. Dato un compito attuariale, ad esempio, un data scientist potrebbe essere in grado di costruire manualmente regole sulla mortalità dei fumatori rispetto ai non fumatori.
|
||||
|
||||
Quando molte altre variabili vengono introdotte nell'equazione, tuttavia, un modello ML potrebbe rivelarsi più efficiente per prevedere i tassi di mortalità futuri in base alla storia sanitaria passata. Un esempio più allegro potrebbe essere fare previsioni meteorologiche per il mese di aprile in una determinata località sulla base di dati che includono latitudine, longitudine, cambiamento climatico, vicinanza all'oceano, modelli della corrente a getto e altro ancora.
|
||||
|
||||
✅ Questa [presentazione](https://www2.cisl.ucar.edu/sites/default/files/0900%20June%2024%20Haupt_0.pdf) sui modelli meteorologici offre una prospettiva storica per l'utilizzo di ML nell'analisi meteorologica.
|
||||
|
||||
## Attività di pre-costruzione
|
||||
|
||||
Prima di iniziare a costruire il proprio modello, ci sono diverse attività da completare. Per testare la domanda e formare un'ipotesi basata sulle previsioni di un modello, occorre identificare e configurare diversi elementi.
|
||||
|
||||
### Dati
|
||||
|
||||
Per poter rispondere con sicurezza alla domanda, serve una buona quantità di dati del tipo giusto. Ci sono due cose da fare a questo punto:
|
||||
|
||||
- **Raccogliere dati**. Tenendo presente la lezione precedente sull'equità nell'analisi dei dati, si raccolgano i dati con cura. Ci sia consapevolezza delle fonti di questi dati, di eventuali pregiudizi intrinseci che potrebbero avere e si documenti la loro origine.
|
||||
- **Preparare i dati**. Ci sono diversi passaggi nel processo di preparazione dei dati. Potrebbe essere necessario raccogliere i dati e normalizzarli se provengono da fonti diverse. Si può migliorare la qualità e la quantità dei dati attraverso vari metodi come la conversione di stringhe in numeri (come si fa in [Clustering](../../../5-Clustering/1-Visualize/transaltions/README.it.md)). Si potrebbero anche generare nuovi dati, basati sull'originale (come si fa in [Classificazione](../../../4-Classification/1-Introduction/translations/README.it.md)). Si possono pulire e modificare i dati (come verrà fatto prima della lezione sull'[app Web](../../../3-Web-App/translations/README.it.md) ). Infine, si potrebbe anche aver bisogno di renderli casuali e mescolarli, a seconda delle proprie tecniche di addestramento.
|
||||
|
||||
✅ Dopo aver raccolto ed elaborato i propri dati, si prenda un momento per vedere se la loro forma consentirà di rispondere alla domanda prevista. Potrebbe essere che i dati non funzionino bene nello svolgere il compito assegnato, come si scopre nelle lezioni di [Clustering](../../../5-Clustering/1-Visualize/translations/README.it.md)!
|
||||
|
||||
### Caratteristiche e destinazione
|
||||
|
||||
Una funzionalità è una proprietà misurabile dei dati. In molti set di dati è espresso come intestazione di colonna come 'date' 'size' o 'color'. La variabile di funzionalità, solitamente rappresentata come `X` nel codice, rappresenta la variabile di input che verrà utilizzata per il training del modello.
|
||||
|
||||
Un obiettivo è una cosa che stai cercando di prevedere. Target solitamente rappresentato come `y` nel codice, rappresenta la risposta alla domanda che stai cercando di porre dei tuoi dati: a dicembre, di che colore saranno le zucche più economiche? a San Francisco, quali quartieri avranno il miglior prezzo immobiliare? A volte la destinazione viene anche definita attributo label.
|
||||
|
||||
### Selezione della variabile caratteristica
|
||||
|
||||
🎓 **Selezione ed estrazione della caratteristica** Come si fa a sapere quale variabile scegliere quando si costruisce un modello? Probabilmente si dovrà passare attraverso un processo di selezione o estrazione delle caratteristiche per scegliere le variabili giuste per il modello più efficace. Tuttavia, non è la stessa cosa: "L'estrazione delle caratteristiche crea nuove caratteristiche dalle funzioni delle caratteristiche originali, mentre la selezione delle caratteristiche restituisce un sottoinsieme delle caratteristiche". ([fonte](https://it.wikipedia.org/wiki/Selezione_delle_caratteristiche))
|
||||
|
||||
### Visualizzare i dati
|
||||
|
||||
Un aspetto importante del bagaglio del data scientist è la capacità di visualizzare i dati utilizzando diverse eccellenti librerie come Seaborn o MatPlotLib. Rappresentare visivamente i propri dati potrebbe consentire di scoprire correlazioni nascoste che si possono sfruttare. Le visualizzazioni potrebbero anche aiutare a scoprire pregiudizi o dati sbilanciati (come si scopre in [Classificazione](../../../4-Classification/2-Classifiers-1/translations/README.it.md)).
|
||||
|
||||
### Dividere l'insieme di dati
|
||||
|
||||
Prima dell'addestramento, è necessario dividere l'insieme di dati in due o più parti di dimensioni diverse che rappresentano comunque bene i dati.
|
||||
|
||||
- **Addestramento**. Questa parte dell'insieme di dati è adatta al proprio modello per addestrarlo. Questo insieme costituisce la maggior parte dell'insieme di dati originale.
|
||||
- **Test**. Un insieme di dati di test è un gruppo indipendente di dati, spesso raccolti dai dati originali, che si utilizzano per confermare le prestazioni del modello creato.
|
||||
- **Convalida**. Un insieme di convalida è un gruppo indipendente più piccolo di esempi da usare per ottimizzare gli iperparametri, o architettura, del modello per migliorarlo. A seconda delle dimensioni dei propri dati e della domanda che si sta ponendo, si potrebbe non aver bisogno di creare questo terzo insieme (come si nota in [Previsione delle Serie Temporali](../../../7-TimeSeries/1-Introduction/translations/README.it.md)).
|
||||
|
||||
## Costruire un modello
|
||||
|
||||
Utilizzando i dati di addestramento, l'obiettivo è costruire un modello o una rappresentazione statistica dei propri dati, utilizzando vari algoritmi per **addestrarlo** . L'addestramento di un modello lo espone ai dati e consente di formulare ipotesi sui modelli percepiti che scopre, convalida e accetta o rifiuta.
|
||||
|
||||
### Decidere un metodo di addestramento
|
||||
|
||||
A seconda della domanda e della natura dei dati, si sceglierà un metodo per addestrarlo. Passando attraverso [la documentazione di Scikit-learn](https://scikit-learn.org/stable/user_guide.html), che si usa in questo corso, si possono esplorare molti modi per addestrare un modello. A seconda della propria esperienza, si potrebbe dover provare diversi metodi per creare il modello migliore. È probabile che si attraversi un processo in cui i data scientist valutano le prestazioni di un modello fornendogli dati non visti, verificandone l'accuratezza, i pregiudizi e altri problemi che degradano la qualità e selezionando il metodo di addestramento più appropriato per l'attività da svolgere.
|
||||
|
||||
### Allenare un modello
|
||||
|
||||
Armati dei tuoi dati di allenamento, sei pronto a "adattarlo" per creare un modello. Noterai che in molte librerie ML troverai il codice "model.fit" - è in questo momento che invii la tua variabile di funzionalità come matrice di valori (in genere `X`) e una variabile di destinazione (di solito `y`).
|
||||
|
||||
### Valutare il modello
|
||||
|
||||
Una volta completato il processo di addestramento (potrebbero essere necessarie molte iterazioni, o "epoche", per addestrare un modello di grandi dimensioni), si sarà in grado di valutare la qualità del modello utilizzando i dati di test per valutarne le prestazioni. Questi dati sono un sottoinsieme dei dati originali che il modello non ha analizzato in precedenza. Si può stampare una tabella di metriche sulla qualità del proprio modello.
|
||||
|
||||
🎓 **Adattamento del modello**
|
||||
|
||||
Nel contesto di machine learning, l'adattamento del modello si riferisce all'accuratezza della funzione sottostante del modello mentre tenta di analizzare dati con cui non ha familiarità.
|
||||
|
||||
🎓 **Inadeguatezza** o **sovraadattamento** sono problemi comuni che degradano la qualità del modello, poiché il modello non si adatta abbastanza bene o troppo bene. Ciò fa sì che il modello esegua previsioni troppo allineate o troppo poco allineate con i suoi dati di addestramento. Un modello overfit (sovraaddestrato) prevede troppo bene i dati di addestramento perché ha appreso troppo bene i dettagli e il rumore dei dati. Un modello underfit (inadeguato) non è accurato in quanto non può né analizzare accuratamente i suoi dati di allenamento né i dati che non ha ancora "visto".
|
||||
|
||||
|
||||
> Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
|
||||
## Sintonia dei parametri
|
||||
|
||||
Una volta completato l'addestramento iniziale, si osservi la qualità del modello e si valuti di migliorarlo modificando i suoi "iperparametri". Maggiori informazioni sul processo [nella documentazione](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-15963-cxa).
|
||||
|
||||
## Previsione
|
||||
|
||||
Questo è il momento in cui si possono utilizzare dati completamente nuovi per testare l'accuratezza del proprio modello. In un'impostazione ML "applicata", in cui si creano risorse Web per utilizzare il modello in produzione, questo processo potrebbe comportare la raccolta dell'input dell'utente (ad esempio, la pressione di un pulsante) per impostare una variabile e inviarla al modello per l'inferenza, oppure valutazione.
|
||||
|
||||
In queste lezioni si scoprirà come utilizzare questi passaggi per preparare, costruire, testare, valutare e prevedere - tutti gesti di un data scientist e altro ancora, mentre si avanza nel proprio viaggio per diventare un ingegnere ML "full stack".
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Disegnare un diagramma di flusso che rifletta i passaggi di un professionista di ML. Dove ci si vede in questo momento nel processo? Dove si prevede che sorgeranno difficoltà? Cosa sembra facile?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/8/)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Cercare online le interviste con i data scientist che discutono del loro lavoro quotidiano. Eccone [una](https://www.youtube.com/watch?v=Z3IjgbbCEfs).
|
||||
|
||||
## Compito
|
||||
|
||||
[Intervista a un data scientist](assignment.it.md)
|
||||
# Tecniche di Machine Learning
|
||||
|
||||
Il processo di creazione, utilizzo e mantenimento dei modelli di machine learning e dei dati che utilizzano è un processo molto diverso da molti altri flussi di lavoro di sviluppo. In questa lezione si demistifica il processo, e si delineano le principali tecniche che occorre conoscere. Si dovrà:
|
||||
|
||||
- Comprendere i processi ad alto livello alla base di machine learning.
|
||||
- Esplorare concetti di base come "modelli", "previsioni" e "dati di addestramento".
|
||||
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/7/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
Ad alto livello, il mestiere di creare processi di apprendimento automatico (ML) comprende una serie di passaggi:
|
||||
|
||||
1. **Decidere circa la domanda**. La maggior parte dei processi ML inizia ponendo una domanda alla quale non è possibile ottenere risposta da un semplice programma condizionale o da un motore basato su regole. Queste domande spesso ruotano attorno a previsioni basate su una raccolta di dati.
|
||||
2. **Raccogliere e preparare i dati**. Per poter rispondere alla domanda, servono dati. La qualità e, a volte, la quantità dei dati determineranno quanto bene sarà possibile rispondere alla domanda iniziale. La visualizzazione dei dati è un aspetto importante di questa fase. Questa fase include anche la suddivisione dei dati in un gruppo di addestramento (training) e test per costruire un modello.
|
||||
3. **Scegliere un metodo di addestramento**. A seconda della domanda e della natura dei dati, è necessario scegliere come si desidera addestrare un modello per riflettere al meglio i dati e fare previsioni accurate su di essi. Questa è la parte del processo di ML che richiede competenze specifiche e, spesso, una notevole quantità di sperimentazione.
|
||||
4. **Addestrare il modello**. Usando i dati di addestramento, si utilizzeranno vari algoritmi per addestrare un modello a riconoscere modelli nei dati. Il modello potrebbe sfruttare pesi interni che possono essere regolati per privilegiare alcune parti dei dati rispetto ad altre per costruire un modello migliore.
|
||||
5. **Valutare il modello**. Si utilizzano dati mai visti prima (i dati di test) da quelli raccolti per osservare le prestazioni del modello.
|
||||
6. **Regolazione dei parametri**. In base alle prestazioni del modello, si può ripetere il processo utilizzando parametri differenti, o variabili, che controllano il comportamento degli algoritmi utilizzati per addestrare il modello.
|
||||
7. **Prevedere**. Usare nuovi input per testare la precisione del modello.
|
||||
|
||||
## Che domanda fare
|
||||
|
||||
I computer sono particolarmente abili nello scoprire modelli nascosti nei dati. Questa caratteristica è molto utile per i ricercatori che hanno domande su un determinato campo a cui non è possibile rispondere facilmente creando un motore di regole basato su condizioni. Dato un compito attuariale, ad esempio, un data scientist potrebbe essere in grado di costruire manualmente regole sulla mortalità dei fumatori rispetto ai non fumatori.
|
||||
|
||||
Quando molte altre variabili vengono introdotte nell'equazione, tuttavia, un modello ML potrebbe rivelarsi più efficiente per prevedere i tassi di mortalità futuri in base alla storia sanitaria passata. Un esempio più allegro potrebbe essere fare previsioni meteorologiche per il mese di aprile in una determinata località sulla base di dati che includono latitudine, longitudine, cambiamento climatico, vicinanza all'oceano, modelli della corrente a getto e altro ancora.
|
||||
|
||||
✅ Questa [presentazione](https://www2.cisl.ucar.edu/sites/default/files/0900%20June%2024%20Haupt_0.pdf) sui modelli meteorologici offre una prospettiva storica per l'utilizzo di ML nell'analisi meteorologica.
|
||||
|
||||
## Attività di pre-costruzione
|
||||
|
||||
Prima di iniziare a costruire il proprio modello, ci sono diverse attività da completare. Per testare la domanda e formare un'ipotesi basata sulle previsioni di un modello, occorre identificare e configurare diversi elementi.
|
||||
|
||||
### Dati
|
||||
|
||||
Per poter rispondere con sicurezza alla domanda, serve una buona quantità di dati del tipo giusto. Ci sono due cose da fare a questo punto:
|
||||
|
||||
- **Raccogliere dati**. Tenendo presente la lezione precedente sull'equità nell'analisi dei dati, si raccolgano i dati con cura. Ci sia consapevolezza delle fonti di questi dati, di eventuali pregiudizi intrinseci che potrebbero avere e si documenti la loro origine.
|
||||
- **Preparare i dati**. Ci sono diversi passaggi nel processo di preparazione dei dati. Potrebbe essere necessario raccogliere i dati e normalizzarli se provengono da fonti diverse. Si può migliorare la qualità e la quantità dei dati attraverso vari metodi come la conversione di stringhe in numeri (come si fa in [Clustering](../../../5-Clustering/1-Visualize/transaltions/README.it.md)). Si potrebbero anche generare nuovi dati, basati sull'originale (come si fa in [Classificazione](../../../4-Classification/1-Introduction/translations/README.it.md)). Si possono pulire e modificare i dati (come verrà fatto prima della lezione sull'[app Web](../../../3-Web-App/translations/README.it.md) ). Infine, si potrebbe anche aver bisogno di renderli casuali e mescolarli, a seconda delle proprie tecniche di addestramento.
|
||||
|
||||
✅ Dopo aver raccolto ed elaborato i propri dati, si prenda un momento per vedere se la loro forma consentirà di rispondere alla domanda prevista. Potrebbe essere che i dati non funzionino bene nello svolgere il compito assegnato, come si scopre nelle lezioni di [Clustering](../../../5-Clustering/1-Visualize/translations/README.it.md)!
|
||||
|
||||
### Caratteristiche e destinazione
|
||||
|
||||
Una caratteristica è una proprietà misurabile dei dati. In molti set di dati è espresso come intestazione di colonna come 'date' 'size' o 'color'. La variabile di caratteristica, solitamente rappresentata come `X` nel codice, rappresenta la variabile di input che verrà utilizzata per il training del modello.
|
||||
|
||||
Un obiettivo è una cosa che stai cercando di prevedere. Target solitamente rappresentato come `y` nel codice, rappresenta la risposta alla domanda che stai cercando di porre dei tuoi dati: a dicembre, di che colore saranno le zucche più economiche? a San Francisco, quali quartieri avranno il miglior prezzo immobiliare? A volte la destinazione viene anche definita attributo label.
|
||||
|
||||
### Selezione della variabile caratteristica
|
||||
|
||||
🎓 **Selezione ed estrazione della caratteristica** Come si fa a sapere quale variabile scegliere quando si costruisce un modello? Probabilmente si dovrà passare attraverso un processo di selezione o estrazione delle caratteristiche per scegliere le variabili giuste per il modello più efficace. Tuttavia, non è la stessa cosa: "L'estrazione delle caratteristiche crea nuove caratteristiche dalle funzioni delle caratteristiche originali, mentre la selezione delle caratteristiche restituisce un sottoinsieme delle caratteristiche". ([fonte](https://it.wikipedia.org/wiki/Selezione_delle_caratteristiche))
|
||||
|
||||
### Visualizzare i dati
|
||||
|
||||
Un aspetto importante del bagaglio del data scientist è la capacità di visualizzare i dati utilizzando diverse eccellenti librerie come Seaborn o MatPlotLib. Rappresentare visivamente i propri dati potrebbe consentire di scoprire correlazioni nascoste che si possono sfruttare. Le visualizzazioni potrebbero anche aiutare a scoprire pregiudizi o dati sbilanciati (come si scopre in [Classificazione](../../../4-Classification/2-Classifiers-1/translations/README.it.md)).
|
||||
|
||||
### Dividere l'insieme di dati
|
||||
|
||||
Prima dell'addestramento, è necessario dividere l'insieme di dati in due o più parti di dimensioni diverse che rappresentano comunque bene i dati.
|
||||
|
||||
- **Addestramento**. Questa parte dell'insieme di dati è adatta al proprio modello per addestrarlo. Questo insieme costituisce la maggior parte dell'insieme di dati originale.
|
||||
- **Test**. Un insieme di dati di test è un gruppo indipendente di dati, spesso raccolti dai dati originali, che si utilizzano per confermare le prestazioni del modello creato.
|
||||
- **Convalida**. Un insieme di convalida è un gruppo indipendente più piccolo di esempi da usare per ottimizzare gli iperparametri, o architettura, del modello per migliorarlo. A seconda delle dimensioni dei propri dati e della domanda che si sta ponendo, si potrebbe non aver bisogno di creare questo terzo insieme (come si nota in [Previsione delle Serie Temporali](../../../7-TimeSeries/1-Introduction/translations/README.it.md)).
|
||||
|
||||
## Costruire un modello
|
||||
|
||||
Utilizzando i dati di addestramento, l'obiettivo è costruire un modello o una rappresentazione statistica dei propri dati, utilizzando vari algoritmi per **addestrarlo** . L'addestramento di un modello lo espone ai dati e consente di formulare ipotesi sui modelli percepiti che scopre, convalida e accetta o rifiuta.
|
||||
|
||||
### Decidere un metodo di addestramento
|
||||
|
||||
A seconda della domanda e della natura dei dati, si sceglierà un metodo per addestrarlo. Passando attraverso [la documentazione di Scikit-learn](https://scikit-learn.org/stable/user_guide.html), che si usa in questo corso, si possono esplorare molti modi per addestrare un modello. A seconda della propria esperienza, si potrebbe dover provare diversi metodi per creare il modello migliore. È probabile che si attraversi un processo in cui i data scientist valutano le prestazioni di un modello fornendogli dati non visti, verificandone l'accuratezza, i pregiudizi e altri problemi che degradano la qualità e selezionando il metodo di addestramento più appropriato per l'attività da svolgere.
|
||||
|
||||
### Allenare un modello
|
||||
|
||||
Armati dei tuoi dati di allenamento, sei pronto a "adattarlo" per creare un modello. Noterai che in molte librerie ML troverai il codice "model.fit" - è in questo momento che invii la tua variabile di funzionalità come matrice di valori (in genere `X`) e una variabile di destinazione (di solito `y`).
|
||||
|
||||
### Valutare il modello
|
||||
|
||||
Una volta completato il processo di addestramento (potrebbero essere necessarie molte iterazioni, o "epoche", per addestrare un modello di grandi dimensioni), si sarà in grado di valutare la qualità del modello utilizzando i dati di test per valutarne le prestazioni. Questi dati sono un sottoinsieme dei dati originali che il modello non ha analizzato in precedenza. Si può stampare una tabella di metriche sulla qualità del proprio modello.
|
||||
|
||||
🎓 **Adattamento del modello**
|
||||
|
||||
Nel contesto di machine learning, l'adattamento del modello si riferisce all'accuratezza della funzione sottostante del modello mentre tenta di analizzare dati con cui non ha familiarità.
|
||||
|
||||
🎓 **Inadeguatezza** o **sovraadattamento** sono problemi comuni che degradano la qualità del modello, poiché il modello non si adatta abbastanza bene o troppo bene. Ciò fa sì che il modello esegua previsioni troppo allineate o troppo poco allineate con i suoi dati di addestramento. Un modello overfit (sovraaddestrato) prevede troppo bene i dati di addestramento perché ha appreso troppo bene i dettagli e il rumore dei dati. Un modello underfit (inadeguato) non è accurato in quanto non può né analizzare accuratamente i suoi dati di allenamento né i dati che non ha ancora "visto".
|
||||
|
||||
|
||||
> Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
|
||||
## Sintonia dei parametri
|
||||
|
||||
Una volta completato l'addestramento iniziale, si osservi la qualità del modello e si valuti di migliorarlo modificando i suoi "iperparametri". Maggiori informazioni sul processo [nella documentazione](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-15963-cxa).
|
||||
|
||||
## Previsione
|
||||
|
||||
Questo è il momento in cui si possono utilizzare dati completamente nuovi per testare l'accuratezza del proprio modello. In un'impostazione ML "applicata", in cui si creano risorse Web per utilizzare il modello in produzione, questo processo potrebbe comportare la raccolta dell'input dell'utente (ad esempio, la pressione di un pulsante) per impostare una variabile e inviarla al modello per l'inferenza, oppure valutazione.
|
||||
|
||||
In queste lezioni si scoprirà come utilizzare questi passaggi per preparare, costruire, testare, valutare e prevedere - tutti gesti di un data scientist e altro ancora, mentre si avanza nel proprio viaggio per diventare un ingegnere ML "full stack".
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Disegnare un diagramma di flusso che rifletta i passaggi di un professionista di ML. Dove ci si vede in questo momento nel processo? Dove si prevede che sorgeranno difficoltà? Cosa sembra facile?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/8/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Cercare online le interviste con i data scientist che discutono del loro lavoro quotidiano. Eccone [una](https://www.youtube.com/watch?v=Z3IjgbbCEfs).
|
||||
|
||||
## Compito
|
||||
|
||||
[Intervista a un data scientist](assignment.it.md)
|
||||
|
|
|
|||
|
|
@ -4,7 +4,7 @@
|
|||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
## [Qui Pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/9/)
|
||||
## [Qui Pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/9/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -197,7 +197,7 @@ Congratulazioni, si è costruito il primo modello di regressione lineare, creato
|
|||
|
||||
Tracciare una variabile diversa da questo insieme di dati. Suggerimento: modificare questa riga: `X = X[:, np.newaxis, 2]`. Dato l'obiettivo di questo insieme di dati, cosa si potrebbe riuscire a scoprire circa la progressione del diabete come matattia?
|
||||
|
||||
## [Qui post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/10/)
|
||||
## [Qui post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/10/?loc=it)
|
||||
|
||||
## Riepilogo e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@
|
|||
> 
|
||||
> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded)
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/11/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/11/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -190,7 +190,7 @@ Per fare in modo che i grafici mostrino dati utili, di solito è necessario ragg
|
|||
|
||||
Esplorare i diversi tipi di visualizzazione offerti da Matplotlib. Quali tipi sono più appropriati per i problemi di regressione?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/12/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/12/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -1,339 +1,339 @@
|
|||
# Costruire un modello di regressione usando Scikit-learn: regressione in due modi
|
||||
|
||||
|
||||
> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded)
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/13/)
|
||||
|
||||
### Introduzione
|
||||
|
||||
Finora si è esplorato cos'è la regressione con dati di esempio raccolti dall'insieme di dati relativo ai prezzi della zucca, che verrà usato in questa lezione. Lo si è anche visualizzato usando Matplotlib.
|
||||
|
||||
Ora si è pronti per approfondire la regressione per machine learning. In questa lezione si imparerà di più su due tipi di regressione: _regressione lineare di base_ e _regressione polinomiale_, insieme ad alcuni dei calcoli alla base di queste tecniche.
|
||||
|
||||
> In questo programma di studi, si assume una conoscenza minima della matematica, e si cerca di renderla accessibile agli studenti provenienti da altri campi, quindi si faccia attenzione a note, 🧮 didascalie, diagrammi e altri strumenti di apprendimento che aiutano la comprensione.
|
||||
|
||||
### Prerequisito
|
||||
|
||||
Si dovrebbe ormai avere familiarità con la struttura dei dati della zucca che si sta esaminando. Lo si può trovare precaricato e prepulito nel file _notebook.ipynb_ di questa lezione. Nel file, il prezzo della zucca viene visualizzato per bushel (staio) in un nuovo dataframe. Assicurasi di poter eseguire questi notebook nei kernel in Visual Studio Code.
|
||||
|
||||
### Preparazione
|
||||
|
||||
Come promemoria, si stanno caricando questi dati in modo da porre domande su di essi.
|
||||
|
||||
- Qual è il momento migliore per comprare le zucche?
|
||||
- Che prezzo ci si può aspettare da una cassa di zucche in miniatura?
|
||||
- Si devono acquistare in cestini da mezzo bushel o a scatola da 1 1/9 bushel? Si continua a scavare in questi dati.
|
||||
|
||||
Nella lezione precedente, è stato creato un dataframe Pandas e si è popolato con parte dell'insieme di dati originale, standardizzando il prezzo per lo bushel. In questo modo, tuttavia, si sono potuti raccogliere solo circa 400 punti dati e solo per i mesi autunnali.
|
||||
|
||||
Si dia un'occhiata ai dati precaricati nel notebook di accompagnamento di questa lezione. I dati sono precaricati e viene tracciato un grafico a dispersione iniziale per mostrare i dati mensili. Forse si può ottenere qualche dettaglio in più sulla natura dei dati pulendoli ulteriormente.
|
||||
|
||||
## Una linea di regressione lineare
|
||||
|
||||
Come si è appreso nella lezione 1, l'obiettivo di un esercizio di regressione lineare è essere in grado di tracciare una linea per:
|
||||
|
||||
- **Mostrare le relazioni tra variabili**.
|
||||
- **Fare previsioni**. Fare previsioni accurate su dove cadrebbe un nuovo punto dati in relazione a quella linea.
|
||||
|
||||
È tipico della **Regressione dei Minimi Quadrati** disegnare questo tipo di linea. Il termine "minimi quadrati" significa che tutti i punti dati che circondano la linea di regressione sono elevati al quadrato e quindi sommati. Idealmente, quella somma finale è la più piccola possibile, perché si vuole un basso numero di errori, o `minimi quadrati`.
|
||||
|
||||
Lo si fa perché si vuole modellare una linea che abbia la distanza cumulativa minima da tutti i punti dati. Si esegue anche il quadrato dei termini prima di aggiungerli poiché interessa la grandezza piuttosto che la direzione.
|
||||
|
||||
> **🧮 Mostrami la matematica**
|
||||
>
|
||||
> Questa linea, chiamata _linea di miglior adattamento_ , può essere espressa da [un'equazione](https://en.wikipedia.org/wiki/Simple_linear_regression):
|
||||
>
|
||||
> ```
|
||||
> Y = a + bX
|
||||
> ```
|
||||
>
|
||||
> `X` è la "variabile esplicativa". `Y` è la "variabile dipendente". La pendenza della linea è `b` e `a` è l'intercetta di y, che si riferisce al valore di `Y` quando `X = 0`.
|
||||
>
|
||||
> 
|
||||
>
|
||||
> Prima, calcolare la pendenza `b`. Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
>
|
||||
> In altre parole, facendo riferimento alla domanda originale per i dati sulle zucche: "prevedere il prezzo di una zucca per bushel per mese", `X` si riferisce al prezzo e `Y` si riferirisce al mese di vendita.
|
||||
>
|
||||
> 
|
||||
>
|
||||
> Si calcola il valore di Y. Se si sta pagando circa $4, deve essere aprile! Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
>
|
||||
> La matematica che calcola la linea deve dimostrare la pendenza della linea, che dipende anche dall'intercetta, o dove `Y` si trova quando `X = 0`.
|
||||
>
|
||||
> Si può osservare il metodo di calcolo per questi valori sul sito web [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) . Si visiti anche [questo calcolatore dei minimi quadrati](https://www.mathsisfun.com/data/least-squares-calculator.html) per vedere come i valori dei numeri influiscono sulla linea.
|
||||
|
||||
## Correlazione
|
||||
|
||||
Un altro termine da comprendere è il **Coefficiente di Correlazione** tra determinate variabili X e Y. Utilizzando un grafico a dispersione, è possibile visualizzare rapidamente questo coefficiente. Un grafico con punti dati sparsi in una linea ordinata ha un'alta correlazione, ma un grafico con punti dati sparsi ovunque tra X e Y ha una bassa correlazione.
|
||||
|
||||
Un buon modello di regressione lineare sarà quello che ha un Coefficiente di Correlazione alto (più vicino a 1 rispetto a 0) utilizzando il Metodo di Regressione dei Minimi Quadrati con una linea di regressione.
|
||||
|
||||
✅ Eseguire il notebook che accompagna questa lezione e guardare il grafico a dispersione City to Price. I dati che associano la città al prezzo per le vendite di zucca sembrano avere una correlazione alta o bassa, secondo la propria interpretazione visiva del grafico a dispersione?
|
||||
|
||||
|
||||
## Preparare i dati per la regressione
|
||||
|
||||
Ora che si ha una comprensione della matematica alla base di questo esercizio, si crea un modello di regressione per vedere se si può prevedere quale pacchetto di zucche avrà i migliori prezzi per zucca. Qualcuno che acquista zucche per una festa con tema un campo di zucche potrebbe desiderare che queste informazioni siano in grado di ottimizzare i propri acquisti di pacchetti di zucca per il campo.
|
||||
|
||||
Dal momento che si utilizzerà Scikit-learn, non c'è motivo di farlo a mano (anche se si potrebbe!). Nel blocco di elaborazione dati principale del notebook della lezione, aggiungere una libreria da Scikit-learn per convertire automaticamente tutti i dati di tipo stringa in numeri:
|
||||
|
||||
```python
|
||||
from sklearn.preprocessing import LabelEncoder
|
||||
|
||||
new_pumpkins.iloc[:, 0:-1] = new_pumpkins.iloc[:, 0:-1].apply(LabelEncoder().fit_transform)
|
||||
```
|
||||
|
||||
Se si guarda ora il dataframe new_pumpkins, si vede che tutte le stringhe ora sono numeriche. Questo rende più difficile la lettura per un umano ma molto più comprensibile per Scikit-learn!
|
||||
Ora si possono prendere decisioni più consapevoli (non solo basate sull'osservazione di un grafico a dispersione) sui dati più adatti alla regressione.
|
||||
|
||||
Si provi a trovare una buona correlazione tra due punti nei propri dati per costruire potenzialmente un buon modello predittivo. A quanto pare, c'è solo una debole correlazione tra la città e il prezzo:
|
||||
|
||||
```python
|
||||
print(new_pumpkins['City'].corr(new_pumpkins['Price']))
|
||||
0.32363971816089226
|
||||
```
|
||||
|
||||
Tuttavia, c'è una correlazione leggermente migliore tra il pacchetto e il suo prezzo. Ha senso, vero? Normalmente, più grande è la scatola dei prodotti, maggiore è il prezzo.
|
||||
|
||||
```python
|
||||
print(new_pumpkins['Package'].corr(new_pumpkins['Price']))
|
||||
0.6061712937226021
|
||||
```
|
||||
|
||||
Una buona domanda da porre a questi dati sarà: "Che prezzo posso aspettarmi da un determinato pacchetto di zucca?"
|
||||
|
||||
Si costruisce questo modello di regressione
|
||||
|
||||
## Costruire un modello lineare
|
||||
|
||||
Prima di costruire il modello, si esegue un altro riordino dei dati. Si eliminano tutti i dati nulli e si controlla ancora una volta che aspetto hanno i dati.
|
||||
|
||||
```python
|
||||
new_pumpkins.dropna(inplace=True)
|
||||
new_pumpkins.info()
|
||||
```
|
||||
|
||||
Quindi, si crea un nuovo dataframe da questo set minimo e lo si stampa:
|
||||
|
||||
```python
|
||||
new_columns = ['Package', 'Price']
|
||||
lin_pumpkins = new_pumpkins.drop([c for c in new_pumpkins.columns if c not in new_columns], axis='columns')
|
||||
|
||||
lin_pumpkins
|
||||
```
|
||||
|
||||
```output
|
||||
Package Price
|
||||
70 0 13.636364
|
||||
71 0 16.363636
|
||||
72 0 16.363636
|
||||
73 0 15.454545
|
||||
74 0 13.636364
|
||||
... ... ...
|
||||
1738 2 30.000000
|
||||
1739 2 28.750000
|
||||
1740 2 25.750000
|
||||
1741 2 24.000000
|
||||
1742 2 24.000000
|
||||
415 rows × 2 columns
|
||||
```
|
||||
|
||||
1. Ora si possono assegnare i dati delle coordinate X e y:
|
||||
|
||||
```python
|
||||
X = lin_pumpkins.values[:, :1]
|
||||
y = lin_pumpkins.values[:, 1:2]
|
||||
```
|
||||
|
||||
Cosa sta succedendo qui? Si sta usando [la notazione slice Python](https://stackoverflow.com/questions/509211/understanding-slice-notation/509295#509295) per creare array per popolare `X` e `y`.
|
||||
|
||||
2. Successivamente, si avvia le routine di creazione del modello di regressione:
|
||||
|
||||
```python
|
||||
from sklearn.linear_model import LinearRegression
|
||||
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error
|
||||
from sklearn.model_selection import train_test_split
|
||||
|
||||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
|
||||
lin_reg = LinearRegression()
|
||||
lin_reg.fit(X_train,y_train)
|
||||
|
||||
pred = lin_reg.predict(X_test)
|
||||
|
||||
accuracy_score = lin_reg.score(X_train,y_train)
|
||||
print('Model Accuracy: ', accuracy_score)
|
||||
```
|
||||
|
||||
Poiché la correlazione non è particolarmente buona, il modello prodotto non è molto accurato.
|
||||
|
||||
```output
|
||||
Model Accuracy: 0.3315342327998987
|
||||
```
|
||||
|
||||
3. Si può visualizzare la linea tracciata nel processo:
|
||||
|
||||
```python
|
||||
plt.scatter(X_test, y_test, color='black')
|
||||
plt.plot(X_test, pred, color='blue', linewidth=3)
|
||||
|
||||
plt.xlabel('Package')
|
||||
plt.ylabel('Price')
|
||||
|
||||
plt.show()
|
||||
```
|
||||
|
||||
|
||||
|
||||
4. Si testa il modello contro una varietà ipotetica:
|
||||
|
||||
```python
|
||||
lin_reg.predict( np.array([ [2.75] ]) )
|
||||
```
|
||||
|
||||
Il prezzo restituito per questa varietà mitologica è:
|
||||
|
||||
```output
|
||||
array([[33.15655975]])
|
||||
```
|
||||
|
||||
Quel numero ha senso, se la logica della linea di regressione è vera.
|
||||
|
||||
🎃 Congratulazioni, si è appena creato un modello che può aiutare a prevedere il prezzo di alcune varietà di zucche. La zucca per le festività sarà bellissima. Ma probabilmente si può creare un modello migliore!
|
||||
|
||||
## Regressione polinomiale
|
||||
|
||||
Un altro tipo di regressione lineare è la regressione polinomiale. Mentre a volte c'è una relazione lineare tra le variabili - più grande è il volume della zucca, più alto è il prezzo - a volte queste relazioni non possono essere tracciate come un piano o una linea retta.
|
||||
|
||||
✅ Ecco [alcuni altri esempi](https://online.stat.psu.edu/stat501/lesson/9/9.8) di dati che potrebbero utilizzare la regressione polinomiale
|
||||
|
||||
Si dia un'altra occhiata alla relazione tra Varietà e Prezzo nel tracciato precedente. Questo grafico a dispersione deve essere necessariamente analizzato da una linea retta? Forse no. In questo caso, si può provare la regressione polinomiale.
|
||||
|
||||
✅ I polinomi sono espressioni matematiche che possono essere costituite da una o più variabili e coefficienti
|
||||
|
||||
La regressione polinomiale crea una linea curva per adattare meglio i dati non lineari.
|
||||
|
||||
1. Viene ricreato un dataframe popolato con un segmento dei dati della zucca originale:
|
||||
|
||||
```python
|
||||
new_columns = ['Variety', 'Package', 'City', 'Month', 'Price']
|
||||
poly_pumpkins = new_pumpkins.drop([c for c in new_pumpkins.columns if c not in new_columns], axis='columns')
|
||||
|
||||
poly_pumpkins
|
||||
```
|
||||
|
||||
Un buon modo per visualizzare le correlazioni tra i dati nei dataframe è visualizzarli in un grafico "coolwarm":
|
||||
|
||||
2. Si usa il metodo `Background_gradient()` con `coolwarm` come valore dell'argomento:
|
||||
|
||||
```python
|
||||
corr = poly_pumpkins.corr()
|
||||
corr.style.background_gradient(cmap='coolwarm')
|
||||
```
|
||||
|
||||
Questo codice crea una mappa di calore:
|
||||
|
||||
|
||||
Guardando questo grafico, si può visualizzare la buona correlazione tra Pacchetto e Prezzo. Quindi si dovrebbe essere in grado di creare un modello un po' migliore dell'ultimo.
|
||||
|
||||
### Creare una pipeline
|
||||
|
||||
Scikit-learn include un'API utile per la creazione di modelli di regressione polinomiale: l'[API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) `make_pipeline`. Viene creata una 'pipeline' che è una catena di stimatori. In questo caso, la pipeline include caratteristiche polinomiali o previsioni che formano un percorso non lineare.
|
||||
|
||||
1. Si costruiscono le colonne X e y:
|
||||
|
||||
```python
|
||||
X=poly_pumpkins.iloc[:,3:4].values
|
||||
y=poly_pumpkins.iloc[:,4:5].values
|
||||
```
|
||||
|
||||
2. Si crea la pipeline chiamando il metodo `make_pipeline()` :
|
||||
|
||||
```python
|
||||
from sklearn.preprocessing import PolynomialFeatures
|
||||
from sklearn.pipeline import make_pipeline
|
||||
|
||||
pipeline = make_pipeline(PolynomialFeatures(4), LinearRegression())
|
||||
|
||||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
|
||||
|
||||
pipeline.fit(np.array(X_train), y_train)
|
||||
|
||||
y_pred=pipeline.predict(X_test)
|
||||
```
|
||||
|
||||
### Creare una sequenza
|
||||
|
||||
A questo punto, è necessario creare un nuovo dataframe con dati _ordinati_ in modo che la pipeline possa creare una sequenza.
|
||||
|
||||
Si aggiunge il seguente codice:
|
||||
|
||||
```python
|
||||
df = pd.DataFrame({'x': X_test[:,0], 'y': y_pred[:,0]})
|
||||
df.sort_values(by='x',inplace = True)
|
||||
points = pd.DataFrame(df).to_numpy()
|
||||
|
||||
plt.plot(points[:, 0], points[:, 1],color="blue", linewidth=3)
|
||||
plt.xlabel('Package')
|
||||
plt.ylabel('Price')
|
||||
plt.scatter(X,y, color="black")
|
||||
plt.show()
|
||||
```
|
||||
|
||||
Si è creato un nuovo dataframe chiamato `pd.DataFrame`. Quindi si sono ordinati i valori chiamando `sort_values()`. Alla fine si è creato un grafico polinomiale:
|
||||
|
||||
|
||||
|
||||
Si può vedere una linea curva che si adatta meglio ai dati.
|
||||
|
||||
Si verifica la precisione del modello:
|
||||
|
||||
```python
|
||||
accuracy_score = pipeline.score(X_train,y_train)
|
||||
print('Model Accuracy: ', accuracy_score)
|
||||
```
|
||||
|
||||
E voilà!
|
||||
|
||||
```output
|
||||
Model Accuracy: 0.8537946517073784
|
||||
```
|
||||
|
||||
Ecco, meglio! Si prova a prevedere un prezzo:
|
||||
|
||||
### Fare una previsione
|
||||
|
||||
E possibile inserire un nuovo valore e ottenere una previsione?
|
||||
|
||||
Si chiami `predict()` per fare una previsione:
|
||||
|
||||
```python
|
||||
pipeline.predict( np.array([ [2.75] ]) )
|
||||
```
|
||||
|
||||
Viene data questa previsione:
|
||||
|
||||
```output
|
||||
array([[46.34509342]])
|
||||
```
|
||||
|
||||
Ha senso, visto il tracciato! Se questo è un modello migliore del precedente, guardando gli stessi dati, si deve preventivare queste zucche più costose!
|
||||
|
||||
Ben fatto! Sono stati creati due modelli di regressione in una lezione. Nella sezione finale sulla regressione, si imparerà a conoscere la regressione logistica per determinare le categorie.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Testare diverse variabili in questo notebook per vedere come la correlazione corrisponde all'accuratezza del modello.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/14/)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
In questa lezione si è appreso della regressione lineare. Esistono altri tipi importanti di regressione. Leggere le tecniche Stepwise, Ridge, Lazo ed Elasticnet. Un buon corso per studiare per saperne di più è il [corso Stanford Statistical Learning](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
|
||||
|
||||
## Compito
|
||||
|
||||
[Costruire un modello](assignment.it.md)
|
||||
# Costruire un modello di regressione usando Scikit-learn: regressione in due modi
|
||||
|
||||
|
||||
> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded)
|
||||
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/13/?loc=it)
|
||||
|
||||
### Introduzione
|
||||
|
||||
Finora si è esplorato cos'è la regressione con dati di esempio raccolti dall'insieme di dati relativo ai prezzi della zucca, che verrà usato in questa lezione. Lo si è anche visualizzato usando Matplotlib.
|
||||
|
||||
Ora si è pronti per approfondire la regressione per machine learning. In questa lezione si imparerà di più su due tipi di regressione: _regressione lineare di base_ e _regressione polinomiale_, insieme ad alcuni dei calcoli alla base di queste tecniche.
|
||||
|
||||
> In questo programma di studi, si assume una conoscenza minima della matematica, e si cerca di renderla accessibile agli studenti provenienti da altri campi, quindi si faccia attenzione a note, 🧮 didascalie, diagrammi e altri strumenti di apprendimento che aiutano la comprensione.
|
||||
|
||||
### Prerequisito
|
||||
|
||||
Si dovrebbe ormai avere familiarità con la struttura dei dati della zucca che si sta esaminando. Lo si può trovare precaricato e prepulito nel file _notebook.ipynb_ di questa lezione. Nel file, il prezzo della zucca viene visualizzato per bushel (staio) in un nuovo dataframe. Assicurasi di poter eseguire questi notebook nei kernel in Visual Studio Code.
|
||||
|
||||
### Preparazione
|
||||
|
||||
Come promemoria, si stanno caricando questi dati in modo da porre domande su di essi.
|
||||
|
||||
- Qual è il momento migliore per comprare le zucche?
|
||||
- Che prezzo ci si può aspettare da una cassa di zucche in miniatura?
|
||||
- Si devono acquistare in cestini da mezzo bushel o a scatola da 1 1/9 bushel? Si continua a scavare in questi dati.
|
||||
|
||||
Nella lezione precedente, è stato creato un dataframe Pandas e si è popolato con parte dell'insieme di dati originale, standardizzando il prezzo per lo bushel. In questo modo, tuttavia, si sono potuti raccogliere solo circa 400 punti dati e solo per i mesi autunnali.
|
||||
|
||||
Si dia un'occhiata ai dati precaricati nel notebook di accompagnamento di questa lezione. I dati sono precaricati e viene tracciato un grafico a dispersione iniziale per mostrare i dati mensili. Forse si può ottenere qualche dettaglio in più sulla natura dei dati pulendoli ulteriormente.
|
||||
|
||||
## Una linea di regressione lineare
|
||||
|
||||
Come si è appreso nella lezione 1, l'obiettivo di un esercizio di regressione lineare è essere in grado di tracciare una linea per:
|
||||
|
||||
- **Mostrare le relazioni tra variabili**.
|
||||
- **Fare previsioni**. Fare previsioni accurate su dove cadrebbe un nuovo punto dati in relazione a quella linea.
|
||||
|
||||
È tipico della **Regressione dei Minimi Quadrati** disegnare questo tipo di linea. Il termine "minimi quadrati" significa che tutti i punti dati che circondano la linea di regressione sono elevati al quadrato e quindi sommati. Idealmente, quella somma finale è la più piccola possibile, perché si vuole un basso numero di errori, o `minimi quadrati`.
|
||||
|
||||
Lo si fa perché si vuole modellare una linea che abbia la distanza cumulativa minima da tutti i punti dati. Si esegue anche il quadrato dei termini prima di aggiungerli poiché interessa la grandezza piuttosto che la direzione.
|
||||
|
||||
> **🧮 Mostrami la matematica**
|
||||
>
|
||||
> Questa linea, chiamata _linea di miglior adattamento_ , può essere espressa da [un'equazione](https://en.wikipedia.org/wiki/Simple_linear_regression):
|
||||
>
|
||||
> ```
|
||||
> Y = a + bX
|
||||
> ```
|
||||
>
|
||||
> `X` è la "variabile esplicativa". `Y` è la "variabile dipendente". La pendenza della linea è `b` e `a` è l'intercetta di y, che si riferisce al valore di `Y` quando `X = 0`.
|
||||
>
|
||||
> 
|
||||
>
|
||||
> Prima, calcolare la pendenza `b`. Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
>
|
||||
> In altre parole, facendo riferimento alla domanda originale per i dati sulle zucche: "prevedere il prezzo di una zucca per bushel per mese", `X` si riferisce al prezzo e `Y` si riferirisce al mese di vendita.
|
||||
>
|
||||
> 
|
||||
>
|
||||
> Si calcola il valore di Y. Se si sta pagando circa $4, deve essere aprile! Infografica di [Jen Looper](https://twitter.com/jenlooper)
|
||||
>
|
||||
> La matematica che calcola la linea deve dimostrare la pendenza della linea, che dipende anche dall'intercetta, o dove `Y` si trova quando `X = 0`.
|
||||
>
|
||||
> Si può osservare il metodo di calcolo per questi valori sul sito web [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) . Si visiti anche [questo calcolatore dei minimi quadrati](https://www.mathsisfun.com/data/least-squares-calculator.html) per vedere come i valori dei numeri influiscono sulla linea.
|
||||
|
||||
## Correlazione
|
||||
|
||||
Un altro termine da comprendere è il **Coefficiente di Correlazione** tra determinate variabili X e Y. Utilizzando un grafico a dispersione, è possibile visualizzare rapidamente questo coefficiente. Un grafico con punti dati sparsi in una linea ordinata ha un'alta correlazione, ma un grafico con punti dati sparsi ovunque tra X e Y ha una bassa correlazione.
|
||||
|
||||
Un buon modello di regressione lineare sarà quello che ha un Coefficiente di Correlazione alto (più vicino a 1 rispetto a 0) utilizzando il Metodo di Regressione dei Minimi Quadrati con una linea di regressione.
|
||||
|
||||
✅ Eseguire il notebook che accompagna questa lezione e guardare il grafico a dispersione City to Price. I dati che associano la città al prezzo per le vendite di zucca sembrano avere una correlazione alta o bassa, secondo la propria interpretazione visiva del grafico a dispersione?
|
||||
|
||||
|
||||
## Preparare i dati per la regressione
|
||||
|
||||
Ora che si ha una comprensione della matematica alla base di questo esercizio, si crea un modello di regressione per vedere se si può prevedere quale pacchetto di zucche avrà i migliori prezzi per zucca. Qualcuno che acquista zucche per una festa con tema un campo di zucche potrebbe desiderare che queste informazioni siano in grado di ottimizzare i propri acquisti di pacchetti di zucca per il campo.
|
||||
|
||||
Dal momento che si utilizzerà Scikit-learn, non c'è motivo di farlo a mano (anche se si potrebbe!). Nel blocco di elaborazione dati principale del notebook della lezione, aggiungere una libreria da Scikit-learn per convertire automaticamente tutti i dati di tipo stringa in numeri:
|
||||
|
||||
```python
|
||||
from sklearn.preprocessing import LabelEncoder
|
||||
|
||||
new_pumpkins.iloc[:, 0:-1] = new_pumpkins.iloc[:, 0:-1].apply(LabelEncoder().fit_transform)
|
||||
```
|
||||
|
||||
Se si guarda ora il dataframe new_pumpkins, si vede che tutte le stringhe ora sono numeriche. Questo rende più difficile la lettura per un umano ma molto più comprensibile per Scikit-learn!
|
||||
Ora si possono prendere decisioni più consapevoli (non solo basate sull'osservazione di un grafico a dispersione) sui dati più adatti alla regressione.
|
||||
|
||||
Si provi a trovare una buona correlazione tra due punti nei propri dati per costruire potenzialmente un buon modello predittivo. A quanto pare, c'è solo una debole correlazione tra la città e il prezzo:
|
||||
|
||||
```python
|
||||
print(new_pumpkins['City'].corr(new_pumpkins['Price']))
|
||||
0.32363971816089226
|
||||
```
|
||||
|
||||
Tuttavia, c'è una correlazione leggermente migliore tra il pacchetto e il suo prezzo. Ha senso, vero? Normalmente, più grande è la scatola dei prodotti, maggiore è il prezzo.
|
||||
|
||||
```python
|
||||
print(new_pumpkins['Package'].corr(new_pumpkins['Price']))
|
||||
0.6061712937226021
|
||||
```
|
||||
|
||||
Una buona domanda da porre a questi dati sarà: "Che prezzo posso aspettarmi da un determinato pacchetto di zucca?"
|
||||
|
||||
Si costruisce questo modello di regressione
|
||||
|
||||
## Costruire un modello lineare
|
||||
|
||||
Prima di costruire il modello, si esegue un altro riordino dei dati. Si eliminano tutti i dati nulli e si controlla ancora una volta che aspetto hanno i dati.
|
||||
|
||||
```python
|
||||
new_pumpkins.dropna(inplace=True)
|
||||
new_pumpkins.info()
|
||||
```
|
||||
|
||||
Quindi, si crea un nuovo dataframe da questo set minimo e lo si stampa:
|
||||
|
||||
```python
|
||||
new_columns = ['Package', 'Price']
|
||||
lin_pumpkins = new_pumpkins.drop([c for c in new_pumpkins.columns if c not in new_columns], axis='columns')
|
||||
|
||||
lin_pumpkins
|
||||
```
|
||||
|
||||
```output
|
||||
Package Price
|
||||
70 0 13.636364
|
||||
71 0 16.363636
|
||||
72 0 16.363636
|
||||
73 0 15.454545
|
||||
74 0 13.636364
|
||||
... ... ...
|
||||
1738 2 30.000000
|
||||
1739 2 28.750000
|
||||
1740 2 25.750000
|
||||
1741 2 24.000000
|
||||
1742 2 24.000000
|
||||
415 rows × 2 columns
|
||||
```
|
||||
|
||||
1. Ora si possono assegnare i dati delle coordinate X e y:
|
||||
|
||||
```python
|
||||
X = lin_pumpkins.values[:, :1]
|
||||
y = lin_pumpkins.values[:, 1:2]
|
||||
```
|
||||
|
||||
Cosa sta succedendo qui? Si sta usando [la notazione slice Python](https://stackoverflow.com/questions/509211/understanding-slice-notation/509295#509295) per creare array per popolare `X` e `y`.
|
||||
|
||||
2. Successivamente, si avvia le routine di creazione del modello di regressione:
|
||||
|
||||
```python
|
||||
from sklearn.linear_model import LinearRegression
|
||||
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error
|
||||
from sklearn.model_selection import train_test_split
|
||||
|
||||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
|
||||
lin_reg = LinearRegression()
|
||||
lin_reg.fit(X_train,y_train)
|
||||
|
||||
pred = lin_reg.predict(X_test)
|
||||
|
||||
accuracy_score = lin_reg.score(X_train,y_train)
|
||||
print('Model Accuracy: ', accuracy_score)
|
||||
```
|
||||
|
||||
Poiché la correlazione non è particolarmente buona, il modello prodotto non è molto accurato.
|
||||
|
||||
```output
|
||||
Model Accuracy: 0.3315342327998987
|
||||
```
|
||||
|
||||
3. Si può visualizzare la linea tracciata nel processo:
|
||||
|
||||
```python
|
||||
plt.scatter(X_test, y_test, color='black')
|
||||
plt.plot(X_test, pred, color='blue', linewidth=3)
|
||||
|
||||
plt.xlabel('Package')
|
||||
plt.ylabel('Price')
|
||||
|
||||
plt.show()
|
||||
```
|
||||
|
||||
|
||||
|
||||
4. Si testa il modello contro una varietà ipotetica:
|
||||
|
||||
```python
|
||||
lin_reg.predict( np.array([ [2.75] ]) )
|
||||
```
|
||||
|
||||
Il prezzo restituito per questa varietà mitologica è:
|
||||
|
||||
```output
|
||||
array([[33.15655975]])
|
||||
```
|
||||
|
||||
Quel numero ha senso, se la logica della linea di regressione è vera.
|
||||
|
||||
🎃 Congratulazioni, si è appena creato un modello che può aiutare a prevedere il prezzo di alcune varietà di zucche. La zucca per le festività sarà bellissima. Ma probabilmente si può creare un modello migliore!
|
||||
|
||||
## Regressione polinomiale
|
||||
|
||||
Un altro tipo di regressione lineare è la regressione polinomiale. Mentre a volte c'è una relazione lineare tra le variabili - più grande è il volume della zucca, più alto è il prezzo - a volte queste relazioni non possono essere tracciate come un piano o una linea retta.
|
||||
|
||||
✅ Ecco [alcuni altri esempi](https://online.stat.psu.edu/stat501/lesson/9/9.8) di dati che potrebbero utilizzare la regressione polinomiale
|
||||
|
||||
Si dia un'altra occhiata alla relazione tra Varietà e Prezzo nel tracciato precedente. Questo grafico a dispersione deve essere necessariamente analizzato da una linea retta? Forse no. In questo caso, si può provare la regressione polinomiale.
|
||||
|
||||
✅ I polinomi sono espressioni matematiche che possono essere costituite da una o più variabili e coefficienti
|
||||
|
||||
La regressione polinomiale crea una linea curva per adattare meglio i dati non lineari.
|
||||
|
||||
1. Viene ricreato un dataframe popolato con un segmento dei dati della zucca originale:
|
||||
|
||||
```python
|
||||
new_columns = ['Variety', 'Package', 'City', 'Month', 'Price']
|
||||
poly_pumpkins = new_pumpkins.drop([c for c in new_pumpkins.columns if c not in new_columns], axis='columns')
|
||||
|
||||
poly_pumpkins
|
||||
```
|
||||
|
||||
Un buon modo per visualizzare le correlazioni tra i dati nei dataframe è visualizzarli in un grafico "coolwarm":
|
||||
|
||||
2. Si usa il metodo `Background_gradient()` con `coolwarm` come valore dell'argomento:
|
||||
|
||||
```python
|
||||
corr = poly_pumpkins.corr()
|
||||
corr.style.background_gradient(cmap='coolwarm')
|
||||
```
|
||||
|
||||
Questo codice crea una mappa di calore:
|
||||
|
||||
|
||||
Guardando questo grafico, si può visualizzare la buona correlazione tra Pacchetto e Prezzo. Quindi si dovrebbe essere in grado di creare un modello un po' migliore dell'ultimo.
|
||||
|
||||
### Creare una pipeline
|
||||
|
||||
Scikit-learn include un'API utile per la creazione di modelli di regressione polinomiale: l'[API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) `make_pipeline`. Viene creata una 'pipeline' che è una catena di stimatori. In questo caso, la pipeline include caratteristiche polinomiali o previsioni che formano un percorso non lineare.
|
||||
|
||||
1. Si costruiscono le colonne X e y:
|
||||
|
||||
```python
|
||||
X=poly_pumpkins.iloc[:,3:4].values
|
||||
y=poly_pumpkins.iloc[:,4:5].values
|
||||
```
|
||||
|
||||
2. Si crea la pipeline chiamando il metodo `make_pipeline()` :
|
||||
|
||||
```python
|
||||
from sklearn.preprocessing import PolynomialFeatures
|
||||
from sklearn.pipeline import make_pipeline
|
||||
|
||||
pipeline = make_pipeline(PolynomialFeatures(4), LinearRegression())
|
||||
|
||||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
|
||||
|
||||
pipeline.fit(np.array(X_train), y_train)
|
||||
|
||||
y_pred=pipeline.predict(X_test)
|
||||
```
|
||||
|
||||
### Creare una sequenza
|
||||
|
||||
A questo punto, è necessario creare un nuovo dataframe con dati _ordinati_ in modo che la pipeline possa creare una sequenza.
|
||||
|
||||
Si aggiunge il seguente codice:
|
||||
|
||||
```python
|
||||
df = pd.DataFrame({'x': X_test[:,0], 'y': y_pred[:,0]})
|
||||
df.sort_values(by='x',inplace = True)
|
||||
points = pd.DataFrame(df).to_numpy()
|
||||
|
||||
plt.plot(points[:, 0], points[:, 1],color="blue", linewidth=3)
|
||||
plt.xlabel('Package')
|
||||
plt.ylabel('Price')
|
||||
plt.scatter(X,y, color="black")
|
||||
plt.show()
|
||||
```
|
||||
|
||||
Si è creato un nuovo dataframe chiamato `pd.DataFrame`. Quindi si sono ordinati i valori chiamando `sort_values()`. Alla fine si è creato un grafico polinomiale:
|
||||
|
||||
|
||||
|
||||
Si può vedere una linea curva che si adatta meglio ai dati.
|
||||
|
||||
Si verifica la precisione del modello:
|
||||
|
||||
```python
|
||||
accuracy_score = pipeline.score(X_train,y_train)
|
||||
print('Model Accuracy: ', accuracy_score)
|
||||
```
|
||||
|
||||
E voilà!
|
||||
|
||||
```output
|
||||
Model Accuracy: 0.8537946517073784
|
||||
```
|
||||
|
||||
Ecco, meglio! Si prova a prevedere un prezzo:
|
||||
|
||||
### Fare una previsione
|
||||
|
||||
E possibile inserire un nuovo valore e ottenere una previsione?
|
||||
|
||||
Si chiami `predict()` per fare una previsione:
|
||||
|
||||
```python
|
||||
pipeline.predict( np.array([ [2.75] ]) )
|
||||
```
|
||||
|
||||
Viene data questa previsione:
|
||||
|
||||
```output
|
||||
array([[46.34509342]])
|
||||
```
|
||||
|
||||
Ha senso, visto il tracciato! Se questo è un modello migliore del precedente, guardando gli stessi dati, si deve preventivare queste zucche più costose!
|
||||
|
||||
Ben fatto! Sono stati creati due modelli di regressione in una lezione. Nella sezione finale sulla regressione, si imparerà a conoscere la regressione logistica per determinare le categorie.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Testare diverse variabili in questo notebook per vedere come la correlazione corrisponde all'accuratezza del modello.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/14/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
In questa lezione si è appreso della regressione lineare. Esistono altri tipi importanti di regressione. Leggere le tecniche Stepwise, Ridge, Lazo ed Elasticnet. Un buon corso per studiare per saperne di più è il [corso Stanford Statistical Learning](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
|
||||
|
||||
## Compito
|
||||
|
||||
[Costruire un modello](assignment.it.md)
|
||||
|
|
|
|||
|
|
@ -3,7 +3,7 @@
|
|||
|
||||
> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded)
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/15/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/15/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -284,7 +284,7 @@ Nelle lezioni future sulle classificazioni si imparerà come eseguire l'iterazio
|
|||
|
||||
C'è molto altro da svelare riguardo alla regressione logistica! Ma il modo migliore per imparare è sperimentare. Trovare un insieme di dati che si presti a questo tipo di analisi e costruire un modello con esso. Cosa si è appreso? suggerimento: provare [Kaggle](https://kaggle.com) per ottenere insiemi di dati interessanti.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/16/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/16/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -11,7 +11,7 @@ Si continuerà a utilizzare il notebook per pulire i dati e addestrare il modell
|
|||
|
||||
Per fare ciò, è necessario creare un'app Web utilizzando Flask.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/17/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/17/?loc=it)
|
||||
|
||||
## Costruire un'app
|
||||
|
||||
|
|
@ -334,7 +334,7 @@ In un ambiente professionale, si può vedere quanto sia necessaria una buona com
|
|||
|
||||
Invece di lavorare su un notebook e importare il modello nell'app Flask, si può addestrare il modello direttamente nell'app Flask! Provare a convertire il codice Python nel notebook, magari dopo che i dati sono stati puliti, per addestrare il modello dall'interno dell'app su un percorso chiamato `/train`. Quali sono i pro e i contro nel seguire questo metodo?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/18/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/18/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@ Ricordare:
|
|||
|
||||
La classificazione utilizza vari algoritmi per determinare altri modi per definire l'etichetta o la classe di un punto dati. Si lavorerà con questi dati di cucina per vedere se, osservando un gruppo di ingredienti, è possibile determinarne la cucina di origine.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/19/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/19/?loc=it)
|
||||
|
||||
### Introduzione
|
||||
|
||||
|
|
@ -286,7 +286,7 @@ Ora che i dati sono puliti, si usa [SMOTE](https://imbalanced-learn.org/dev/refe
|
|||
|
||||
Questo programma di studi contiene diversi insiemi di dati interessanti. Esaminare le cartelle `data` e vedere se contiene insiemi di dati che sarebbero appropriati per la classificazione binaria o multiclasse. Quali domande si farebbero a questo insieme di dati?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/20/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/20/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -4,7 +4,7 @@ In questa lezione, si utilizzerà l'insieme di dati salvati dall'ultima lezione,
|
|||
|
||||
Si utilizzerà questo insieme di dati con una varietà di classificatori per _prevedere una determinata cucina nazionale in base a un gruppo di ingredienti_. Mentre si fa questo, si imparerà di più su alcuni dei modi in cui gli algoritmi possono essere sfruttati per le attività di classificazione.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/21/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/21/?loc=it)
|
||||
# Preparazione
|
||||
|
||||
Supponendo che la [Lezione 1](../1-Introduction/README.md) sia stata completata, assicurarsi che _esista_ un file clean_cuisines.csv nella cartella in radice `/data` per queste quattro lezioni.
|
||||
|
|
@ -232,7 +232,7 @@ Poiché si sta utilizzando il caso multiclasse, si deve scegliere quale _schema_
|
|||
|
||||
In questa lezione, sono stati utilizzati dati puliti per creare un modello di apprendimento automatico in grado di prevedere una cucina nazionale basata su una serie di ingredienti. Si prenda del tempo per leggere le numerose opzioni fornite da Scikit-learn per classificare i dati. Approfondire il concetto di "risolutore" per capire cosa succede dietro le quinte.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/22/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/22/?loc=it)
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Approfondire un po' la matematica alla base della regressione logistica in [questa lezione](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf)
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
In questa seconda lezione sulla classificazione, si esploreranno più modi per classificare i dati numerici. Si Impareranno anche le ramificazioni per la scelta di un classificatore rispetto all'altro.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/23/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/23/?loc=it)
|
||||
|
||||
### Prerequisito
|
||||
|
||||
|
|
@ -224,7 +224,7 @@ Questo metodo di Machine Learning "combina le previsioni di diversi stimatori di
|
|||
|
||||
Ognuna di queste tecniche ha un gran numero di parametri che si possono modificare. Ricercare i parametri predefiniti di ciascuno e pensare a cosa significherebbe modificare questi parametri per la qualità del modello.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/24/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/24/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -8,7 +8,7 @@ Uno degli usi pratici più utili dell'apprendimento automatico è la creazione d
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Andrew Ng introduce la progettazione di un sistema di raccomandazione
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/25/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/25/?loc=it)
|
||||
|
||||
In questa lezione, si imparerà:
|
||||
|
||||
|
|
@ -321,7 +321,7 @@ Congratulazioni, si è creato un'app web di "raccomandazione" con pochi campi. S
|
|||
|
||||
L'app web è molto minimale, quindi continuare a costruirla usando gli ingredienti e i loro indici dai dati [ingredient_indexes](../../data/ingredient_indexes.csv) . Quali combinazioni di sapori funzionano per creare un determinato piatto nazionale?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/26/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/26/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -5,7 +5,7 @@ Il clustering è un tipo di [apprendimento non supervisionato](https://wikipedia
|
|||
[](https://youtu.be/ty2advRiWJM "No One Like You di PSquare")
|
||||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video. Mentre si studia machine learning con il clustering, si potranno gradire brani della Nigerian Dance Hall: questa è una canzone molto apprezzata del 2014 di PSquare.
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/27/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/27/?loc=it)
|
||||
|
||||
### Introduzione
|
||||
|
||||
|
|
@ -319,7 +319,7 @@ In generale, per il clustering è possibile utilizzare i grafici a dispersione p
|
|||
|
||||
In preparazione per la lezione successiva, creare un grafico sui vari algoritmi di clustering che si potrebbero scoprire e utilizzare in un ambiente di produzione. Che tipo di problemi sta cercando di affrontare il clustering?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/28/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/28/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -4,7 +4,7 @@
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Andrew Ng spiega il clustering
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/29/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/29/?loc=it)
|
||||
|
||||
In questa lezione si imparerà come creare cluster utilizzando Scikit-learn e l'insieme di dati di musica nigeriana importato in precedenza. Si tratteranno le basi di K-Means per Clustering. Si tenga presente che, come appreso nella lezione precedente, ci sono molti modi per lavorare con i cluster e il metodo usato dipende dai propri dati. Si proverà K-Means poiché è la tecnica di clustering più comune. Si inizia!
|
||||
|
||||
|
|
@ -238,7 +238,7 @@ Trascorrere un po' di tempo con questo notebook, modificando i parametri. E poss
|
|||
|
||||
Suggerimento: provare a ridimensionare i dati. C'è un codice commentato nel notebook che aggiunge il ridimensionamento standard per rendere le colonne di dati più simili tra loro in termini di intervallo. Si scoprirà che mentre il punteggio della silhouette diminuisce, il "kink" nel grafico del gomito si attenua. Questo perché lasciare i dati non scalati consente ai dati con meno varianza di avere più peso. Leggere un po' di più su questo problema [qui](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226).
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/30/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/30/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Questa lezione copre una breve storia e concetti importanti dell' *elaborazione del linguaggio naturale*, un sottocampo della *linguistica computazionale*.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/31/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/31/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -149,7 +149,7 @@ Scegliere uno degli elementi "fermarsi e riflettere" qui sopra e provare a imple
|
|||
|
||||
Nella prossima lezione si impareranno una serie di altri approcci all'analisi del linguaggio naturale e dell'machine learning.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/32/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/32/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Per la maggior parte delle attività di *elaborazione del linguaggio naturale* , il testo da elaborare deve essere suddiviso, esaminato e i risultati archiviati o incrociati con regole e insiemi di dati. Queste attività consentono al programmatore di derivare il _significato_ o l'_intento_ o solo la _frequenza_ di termini e parole in un testo.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/33/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/33/?loc=it)
|
||||
|
||||
Si esaminano le comuni tecniche utilizzate nell'elaborazione del testo. Combinate con machine learning, queste tecniche aiutano ad analizzare grandi quantità di testo in modo efficiente. Prima di applicare machine learning a queste attività, tuttavia, occorre cercare di comprendere i problemi incontrati da uno specialista in NLP.
|
||||
|
||||
|
|
@ -203,7 +203,7 @@ Implementare il bot nel controllo delle conoscenze precedenti e testarlo su un a
|
|||
|
||||
Prendere un'attività dalla verifica delle conoscenze qui sopra e provare a implementarla. Provare il bot su un amico. Può ingannarlo? Si può rendere il bot più 'credibile?'
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/34/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/34/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Nelle lezioni precedenti si è imparato come creare un bot di base utilizzando `TextBlob`, una libreria che incorpora machine learning dietro le quinte per eseguire attività di base di NPL come l'estrazione di frasi nominali. Un'altra sfida importante nella linguistica computazionale è _la traduzione_ accurata di una frase da una lingua parlata o scritta a un'altra.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/35/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/35/?loc=it)
|
||||
|
||||
La traduzione è un problema molto difficile, aggravato dal fatto che ci sono migliaia di lingue e ognuna può avere regole grammaticali molto diverse. Un approccio consiste nel convertire le regole grammaticali formali per una lingua, come l'inglese, in una struttura non dipendente dalla lingua e quindi tradurla convertendola in un'altra lingua. Questo approccio significa che si dovrebbero eseguire i seguenti passaggi:
|
||||
|
||||
|
|
@ -176,7 +176,7 @@ Ecco una [soluzione](../solution/notebook.ipynb) di esempio.
|
|||
|
||||
Si può rendere Marvin ancora migliore estraendo altre funzionalità dall'input dell'utente?
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/36/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/36/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -6,7 +6,7 @@ In questa sezione si utilizzeranno le tecniche delle lezioni precedenti per eseg
|
|||
- come calcolare alcuni nuovi dati in base alle colonne esistenti
|
||||
- come salvare l'insieme di dati risultante per l'uso nella sfida finale
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/37/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/37/?loc=it)
|
||||
|
||||
### Introduzione
|
||||
|
||||
|
|
@ -401,7 +401,7 @@ Ora che si è esplorato l'insieme di dati, nella prossima lezione si filtreranno
|
|||
|
||||
Questa lezione dimostra, come visto nelle lezioni precedenti, quanto sia di fondamentale importanza comprendere i dati e le loro debolezze prima di eseguire operazioni su di essi. I dati basati su testo, in particolare, sono oggetto di un attento esame. Esaminare vari insiemi di dati contenenti principalmente testo e vedere se si riesce a scoprire aree che potrebbero introdurre pregiudizi o sentiment distorti in un modello.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/38/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/38/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Ora che si è esplorato in dettaglio l'insieme di dati, è il momento di filtrare le colonne e quindi utilizzare le tecniche NLP sull'insieme di dati per ottenere nuove informazioni sugli hotel.
|
||||
|
||||
## [Quiz Pre-Lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/39/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/39/?loc=it)
|
||||
|
||||
### Operazioni di Filtraggio e Analisi del Sentiment
|
||||
|
||||
|
|
@ -361,7 +361,7 @@ Per riepilogare, i passaggi sono:
|
|||
|
||||
Quando si è iniziato, si disponeva di un insieme di dati con colonne e dati, ma non tutto poteva essere verificato o utilizzato. Si sono esplorati i dati, filtrato ciò che non serve, convertito i tag in qualcosa di utile, calcolato le proprie medie, aggiunto alcune colonne di sentiment e, si spera, imparato alcune cose interessanti sull'elaborazione del testo naturale.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/40/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/40/?loc=it)
|
||||
|
||||
## Sfida
|
||||
|
||||
|
|
|
|||
|
|
@ -10,7 +10,7 @@ In questa lezione e nella successiva si imparerà qualcosa sulla previsione dell
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video sulla previsione delle serie temporali
|
||||
|
||||
## [Quiz Pre-Lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/41/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/41/?loc=it)
|
||||
|
||||
È un campo utile e interessante con un valore reale per il business, data la sua applicazione diretta a problemi di prezzi, inventario e problemi della catena di approvvigionamento. Mentre le tecniche di deep learning hanno iniziato a essere utilizzate per acquisire maggiori informazioni per prevedere meglio le prestazioni future, la previsione delle serie temporali rimane un campo ampiamente informato dalle tecniche classiche di ML.
|
||||
|
||||
|
|
@ -174,7 +174,7 @@ Nella prossima lezione, si creerà un modello ARIMA per creare alcune previsioni
|
|||
|
||||
Fare un elenco di tutti i settori e le aree di indagine che vengono in mente che potrebbero trarre vantaggio dalla previsione delle serie temporali. Si riesce a pensare a un'applicazione di queste tecniche nelle arti? In Econometria? Ecologia? Vendita al Dettaglio? Industria? Finanza? Dove se no?
|
||||
|
||||
## [Quiz post-lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/42/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/42/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -6,7 +6,7 @@ Nella lezione precedente, si è imparato qualcosa sulla previsione delle serie t
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per un video: Una breve introduzione ai modelli ARIMA. L'esempio è fatto in linguaggio R, ma i concetti sono universali.
|
||||
|
||||
## [Quiz Pre-Lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/43/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/43/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -383,7 +383,7 @@ Controllare l'accuratezza del modello testando il suo errore percentuale medio a
|
|||
|
||||
Scoprire i modi per testare l'accuratezza di un modello di serie temporali. Si esamina MAPE in questa lezione, ma ci sono altri metodi che si potrebbero usare? Ricercarli e annotarli. Un documento utile può essere trovato [qui](https://otexts.com/fpp2/accuracy.html)
|
||||
|
||||
## [Quiz post-lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/44/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/44/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
|
|
|
|||
|
|
@ -11,7 +11,7 @@ Usando reinforcement learning e un simulatore (il gioco), si può imparare a gio
|
|||
|
||||
> 🎥 Fare clic sull'immagine sopra per ascoltare Dmitry discutere sul reinforcement learning
|
||||
|
||||
## [Quiz Pre-Lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/45/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/45/?loc=it)
|
||||
|
||||
## Prerequisiti e Configurazione
|
||||
|
||||
|
|
@ -315,6 +315,6 @@ Gli apprendimenti possono essere riassunti come:
|
|||
|
||||
Nel complesso, è importante ricordare che il successo e la qualità del processo di apprendimento dipendono in modo significativo da parametri come il tasso di apprendimento, il decadimento del tasso di apprendimento e il fattore di sconto. Questi sono spesso chiamati **iperparametri**, per distinguerli dai **parametri**, che si ottimizzano durante l'allenamento (ad esempio, i coefficienti della Q-Table). Il processo per trovare i valori migliori degli iperparametri è chiamato **ottimizzazione degli iperparametri** e merita un argomento a parte.
|
||||
|
||||
## [Quiz post-lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/46/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/46/?loc=fr)
|
||||
|
||||
## Incarico: [Un mondo più realistico](assignment.it.md)
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# CartPole Skating
|
||||
|
||||
The problem we have been solving in the previous lesson might seem like a toy problem, not really applicable for real life scenarios. This is not the case, because many real world problems also share this scenario - including playing Chess or Go. They are similar, because we also have a board with given rules and a **discrete state**.
|
||||
|
||||
https://white-water-09ec41f0f.azurestaticapps.net/
|
||||
## [Pre-lecture quiz](https://white-water-09ec41f0f.azurestaticapps.net/quiz/47/)
|
||||
|
||||
## Introduction
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
Il problema risolto nella lezione precedente potrebbe sembrare un problema giocattolo, non propriamente applicabile a scenari di vita reale. Questo non è il caso, perché anche molti problemi del mondo reale condividono questo scenario, incluso Scacchi o Go. Sono simili, perché anche in quei casi si ha una tavolo di gioco con regole date e uno **stato discreto**.
|
||||
|
||||
## [Quiz Pre-Lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/47/)
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/47/?loc=it)
|
||||
|
||||
## Introduzione
|
||||
|
||||
|
|
@ -329,7 +329,7 @@ Si dovrebbe vedere qualcosa del genere:
|
|||
|
||||
> **Compito 4**: Qui non si stava selezionando l'azione migliore per ogni passaggio, ma piuttosto campionando con la corrispondente distribuzione di probabilità. Avrebbe più senso selezionare sempre l'azione migliore, con il valore Q-Table più alto? Questo può essere fatto usando la funzione `np.argmax` per trovare il numero dell'azione corrispondente al valore della Q-Table più alto. Implementare questa strategia e vedere se migliora il bilanciamento.
|
||||
|
||||
## [Quiz post-lezione](https://jolly-sea-0a877260f.azurestaticapps.net/quiz/48/)
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/48/?loc=it)
|
||||
|
||||
## Compito: [addestrare un'auto di montagna](assignment.it.md)
|
||||
|
||||
|
|
|
|||
|
|
@ -0,0 +1,162 @@
|
|||
# Poscritto: Machine learning nel mondo reale
|
||||
|
||||
|
||||
> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac)
|
||||
|
||||
In questo programma di studi si sono appresi molti modi per preparare i dati per l'addestramento e creare modelli di machine learning. Sono stati creati una serie di modelli classici di regressione, clustering, classificazione, elaborazione del linguaggio naturale e serie temporali. Congratulazioni! Ora, se ci si sta chiedendo a cosa serva tutto questo... quali sono le applicazioni del mondo reale per questi modelli?
|
||||
|
||||
Sebbene l'intelligenza artificiale abbia suscitato molto interesse nell'industria, che di solito sfrutta il deep learning, esistono ancora preziose applicazioni per i modelli classici di machine learning. Si potrebbero anche usare alcune di queste applicazioni oggi! In questa lezione, si esplorerà come otto diversi settori e campi relativi all'argomento utilizzano questi tipi di modelli per rendere le loro applicazioni più performanti, affidabili, intelligenti e preziose per gli utenti.
|
||||
|
||||
## [Quiz pre-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/49/?loc=it)
|
||||
|
||||
## Finanza
|
||||
|
||||
Il settore finanziario offre molte opportunità per machine learning. Molti problemi in quest'area si prestano ad essere modellati e risolti utilizzando machine learning.
|
||||
|
||||
### Rilevamento frodi con carta di credito
|
||||
|
||||
Si è appreso del [clustering k-means](../../../5-Clustering/2-K-Means/translations/README.it.md) in precedenza nel corso, ma come può essere utilizzato per risolvere i problemi relativi alle frodi con carta di credito?
|
||||
|
||||
Il clustering K-means è utile con una tecnica di rilevamento delle frodi con carta di credito chiamata **rilevamento dei valori anomali**. I valori anomali, o le deviazioni nelle osservazioni su un insieme di dati, possono svelare se una carta di credito viene utilizzata normalmente o se sta succedendo qualcosa di insolito. Come mostrato nel documento collegato di seguito, è possibile ordinare i dati della carta di credito utilizzando un algoritmo di clustering k-means e assegnare ogni transazione a un cluster in base a quanto sembra essere un valore anomalo. Quindi, si possono valutare i cluster più rischiosi per le transazioni fraudolente rispetto a quelle legittime.
|
||||
|
||||
https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.680.1195&rep=rep1&type=pdf
|
||||
|
||||
### Gestione patrimoniale
|
||||
|
||||
Nella gestione patrimoniale, un individuo o un'impresa gestisce gli investimenti per conto dei propri clienti. Il loro compito è sostenere e far crescere la ricchezza a lungo termine, quindi è essenziale scegliere investimenti che funzionino bene.
|
||||
|
||||
Un modo per valutare le prestazioni di un particolare investimento è attraverso la regressione statistica. La[regressione lineare](../../../2-Regression/1-Tools/translations/README.it.md) è uno strumento prezioso per capire come si comporta un fondo rispetto a un benchmark. Si può anche dedurre se i risultati della regressione sono statisticamente significativi o quanto influenzerebbero gli investimenti di un cliente. Si potrebbe anche espandere ulteriormente la propria analisi utilizzando la regressione multipla, in cui è possibile prendere in considerazione ulteriori fattori di rischio. Per un esempio di come funzionerebbe per un fondo specifico, consultare il documento di seguito sulla valutazione delle prestazioni del fondo utilizzando la regressione.
|
||||
|
||||
http://www.brightwoodventures.com/evaluating-fund-performance-using-regression/
|
||||
|
||||
## Istruzione
|
||||
|
||||
Anche il settore educativo è un'area molto interessante in cui si può applicare machine learning. Ci sono problemi interessanti da affrontare come rilevare l'imbroglio nei test o nei saggi o gestire i pregiudizi nel processo di correzione, non intenzionali o meno.
|
||||
|
||||
### Prevedere il comportamento degli studenti
|
||||
|
||||
[Coursera](https://coursera.com), un fornitore di corsi aperti online, ha un fantastico blog di tecnologia in cui discutono molte decisioni ingegneristiche. In questo caso di studio, hanno tracciato una linea di regressione per cercare di esplorare qualsiasi correlazione tra un punteggio NPS (Net Promoter Score) basso e il mantenimento o l'abbandono del corso.
|
||||
|
||||
https://medium.com/coursera-engineering/regressione-controllata-quantificare-l'impatto-della-qualità-del-corso-sulla-ritenzione-dell'allievo-31f956bd592a
|
||||
|
||||
### Mitigare i pregiudizi
|
||||
|
||||
[Grammarly](https://grammarly.com), un assistente di scrittura che controlla gli errori di ortografia e grammatica, utilizza sofisticati [sistemi di elaborazione del linguaggio naturale](../../../6-NLP/translations/README.it.md) in tutti i suoi prodotti. Hanno pubblicato un interessante caso di studio nel loro blog tecnologico su come hanno affrontato il pregiudizio di genere nell'apprendimento automatico, di cui si si è appreso nella [lezione introduttiva sull'equità](../../../1-Introduction/3-fairness/translations/README.it.md).
|
||||
|
||||
https://www.grammarly.com/blog/engineering/mitigating-gender-bias-in-autocorrect/
|
||||
|
||||
## Vendita al dettaglio
|
||||
|
||||
Il settore della vendita al dettaglio può sicuramente trarre vantaggio dall'uso di machine learning, dalla creazione di un percorso migliore per il cliente allo stoccaggio dell'inventario in modo ottimale.
|
||||
|
||||
### Personalizzare il percorso del cliente
|
||||
|
||||
In Wayfair, un'azienda che vende articoli per la casa come i mobili, aiutare i clienti a trovare i prodotti giusti per i loro gusti e le loro esigenze è fondamentale. In questo articolo, gli ingegneri dell'azienda descrivono come utilizzano ML e NLP per "far emergere i risultati giusti per i clienti". In particolare, il loro motore di intento di ricerca è stato creato per utilizzare l'estrazione di entità, l'addestramento di classificatori, l'estrazione di risorse e opinioni e l'etichettatura del sentimento sulle recensioni dei clienti. Questo è un classico caso d'uso di come funziona NLP nella vendita al dettaglio online.
|
||||
|
||||
https://www.aboutwayfair.com/tech-innovation/how-we-use-machine-learning-and-natural-language-processing-to-empower-search
|
||||
|
||||
### Gestione dell’inventario
|
||||
|
||||
Aziende innovative e agili come [StitchFix](https://stitchfix.com), un servizio che spedisce abbigliamento ai consumatori, si affidano molto al machine learning per consigli e gestione dell'inventario. I loro team di stilisti lavorano insieme ai loro team di merchandising, infatti: "uno dei nostri data scientist ha armeggiato con un algoritmo genetico e lo ha applicato all'abbigliamento per prevedere quale sarebbe un capo di abbigliamento di successo che oggi non esiste. L'abbiamo portato al team del merchandising e ora possono usarlo come strumento".
|
||||
|
||||
https://www.zdnet.com/article/how-stitch-fix-uses-machine-learning-to-master-the-science-of-styling/
|
||||
|
||||
## Assistenza sanitaria
|
||||
|
||||
Il settore sanitario può sfruttare il machine learning per ottimizzare le attività di ricerca e anche problemi logistici come la riammissione dei pazienti o l'arresto della diffusione delle malattie.
|
||||
|
||||
### Gestione delle sperimentazioni cliniche
|
||||
|
||||
La tossicità negli studi clinici è una delle principali preoccupazioni per i produttori di farmaci. Quanta tossicità è tollerabile? In questo studio, l'analisi di vari metodi di sperimentazione clinica ha portato allo sviluppo di un nuovo approccio per prevedere le probabilità dei risultati della sperimentazione clinica. Nello specifico, sono stati in grado di usare random forest per produrre un [classificatore](../../../4-Classification/translations/README.it.md) in grado di distinguere tra gruppi di farmaci.
|
||||
|
||||
https://www.sciencedirect.com/science/article/pii/S2451945616302914
|
||||
|
||||
### Gestione della riammissione ospedaliera
|
||||
|
||||
Le cure ospedaliere sono costose, soprattutto quando i pazienti devono essere ricoverati di nuovo. Questo documento discute un'azienda che utilizza il machine learning per prevedere il potenziale di riammissione utilizzando algoritmi di [clustering](../../../5-Clustering/translations/README.it.md). Questi cluster aiutano gli analisti a "scoprire gruppi di riammissioni che possono condividere una causa comune".
|
||||
|
||||
https://healthmanagement.org/c/healthmanagement/issuearticle/hospital-readmissions-and-machine-learning
|
||||
|
||||
### Gestione della malattia
|
||||
|
||||
La recente pandemia ha messo in luce i modi in cui machine learning può aiutare a fermare la diffusione della malattia. In questo articolo, si riconoscerà l'uso di ARIMA, curve logistiche, regressione lineare e SARIMA. "Questo lavoro è un tentativo di calcolare il tasso di diffusione di questo virus e quindi di prevedere morti, guarigioni e casi confermati, in modo che possa aiutare a prepararci meglio e sopravvivere".
|
||||
|
||||
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7979218/
|
||||
|
||||
## 🌲 Ecologia e Green Tech
|
||||
|
||||
Natura ed ecologia sono costituiti da molti sistemi sensibili in cui l'interazione tra animali e natura viene messa a fuoco. È importante essere in grado di misurare accuratamente questi sistemi e agire in modo appropriato se accade qualcosa, come un incendio boschivo o un calo della popolazione animale.
|
||||
|
||||
### Gestione delle foreste
|
||||
|
||||
Si è appreso il [Reinforcement Learning](../../../8-Reinforcement/translations/README.it.md) nelle lezioni precedenti. Può essere molto utile quando si cerca di prevedere i modelli in natura. In particolare, può essere utilizzato per monitorare problemi ecologici come gli incendi boschivi e la diffusione di specie invasive. In Canada, un gruppo di ricercatori ha utilizzato Reinforcement Learning per costruire modelli di dinamica degli incendi boschivi da immagini satellitari. Utilizzando un innovativo "processo di diffusione spaziale (SSP)", hanno immaginato un incendio boschivo come "l'agente in qualsiasi cellula del paesaggio". "L'insieme di azioni che l'incendio può intraprendere da un luogo in qualsiasi momento include la diffusione a nord, sud, est o ovest o la mancata diffusione.
|
||||
|
||||
Questo approccio inverte la solita configurazione RL poiché la dinamica del corrispondente Processo Decisionale di Markov (MDP) è una funzione nota per la diffusione immediata degli incendi". Maggiori informazioni sugli algoritmi classici utilizzati da questo gruppo al link sottostante.
|
||||
|
||||
https://www.frontiersin.org/articles/10.3389/fneur.2018.00006/pieno
|
||||
|
||||
### Rilevamento del movimento degli animali
|
||||
|
||||
Mentre il deep learning ha creato una rivoluzione nel tracciamento visivo dei movimenti degli animali (qui si può costruire il proprio [localizzatore di orsi polari](https://docs.microsoft.com/learn/modules/build-ml-model-with-azure-stream-analytics/?WT.mc_id=academic-15963-cxa) ), il machine learning classico ha ancora un posto in questo compito.
|
||||
|
||||
I sensori per tracciare i movimenti degli animali da fattoria e l'internet delle cose fanno uso di questo tipo di elaborazione visiva, ma tecniche di machine learning di base sono utili per preelaborare i dati. Ad esempio, in questo documento, le posture delle pecore sono state monitorate e analizzate utilizzando vari algoritmi di classificazione. Si potrebbe riconoscere la curva ROC a pagina 335.
|
||||
|
||||
https://druckhaus-hofmann.de/gallery/31-wj-feb-2020.pdf
|
||||
|
||||
### Gestione energetica
|
||||
|
||||
Nelle lezioni sulla [previsione delle serie temporali](../../../7-TimeSeries/translations/README.it.md), si è invocato il concetto di parchimetri intelligenti per generare entrate per una città in base alla comprensione della domanda e dell'offerta. Questo articolo discute in dettaglio come il raggruppamento, la regressione e la previsione delle serie temporali si sono combinati per aiutare a prevedere il futuro uso di energia in Irlanda, sulla base della misurazione intelligente.
|
||||
|
||||
https://www-cdn.knime.com/sites/default/files/inline-images/knime_bigdata_energy_timeseries_whitepaper.pdf
|
||||
|
||||
## Assicurazione
|
||||
|
||||
Il settore assicurativo è un altro settore che utilizza machine learning per costruire e ottimizzare modelli finanziari e attuariali sostenibili.
|
||||
|
||||
### Gestione della volatilità
|
||||
|
||||
MetLife, un fornitore di assicurazioni sulla vita, è disponibile con il modo in cui analizzano e mitigano la volatilità nei loro modelli finanziari. In questo articolo si noteranno le visualizzazioni di classificazione binaria e ordinale. Si scopriranno anche visualizzazioni di previsione.
|
||||
|
||||
https://investments.metlife.com/content/dam/metlifecom/us/investments/insights/research-topics/macro-strategy/pdf/MetLifeInvestmentManagement_MachineLearnedRanking_070920.pdf
|
||||
|
||||
## 🎨 Arte, cultura e letteratura
|
||||
|
||||
Nelle arti, per esempio nel giornalismo, ci sono molti problemi interessanti. Rilevare notizie false è un problema enorme poiché è stato dimostrato che influenza l'opinione delle persone e persino che fa cadere le democrazie. I musei possono anche trarre vantaggio dall'utilizzo di machine learning in tutto, dalla ricerca di collegamenti tra gli artefatti alla pianificazione delle risorse.
|
||||
|
||||
### Rilevamento di notizie false
|
||||
|
||||
Rilevare notizie false è diventato un gioco del gatto e del topo nei media di oggi. In questo articolo, i ricercatori suggeriscono che un sistema che combina diverse delle tecniche ML qui studiate può essere testato e il miglior modello implementato: "Questo sistema si basa sull'elaborazione del linguaggio naturale per estrarre funzionalità dai dati e quindi queste funzionalità vengono utilizzate per l'addestramento di classificatori di machine learning come Naive Bayes, Support Vector Machine (SVM), Random Forest (RF), Stochastic Gradient Descent (SGD) e Logistic Regression (LR)."
|
||||
|
||||
https://www.irjet.net/archives/V7/i6/IRJET-V7I6688.pdf
|
||||
|
||||
Questo articolo mostra come la combinazione di diversi campi ML possa produrre risultati interessanti in grado di aiutare a impedire che le notizie false si diffondano e creino danni reali; in questo caso, l'impulso è stato la diffusione di voci su trattamenti COVID che incitavano alla violenza di massa.
|
||||
|
||||
### ML per Musei
|
||||
|
||||
I musei sono all'apice di una rivoluzione dell'intelligenza artificiale in cui catalogare e digitalizzare le collezioni e trovare collegamenti tra i manufatti sta diventando più facile con l'avanzare della tecnologia. Progetti come [In Codice Ratio](https://www.sciencedirect.com/science/article/abs/pii/S0306457321001035#:~:text=1.,studies%20over%20large%20historical%20sources.) stanno aiutando a svelare i misteri di collezioni inaccessibili come gli Archivi Vaticani. Ma anche l'aspetto commerciale dei musei beneficia dei modelli di machine learning.
|
||||
|
||||
Ad esempio, l'Art Institute di Chicago ha costruito modelli per prevedere a cosa è interessato il pubblico e quando parteciperà alle esposizioni. L'obiettivo è creare esperienze di visita personalizzate e ottimizzate ogni volta che l'utente visita il museo. "Durante l'anno fiscale 2017, il modello ha previsto presenze e ammissioni entro l'1% di scostamento, afferma Andrew Simnick, vicepresidente senior dell'Art Institute".
|
||||
|
||||
https://www.chicagobusiness.com/article/20180518/ISSUE01/180519840/art-institute-of-chicago-uses-data-to-make-exhibit-choices
|
||||
|
||||
## Marketing
|
||||
|
||||
### Segmentazione della clientela
|
||||
|
||||
Le strategie di marketing più efficaci si rivolgono ai clienti in modi diversi in base a vari raggruppamenti. In questo articolo vengono discussi gli usi degli algoritmi di Clustering per supportare il marketing differenziato. Il marketing differenziato aiuta le aziende a migliorare il riconoscimento del marchio, raggiungere più clienti e guadagnare di più.
|
||||
|
||||
https://ai.inqline.com/machine-learning-for-marketing-customer-segmentation/
|
||||
|
||||
## 🚀 Sfida
|
||||
|
||||
Identificare un altro settore che beneficia di alcune delle tecniche apprese in questo programma di studi e scoprire come utilizza il machine learning.
|
||||
|
||||
## [Quiz post-lezione](https://white-water-09ec41f0f.azurestaticapps.net/quiz/50/?loc=it)
|
||||
|
||||
## Revisione e Auto Apprendimento
|
||||
|
||||
Il team di data science di Wayfair ha diversi video interessanti su come usano il machine learning nella loro azienda. Vale la pena [dare un'occhiata](https://www.youtube.com/channel/UCe2PjkQXqOuwkW1gw6Ameuw/videos)!
|
||||
|
||||
## Compito
|
||||
|
||||
[Una caccia al tesoro per ML](assignment.it.md)
|
||||
|
|
@ -0,0 +1,13 @@
|
|||
# Una caccia al tesoro per ML
|
||||
|
||||
## Istruzioni
|
||||
|
||||
In questa lezione si sono appresi molti casi d'uso reali che sono stati risolti utilizzando machine learning classico. Sebbene l'uso del deep learning, di nuove tecniche e strumenti nell'intelligenza artificiale e lo sfruttamento delle reti neurali abbia contribuito ad accelerare la produzione di strumenti per aiutare in questi settori, il machine learning classico che utilizza le tecniche esposte in questo programma di studi ha ancora un grande valore.
|
||||
|
||||
In questo compito, si immagini di partecipare a un [hackathon](https://it.wikipedia.org/wiki/Hackathon). Usare ciò che si è appreso nel programma di studi per proporre una soluzione usando ML classico per risolvere un problema in uno dei settori discussi in questa lezione. Creare una presentazione in cui si discute come implementare la propria idea. Punti bonus se si riesce a raccogliere dati di esempio e creare un modello ML per supportare il proprio concetto!
|
||||
|
||||
## Rubrica
|
||||
|
||||
| Criteri | Ottimo | Adeguato | Necessita miglioramento |
|
||||
| -------- | ------------------------------------------------------------------- | ------------------------------------------------- | ---------------------- |
|
||||
| | Viene esposta una presentazione PowerPoint - bonus per la creazione di un modello | Viene esposta una presentazione di base non innovativa | Il lavoro è incompleto |
|
||||
|
|
@ -0,0 +1,15 @@
|
|||
# Poscritto: applicazioni del mondo reale di machine learning classico
|
||||
|
||||
In questa sezione del programma di studi, verranno presentate alcune applicazioni del mondo reale di machine learning classico. Internet è stata setacciata per trovare [whitepaper](https://it.wikipedia.org/wiki/White_paper) e articoli sulle applicazioni che hanno utilizzato queste strategie, evitando il più possibile le reti neurali, il deep learning e l'intelligenza artificiale. Si scoprirà come viene utilizzato machine learning nei sistemi aziendali, applicazioni ecologiche, finanza, arte e cultura e altro ancora.
|
||||
|
||||
|
||||
|
||||
> Foto di <a href="https://unsplash.com/@childeye?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Alexis Fauvet</a> su <a href="https://unsplash.com/s/photos/artificial-intelligence?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText">Unsplash</a>
|
||||
|
||||
## Lezione
|
||||
|
||||
1. [Applicazioni del mondo reale per ML](../1-Applications/translations/README.it.md)
|
||||
|
||||
## Crediti
|
||||
|
||||
"Real-World Applications" è stato scritto da un team di persone, tra cui [Jen Looper](https://twitter.com/jenlooper) e [Ornella Altunyan](https://twitter.com/ornelladotcom).
|
||||
|
|
@ -3,6 +3,7 @@ import en from './en.json';
|
|||
import tr from './tr.json';
|
||||
import fr from './fr.json';
|
||||
import ja from './ja.json';
|
||||
import it from './it.json';
|
||||
|
||||
//export const defaultLocale = 'en';
|
||||
|
||||
|
|
@ -10,7 +11,8 @@ const messages = {
|
|||
en: en[0],
|
||||
tr: tr[0],
|
||||
fr: fr[0],
|
||||
ja: ja[0]
|
||||
ja: ja[0],
|
||||
it: it[0]
|
||||
};
|
||||
|
||||
export default messages;
|
||||
|
|
|
|||
Разница между файлами не показана из-за своего большого размера
Загрузить разницу
|
|
@ -0,0 +1,123 @@
|
|||
[](https://github.com/microsoft/ML-For-Beginners/blob/master/LICENSE)
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/graphs/contributors/)
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/issues/)
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/pulls/)
|
||||
[](http://makeapullrequest.com)
|
||||
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/watchers/)
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/network/)
|
||||
[](https://GitHub.com/microsoft/ML-For-Beginners/stargazers/)
|
||||
|
||||
# Machine Learning per Principianti - Un Programma di Studio
|
||||
|
||||
> 🌍 Viaggio intorno al mondo esplorando Machine Learning per mezzo delle culture mondiali 🌍
|
||||
|
||||
Azure Cloud Advocates in Microsoft sono lieti di offrire un programma di studi di 12 settimane, 24 lezioni (più una!) tutto su **Machine Learning**. In questo programma di studi, si imparerà di ciò che a volte è chiamato **machine learning classico**, usando principalmente Scikit-learn come libreria ed evitando il deep learning, che è coperto nel nostro prossimo programma di studi "AI per principianti". Queste lezioni si accoppiano anche con il programma di studi di prossima uscita "Data Science per principianti"!
|
||||
|
||||
Si viaggerà insieme in tutto il mondo mentre si applicano queste tecniche classiche ai dati da molte aree del mondo. Ogni lezione include quiz pre e post lezione, istruzioni scritte per completare la lezione, una soluzione, un compito e altro ancora. La pedagogia basata su progetto consente di imparare durante la costruzione, un modo comprovato per memorizzare nuove conoscenze.
|
||||
|
||||
**✍️ Un grazie di cuore ai nostri autori** Jen Looper, Stephen Howell, Francesca Lazzeri, Tomomi Imura, Cassie Breviu, Dmitry Soshnikov, Chris Noring, Ornella Altunyan, e Amy Boyd
|
||||
|
||||
**🎨 Grazie anche ai nostri illustratori** Tomomi Imura, Dasani Madipalli, e Jen Looper
|
||||
|
||||
**🙏 Un ringraziamento speciale 🙏 agli autori di Microsoft Student Ambassador, revisori e collaboratori per i contenuti**, in particolare Rishit Dagli, Muhammad Sakib Khan Inan, Rohan Raj, Alexandru Petrescu, Abhishek Jaiswal, Nawrin Tabassum, Ioan Samuila, e Snigdha Agarwal
|
||||
|
||||
**🤩 Un grazie supplementare al Microsoft Student Ambassador Eric Wanjau per le nostre lezioni su R!**
|
||||
|
||||
---
|
||||
|
||||
# Per Iniziare
|
||||
|
||||
**Studenti**, per utilizzare questo programma di studi, eseguire il fork dell'intero repo sul proprio account GitHub e completare gli esercizi da soli o in gruppo:
|
||||
|
||||
- Iniziare con un quiz pre-lezione.
|
||||
- Leggere la lezione e completare le attività, facendo una pausa di riflessione in ogni controllo della conoscenza.
|
||||
- Provare a creare i progetti capendo le lezioni piuttosto che eseguire il codice della soluzione; comunque quel codice è disponibile nelle cartelle `/solution` in ogni lezione orientata al progetto.
|
||||
- Fare il quiz post-lezione.
|
||||
- Completare la sfida.
|
||||
- Completare il compito.
|
||||
- Dopo il completamento di un gruppo di lezioni, visitare il [Forum di discussione](https://github.com/microsoft/ML-For-Beginners/discussions) e imparare ad alta voce riempiendo la rubrica di Pat appropriata. Un 'PAT' è uno Strumento di valutazione del progresso che è una rubrica che si compila per promuovere il proprio apprendimento. Si può interagire anche in altri PAT in modo da imparare assieme.
|
||||
|
||||
> Per ulteriori approfondimenti, si raccomanda di sequire i seguenti moduli e percorsi di apprendimento [Microsoft Learn](https://docs.microsoft.com/en-us/users/jenlooper-2911/collections/k7o7tg1gp306q4?WT.mc_id=academic-15963-cxa).
|
||||
|
||||
**Insegnanti**, sono stati [inclusi alcuni suggerimenti](for-teachers.md) su come usare questo programma di studi.
|
||||
|
||||
---
|
||||
|
||||
## Incontrare la squadra
|
||||
|
||||
[](https://youtu.be/Tj1XWrDSYJU "Promo video")
|
||||
|
||||
> 🎥 Fare click sull'immagine qui sopra per un video sul progetto e sulle persone che lo hanno creato!
|
||||
|
||||
---
|
||||
|
||||
## Pedagogia
|
||||
|
||||
Sono stati scelti due principi pedagogici durante la creazione di questo programma di studi: assicurandosi che sia pratico **basato su progetto** e che includa **quiz frequenti**. Inoltre, questo programma di studi ha un **tema** comune per conferirgli coesione.
|
||||
|
||||
Assicurandosi che il contenuto si allinei con i progetti, il processo è reso più coinvolgente per gli studenti e la conservazione dei concetti sarà aumentata. Inoltre, un quiz di poca difficoltà prima di una lezione imposta l'intenzione dello studente verso l'apprendimento di un argomento, mentre un secondo quiz dopo la lezione garantisce ulteriore ritenzione. Questo programma di studi è stato progettato per essere flessibile e divertente e può essere seguito in tutto o in parte. I progetti iniziano piccoli e diventano sempre più complessi entro la fine del ciclo di 12 settimane. Questo programma di studi include anche un poscritto sulle applicazioni del mondo reale di ML, che può essere utilizzata come credito extra o come base per la discussione.
|
||||
|
||||
> Consultare Le linee guida del [Codice di Condotta](CODE_OF_CONDUCT.md), per [Collaborare](CONTRIBUTING.md), e [Tradurre](TRANSLATIONS.md). Un feedback costruttivo sarà accolto con piacere!
|
||||
|
||||
## Ogni lezione include:
|
||||
|
||||
- sketchNote opzionale
|
||||
- video supplementare opzionale
|
||||
- quiz di riscaldamento pre-lezione
|
||||
- lezione scritta
|
||||
- per lezioni basate su progetto, guide passo-passo su come costruire il progetto
|
||||
- controlli della conoscenza
|
||||
- una sfida
|
||||
- lettura supplementare
|
||||
- compito
|
||||
- quiz post-lezione
|
||||
|
||||
> **Una nota sui quiz**: Tutti i quiz sono contenuti [in questa app](https://white-water-09ec41f0f.azurestaticapps.net/), per un totale di 50 quiz con tre domande ciascuno. Sono collegati all'interno delle lezioni ma l'app può essere eseguita localmente; seguire le istruzioni nella cartella `quiz-app`.
|
||||
|
||||
| Numero Lezione | Argomento | Gruppo Lezioni | Obiettivi di Apprendimento | Lezioni Collegate | Autore |
|
||||
| :-----------: | :--------------------------------------------------------: | :-------------------------------------------------: | ------------------------------------------------------------------------------------------------------------------------------- | :---------------------------------------------------: | :------------: |
|
||||
| 01 | Introduzione a machine learning | [Introduzione](../1-Introduction/translations/README.it.md) | Apprendere i concetti di base dietro machine learning | [lezione](../1-Introduction/1-intro-to-ML/translations/README.it.md) | Muhammad |
|
||||
| 02 | La storia di machine learning | [Introduzione](../1-Introduction/translations/README.it.md) | Apprendere la storia alla base di questo campo | [lezione](../1-Introduction/2-history-of-ML/translations/README.it.md) | Jen e Amy |
|
||||
| 03 | Equità e machine learning | [Introduzione](../1-Introduction/translations/README.it.md) | Quali sono gli importanti quesiti filosofici attorno all'equità che gli studenti dovrebbero prendere in considerazione quando si costruiscono e applicano i modelli ML? | [lezione](../1-Introduction/3-fairness/translations/README.it.md) | Tomomi |
|
||||
| 04 | Tecniche di machine learning | [Introduzione](../1-Introduction/translations/README.it.md) | Quali tecniche usano i ricercatori ML per costruire modelli ML? | [lezione](../1-Introduction/4-techniques-of-ML/translations/README.it.md) | Chris e Jen |
|
||||
| 05 | Introduzione alla regressione | [Regressione](../2-Regression/translations/README.it.md) | Iniziare con Python e Scikit-learn per i modelli di regressione | [lezione](../2-Regression/1-Tools/translations/README.it.md) | Jen |
|
||||
| 06 | Prezzi della zucca del Nord America 🎃 | [Regressione](../2-Regression/translations/README.it.md) | Visualizzare e pulire i dati in preparazione per ML | [lezione](../2-Regression/2-Data/translations/README.it.md) | Jen |
|
||||
| 07 | Prezzi della zucca del Nord America 🎃 | [Regressione](../2-Regression/translations/README.it.md) | Costruire modelli di regressione lineare e polinomiale | [lezione](../2-Regression/3-Linear/translations/README.it.md) | Jen |
|
||||
| 08 | Prezzi della zucca del Nord America 🎃 | [Regressione](../2-Regression/translations/README.it.md) | Costruire un modello di regressione logistica | [lezione](../2-Regression/4-Logistic/translations/README.it.md) | Jen |
|
||||
| 09 | Una App web 🔌 | [App Web](../3-Web-App/translations/README.it.md) | Costruire un'App web per utilizzare il proprio modello addestrato | [lezione](../3-Web-App/1-Web-App/translations/README.it.md) | Jen |
|
||||
| 10 | Introduzione alla classificazione | [Classificazione](../4-Classification/translations/README.it.md) | Pulire, preparare e visualizzare i dati; introduzione alla classificazione | [lezione](../4-Classification/1-Introduction/translations/README.it.md) | Jen e Cassie |
|
||||
| 11 | Deliziose cucine asiatiche e indiane 🍜 | [Classificazione](../4-Classification/translations/README.it.md) | Introduzione ai classificatori | [lezione](../4-Classification/2-Classifiers-1/translations/README.it.md) | Jen e Cassie |
|
||||
| 12 | Deliziose cucine asiatiche e indiane 🍜 | [Classificazione](../4-Classification/translations/README.it.md) | Ancora classificatori | [lezione](../4-Classification/3-Classifiers-2/translations/README.it.md) | Jen e Cassie |
|
||||
| 13 | Deliziose cucine asiatiche e indiane 🍜 | [Classificazione](../4-Classification/translations/README.it.md) | Costruire un'App web di raccomandazione usando il proprio modello | [lezione](../4-Classification/4-Applied/translations/README.it.md) | Jen |
|
||||
| 14 | Introduzione al clustering. | [Clustering](../5-Clustering/translations/README.it.md) | Pulire, preparare e visualizzare i dati; introduzione al clustering. | [lezione](../5-Clustering/1-Visualize/translations/README.it.md) | Jen |
|
||||
| 15 | Esplorare i gusti musicali nigeriani 🎧 | [Clustering](../5-Clustering/translations/README.it.md) | Esplorare il metodo di clustering K-Means | [lezione](../5-Clustering/2-K-Means/translations/README.it.md) | Jen |
|
||||
| 16 | Introduzione all'elaborazione naturale del linguaggio ☕️ | [Elaborazione del linguaggio naturale](../6-NLP/translations/README.it.md) | Imparare le basi di NLP costruendo un semplice bot | [lezione](../6-NLP/1-Introduction-to-NLP/translations/README.it.md) | Stephen |
|
||||
| 17 | Attività NLP comuni ☕️ | [Elaborazione del linguaggio naturale](../6-NLP/translations/README.it.md) | Approfondire la conoscenza dell'NLP comprendendo i compiti comuni richiesti quando si tratta di gestire strutture linguistiche | [lezione](../6-NLP/2-Tasks/translations/README.it.md) | Stephen |
|
||||
| 18 | Traduzione e analisi del sentimento ♥️ | [Elaborazione del linguaggio naturale](../6-NLP/translations/README.it.md) | Traduzione e analisi del sentimento con Jane Austen | [lezione](../6-NLP/3-Translation-Sentiment/translations/README.it.md) | Stephen |
|
||||
| 19 | Hotel romantici dell'Europa ♥️ | [Elaborazione del linguaggio naturale](../6-NLP/translations/README.it.md) | Analisi del sentimento con le recensioni di hotel 1 | [lezione](../6-NLP/4-Hotel-Reviews-1/translations/README.it.md) | Stephen |
|
||||
| 20 | Hotel romantici dell'Europa ♥️ | [Elaborazione del linguaggio naturale](../6-NLP/translations/README.it.md) | Analisi del sentimento con le recensioni di hotel 2 | [lezione](../6-NLP/5-Hotel-Reviews-2/translations/README.it.md) | Stephen |
|
||||
| 21 | Introduzione alle previsioni delle serie temporali | [Time series](../7-TimeSeries/translations/README.it.md) | Introduzione alle previsioni delle serie temporali | [lezione](../7-TimeSeries/1-Introduction/translations/README.it.md) | Francesca |
|
||||
| 22 | ⚡️ Utilizzo energetico mondiale ⚡️ - previsione di serie temporali con ARIMA | [Time series](../7-TimeSeries/translations/README.it.md) | Previsione di serie temporali con ARIMA | [lezione](../7-TimeSeries/2-ARIMA/translations/README.it.md) | Francesca |
|
||||
| 23 | Introduzione al reinforcement learning | [Reinforcement learning](../8-Reinforcement/translations/README.it.md) | Introduzione al reinforcement learning con Q-Learning | [lezione](../8-Reinforcement/1-QLearning/translations/README.it.md) | Dmitry |
|
||||
| 24 | Aiutare Pierino a evitare il lupo! 🐺 | [Reinforcement learning](../8-Reinforcement/translations/README.it.md) | Reinforcement learning Gym | [lezione](../8-Reinforcement/2-Gym/translations/README.it.md) | Dmitry |
|
||||
| Poscritto | Scenari e applicazioni ML del mondo reale | [ML in natura](../9-Real-World/translations/README.it.md) | Applicazioni interessanti e rivelanti applicazioni di ML classico del mondo reale | [lezione](../9-Real-World/1-Applications/translations/README.it.md) | Team |
|
||||
|
||||
## Accesso offline
|
||||
|
||||
Si può eseguire questa documentazione offline usando [Docsify](https://docsify.js.org/#/). Effettuare il fork di questo repo, [installare Docsify](https://docsify.js.org/#/quickstart) sulla propria macchina locale, quindi nella cartella radice di questo repo digitare `docsify serve`. Il sito web sarà servito sulla porta 3000 di localhost: `localhost:3000`.
|
||||
|
||||
## PDF
|
||||
|
||||
Si può trovare un pdf con il programma di studio e collegamenti [qui](pdf/readme.pdf).
|
||||
|
||||
## Cercasi aiuto!
|
||||
|
||||
Si vorrebbe contribuire a una traduzione? Per favore leggere le [linee guida di traduzione](TRANSLATIONS.md) e aggiungere eventuale input [qui](https://github.com/microsoft/ML-For-Beginners/issues/71).
|
||||
|
||||
## Altri Programmi di Studi\
|
||||
|
||||
Il nostro team produce altri programmi di studi! Dare un occhiatat:
|
||||
|
||||
- [Sviluppo Web per Principianti](https://aka.ms/webdev-beginners)
|
||||
- [IoT per Principianti](https://aka.ms/iot-beginners)
|
||||
Загрузка…
Ссылка в новой задаче