Check your refrigerator. What can you create?
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ ```
+
+ Primijetite da je svakom checkboxu dodijeljena vrijednost. To odražava indeks gdje se sastojak nalazi prema datasetu. Jabuka, na primjer, u ovom abecednom popisu zauzima peti stupac, pa je njezina vrijednost '4' jer počinjemo brojati od 0. Možete konzultirati [tablicu sastojaka](../../../../4-Classification/data/ingredient_indexes.csv) kako biste otkrili indeks određenog sastojka.
+
+ Nastavljajući rad u datoteci index.html, dodajte blok skripte gdje se model poziva nakon završnog zatvaranja ``.
+
+1. Prvo, uvezite [Onnx Runtime](https://www.onnxruntime.ai/):
+
+ ```html
+
+ ```
+
+ > Onnx Runtime se koristi za omogućavanje pokretanja vaših Onnx modela na širokom rasponu hardverskih platformi, uključujući optimizacije i API za korištenje.
+
+1. Kada je Runtime na mjestu, možete ga pozvati:
+
+ ```html
+
+ ```
+
+U ovom kodu događa se nekoliko stvari:
+
+1. Kreirali ste niz od 380 mogućih vrijednosti (1 ili 0) koje se postavljaju i šalju modelu za inferenciju, ovisno o tome je li checkbox označen.
+2. Kreirali ste niz checkboxova i način za određivanje jesu li označeni u funkciji `init` koja se poziva kada aplikacija započne. Kada je checkbox označen, niz `ingredients` se mijenja kako bi odražavao odabrani sastojak.
+3. Kreirali ste funkciju `testCheckboxes` koja provjerava je li neki checkbox označen.
+4. Koristite funkciju `startInference` kada se pritisne gumb i, ako je neki checkbox označen, započinjete inferenciju.
+5. Rutina inferencije uključuje:
+ 1. Postavljanje asinkronog učitavanja modela
+ 2. Kreiranje Tensor strukture za slanje modelu
+ 3. Kreiranje 'feeds' koji odražava `float_input` ulaz koji ste kreirali prilikom treniranja modela (možete koristiti Netron za provjeru tog naziva)
+ 4. Slanje ovih 'feeds' modelu i čekanje odgovora
+
+## Testirajte svoju aplikaciju
+
+Otvorite terminal sesiju u Visual Studio Code-u u mapi gdje se nalazi vaša datoteka index.html. Osigurajte da imate [http-server](https://www.npmjs.com/package/http-server) instaliran globalno i upišite `http-server` na promptu. Trebao bi se otvoriti localhost i možete pregledati svoju web aplikaciju. Provjerite koja kuhinja se preporučuje na temelju različitih sastojaka:
+
+
+
+Čestitamo, izradili ste web aplikaciju za 'preporuke' s nekoliko polja. Odvojite malo vremena za proširenje ovog sustava!
+
+## 🚀Izazov
+
+Vaša web aplikacija je vrlo minimalna, pa je nastavite proširivati koristeći sastojke i njihove indekse iz podataka [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Koje kombinacije okusa funkcioniraju za stvaranje određenog nacionalnog jela?
+
+## [Kviz nakon predavanja](https://ff-quizzes.netlify.app/en/ml/)
+
+## Pregled i samostalno učenje
+
+Iako je ova lekcija samo dotaknula korisnost stvaranja sustava za preporuke za sastojke hrane, ovo područje primjena strojnog učenja vrlo je bogato primjerima. Pročitajte više o tome kako se ovi sustavi izrađuju:
+
+- https://www.sciencedirect.com/topics/computer-science/recommendation-engine
+- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/
+- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/
+
+## Zadatak
+
+[Izradite novi sustav za preporuke](assignment.md)
+
+---
+
+**Odricanje od odgovornosti**:
+Ovaj dokument je preveden korištenjem AI usluge za prijevod [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda.
\ No newline at end of file
diff --git a/translations/hr/4-Classification/4-Applied/assignment.md b/translations/hr/4-Classification/4-Applied/assignment.md
new file mode 100644
index 00000000..4af5c1a7
--- /dev/null
+++ b/translations/hr/4-Classification/4-Applied/assignment.md
@@ -0,0 +1,25 @@
+
+# Izgradite preporučitelj
+
+## Upute
+
+Na temelju vaših vježbi u ovoj lekciji, sada znate kako izraditi web aplikaciju temeljenu na JavaScriptu koristeći Onnx Runtime i konvertirani Onnx model. Eksperimentirajte s izradom novog preporučitelja koristeći podatke iz ovih lekcija ili iz drugih izvora (molimo da navedete izvor). Možete, primjerice, izraditi preporučitelj za kućne ljubimce na temelju različitih osobnih karakteristika ili preporučitelj glazbenih žanrova na temelju raspoloženja osobe. Budite kreativni!
+
+## Rubrika
+
+| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje |
+| -------- | --------------------------------------------------------------------- | ------------------------------------- | --------------------------------- |
+| | Predstavljena je web aplikacija i bilježnica, obje dobro dokumentirane i funkcionalne | Jedna od njih nedostaje ili ima nedostatke | Obje nedostaju ili imaju nedostatke |
+
+---
+
+**Odricanje od odgovornosti**:
+Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda.
\ No newline at end of file
diff --git a/translations/hr/4-Classification/README.md b/translations/hr/4-Classification/README.md
new file mode 100644
index 00000000..65c38c58
--- /dev/null
+++ b/translations/hr/4-Classification/README.md
@@ -0,0 +1,41 @@
+
+# Početak rada s klasifikacijom
+
+## Regionalna tema: Ukusna azijska i indijska kuhinja 🍜
+
+U Aziji i Indiji, tradicije hrane su izuzetno raznolike i vrlo ukusne! Pogledajmo podatke o regionalnim kuhinjama kako bismo bolje razumjeli njihove sastojke.
+
+
+> Fotografija autora Lisheng Chang na Unsplash
+
+## Što ćete naučiti
+
+U ovom dijelu, nadogradit ćete svoje prethodno znanje o regresiji i naučiti o drugim klasifikatorima koje možete koristiti za bolje razumijevanje podataka.
+
+> Postoje korisni alati s malo koda koji vam mogu pomoći u učenju rada s modelima klasifikacije. Isprobajte [Azure ML za ovaj zadatak](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+## Lekcije
+
+1. [Uvod u klasifikaciju](1-Introduction/README.md)
+2. [Više klasifikatora](2-Classifiers-1/README.md)
+3. [Još drugih klasifikatora](3-Classifiers-2/README.md)
+4. [Primijenjeni ML: izrada web aplikacije](4-Applied/README.md)
+
+## Zasluge
+
+"Početak rada s klasifikacijom" napisali su s ♥️ [Cassie Breviu](https://www.twitter.com/cassiebreviu) i [Jen Looper](https://www.twitter.com/jenlooper)
+
+Skup podataka o ukusnim kuhinjama preuzet je s [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines).
+
+---
+
+**Odricanje od odgovornosti**:
+Ovaj dokument je preveden korištenjem AI usluge za prijevod [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda.
\ No newline at end of file
diff --git a/translations/hr/5-Clustering/1-Visualize/README.md b/translations/hr/5-Clustering/1-Visualize/README.md
new file mode 100644
index 00000000..bc8cf7aa
--- /dev/null
+++ b/translations/hr/5-Clustering/1-Visualize/README.md
@@ -0,0 +1,347 @@
+
+# Uvod u klasteriranje
+
+Klasteriranje je vrsta [Nenadziranog učenja](https://wikipedia.org/wiki/Unsupervised_learning) koja pretpostavlja da je skup podataka neoznačen ili da njegovi ulazi nisu povezani s unaprijed definiranim izlazima. Koristi razne algoritme za analizu neoznačenih podataka i pruža grupiranja prema obrascima koje prepoznaje u podacima.
+
+[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare")
+
+> 🎥 Kliknite na sliku iznad za video. Dok proučavate strojno učenje s klasteriranjem, uživajte u nigerijskim Dance Hall pjesmama - ovo je visoko ocijenjena pjesma iz 2014. od PSquare.
+
+## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/)
+
+### Uvod
+
+[Klasteriranje](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) je vrlo korisno za istraživanje podataka. Pogledajmo može li pomoći u otkrivanju trendova i obrazaca u načinu na koji nigerijska publika konzumira glazbu.
+
+✅ Odvojite trenutak da razmislite o primjenama klasteriranja. U stvarnom životu, klasteriranje se događa kad imate hrpu rublja i trebate razvrstati odjeću članova obitelji 🧦👕👖🩲. U podatkovnoj znanosti, klasteriranje se događa kada pokušavate analizirati korisničke preferencije ili odrediti karakteristike bilo kojeg neoznačenog skupa podataka. Klasteriranje, na neki način, pomaže u stvaranju reda iz kaosa, poput ladice za čarape.
+
+[](https://youtu.be/esmzYhuFnds "Introduction to Clustering")
+
+> 🎥 Kliknite na sliku iznad za video: John Guttag s MIT-a uvodi klasteriranje
+
+U profesionalnom okruženju, klasteriranje se može koristiti za određivanje stvari poput segmentacije tržišta, utvrđivanja koje dobne skupine kupuju koje proizvode, na primjer. Druga primjena bila bi otkrivanje anomalija, možda za otkrivanje prijevara iz skupa podataka o transakcijama kreditnim karticama. Ili biste mogli koristiti klasteriranje za određivanje tumora u seriji medicinskih skenova.
+
+✅ Razmislite na trenutak o tome kako ste možda naišli na klasteriranje 'u divljini', u bankarstvu, e-trgovini ili poslovnom okruženju.
+
+> 🎓 Zanimljivo je da analiza klastera potječe iz područja antropologije i psihologije 1930-ih. Možete li zamisliti kako se mogla koristiti?
+
+Alternativno, mogli biste ga koristiti za grupiranje rezultata pretraživanja - prema poveznicama za kupovinu, slikama ili recenzijama, na primjer. Klasteriranje je korisno kada imate veliki skup podataka koji želite smanjiti i na kojem želite provesti detaljniju analizu, pa se tehnika može koristiti za upoznavanje podataka prije nego što se izgrade drugi modeli.
+
+✅ Kada su vaši podaci organizirani u klastere, dodjeljujete im ID klastera, a ova tehnika može biti korisna pri očuvanju privatnosti skupa podataka; umjesto toga možete se referirati na podatkovnu točku prema njenom ID-u klastera, umjesto prema otkrivanju identifikacijskih podataka. Možete li smisliti druge razloge zašto biste koristili ID klastera umjesto drugih elemenata klastera za identifikaciju?
+
+Produbite svoje razumijevanje tehnika klasteriranja u ovom [modulu za učenje](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott)
+
+## Početak rada s klasteriranjem
+
+[Scikit-learn nudi širok raspon](https://scikit-learn.org/stable/modules/clustering.html) metoda za izvođenje klasteriranja. Vrsta koju odaberete ovisit će o vašem slučaju upotrebe. Prema dokumentaciji, svaka metoda ima različite prednosti. Evo pojednostavljene tablice metoda koje podržava Scikit-learn i njihovih odgovarajućih slučajeva upotrebe:
+
+| Naziv metode | Slučaj upotrebe |
+| :--------------------------- | :------------------------------------------------------------------ |
+| K-Means | opća namjena, induktivno |
+| Affinity propagation | mnogi, nejednaki klasteri, induktivno |
+| Mean-shift | mnogi, nejednaki klasteri, induktivno |
+| Spectral clustering | malo, jednaki klasteri, transduktivno |
+| Ward hierarchical clustering | mnogi, ograničeni klasteri, transduktivno |
+| Agglomerative clustering | mnogi, ograničeni, ne-Euklidske udaljenosti, transduktivno |
+| DBSCAN | ne-ravna geometrija, nejednaki klasteri, transduktivno |
+| OPTICS | ne-ravna geometrija, nejednaki klasteri s promjenjivom gustoćom, transduktivno |
+| Gaussian mixtures | ravna geometrija, induktivno |
+| BIRCH | veliki skup podataka s iznimkama, induktivno |
+
+> 🎓 Kako stvaramo klastere ima puno veze s načinom na koji grupiramo podatkovne točke u skupine. Razjasnimo neke pojmove:
+>
+> 🎓 ['Transduktivno' vs. 'induktivno'](https://wikipedia.org/wiki/Transduction_(machine_learning))
+>
+> Transduktivno zaključivanje proizlazi iz promatranih slučajeva treninga koji se mapiraju na specifične testne slučajeve. Induktivno zaključivanje proizlazi iz slučajeva treninga koji se mapiraju na opća pravila koja se tek tada primjenjuju na testne slučajeve.
+>
+> Primjer: Zamislite da imate skup podataka koji je samo djelomično označen. Neke stvari su 'ploče', neke 'CD-i', a neke su prazne. Vaš zadatak je dodijeliti oznake praznima. Ako odaberete induktivni pristup, trenirali biste model tražeći 'ploče' i 'CD-e' i primijenili te oznake na neoznačene podatke. Ovaj pristup će imati problema s klasifikacijom stvari koje su zapravo 'kasete'. Transduktivni pristup, s druge strane, učinkovitije se nosi s ovim nepoznatim podacima jer radi na grupiranju sličnih stavki zajedno i zatim primjenjuje oznaku na grupu. U ovom slučaju, klasteri bi mogli odražavati 'okrugle glazbene stvari' i 'kvadratne glazbene stvari'.
+>
+> 🎓 ['Ne-ravna' vs. 'ravna' geometrija](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering)
+>
+> Izvedeno iz matematičke terminologije, ne-ravna vs. ravna geometrija odnosi se na mjerenje udaljenosti između točaka bilo 'ravnim' ([Euklidskim](https://wikipedia.org/wiki/Euclidean_geometry)) ili 'ne-ravnim' (ne-Euklidskim) geometrijskim metodama.
+>
+>'Ravna' u ovom kontekstu odnosi se na Euklidsku geometriju (dijelovi koje se uče kao 'ravninska' geometrija), a ne-ravna se odnosi na ne-Euklidsku geometriju. Što geometrija ima veze sa strojnim učenjem? Pa, kao dva područja koja su ukorijenjena u matematici, mora postojati zajednički način mjerenja udaljenosti između točaka u klasterima, a to se može učiniti na 'ravni' ili 'ne-ravni' način, ovisno o prirodi podataka. [Euklidske udaljenosti](https://wikipedia.org/wiki/Euclidean_distance) mjere se kao duljina segmenta linije između dvije točke. [Ne-Euklidske udaljenosti](https://wikipedia.org/wiki/Non-Euclidean_geometry) mjere se duž krivulje. Ako se vaši podaci, vizualizirani, čine da ne postoje na ravnini, možda ćete trebati koristiti specijalizirani algoritam za njihovu obradu.
+>
+
+> Infografika od [Dasani Madipalli](https://twitter.com/dasani_decoded)
+>
+> 🎓 ['Udaljenosti'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf)
+>
+> Klasteri su definirani njihovom matricom udaljenosti, npr. udaljenostima između točaka. Ova udaljenost može se mjeriti na nekoliko načina. Euklidski klasteri definirani su prosjekom vrijednosti točaka i sadrže 'centroid' ili središnju točku. Udaljenosti se stoga mjere udaljenosti do tog centroida. Ne-Euklidske udaljenosti odnose se na 'clustroid', točku najbližu drugim točkama. Clustroidi se pak mogu definirati na različite načine.
+>
+> 🎓 ['Ograničeno'](https://wikipedia.org/wiki/Constrained_clustering)
+>
+> [Ograničeno klasteriranje](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) uvodi 'polu-nadzirano' učenje u ovu nenadziranu metodu. Odnosi između točaka označeni su kao 'ne može se povezati' ili 'mora se povezati' pa se neka pravila nameću skupu podataka.
+>
+>Primjer: Ako se algoritam pusti na skup neoznačenih ili polu-označenih podataka, klasteri koje proizvede mogu biti loše kvalitete. U gore navedenom primjeru, klasteri bi mogli grupirati 'okrugle glazbene stvari' i 'kvadratne glazbene stvari' i 'trokutaste stvari' i 'kolačiće'. Ako se daju neka ograničenja ili pravila koja treba slijediti ("stavka mora biti izrađena od plastike", "stavka mora moći proizvoditi glazbu") to može pomoći 'ograničiti' algoritam da donosi bolje odluke.
+>
+> 🎓 'Gustoća'
+>
+> Podaci koji su 'bučni' smatraju se 'gustima'. Udaljenosti između točaka u svakom od njegovih klastera mogu se pokazati, pri ispitivanju, više ili manje gustima, ili 'zbijenima', pa se ti podaci moraju analizirati odgovarajućom metodom klasteriranja. [Ovaj članak](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) pokazuje razliku između korištenja K-Means klasteriranja i HDBSCAN algoritama za istraživanje bučnog skupa podataka s nejednakom gustoćom klastera.
+
+## Algoritmi klasteriranja
+
+Postoji preko 100 algoritama klasteriranja, a njihova upotreba ovisi o prirodi podataka. Razgovarajmo o nekima od glavnih:
+
+- **Hijerarhijsko klasteriranje**. Ako se objekt klasificira prema njegovoj blizini obližnjem objektu, a ne onom udaljenijem, klasteri se formiraju na temelju udaljenosti članova od i prema drugim objektima. Scikit-learn-ovo aglomerativno klasteriranje je hijerarhijsko.
+
+ 
+ > Infografika od [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+- **Centroid klasteriranje**. Ovaj popularni algoritam zahtijeva odabir 'k', ili broja klastera koje treba formirati, nakon čega algoritam određuje središnju točku klastera i okuplja podatke oko te točke. [K-means klasteriranje](https://wikipedia.org/wiki/K-means_clustering) je popularna verzija centroid klasteriranja. Središte se određuje prema najbližem prosjeku, otuda i naziv. Kvadratna udaljenost od klastera se minimizira.
+
+ 
+ > Infografika od [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+- **Klasteriranje temeljeno na distribuciji**. Temeljeno na statističkom modeliranju, klasteriranje temeljeno na distribuciji usredotočuje se na određivanje vjerojatnosti da podatkovna točka pripada klasteru i dodjeljuje je u skladu s tim. Metode Gaussian mješavina pripadaju ovom tipu.
+
+- **Klasteriranje temeljeno na gustoći**. Podatkovne točke dodjeljuju se klasterima na temelju njihove gustoće, odnosno njihovog grupiranja jedne oko drugih. Podatkovne točke udaljene od grupe smatraju se iznimkama ili šumom. DBSCAN, Mean-shift i OPTICS pripadaju ovom tipu klasteriranja.
+
+- **Klasteriranje temeljeno na mreži**. Za višedimenzionalne skupove podataka, stvara se mreža i podaci se dijele među ćelijama mreže, čime se stvaraju klasteri.
+
+## Vježba - klasterirajte svoje podatke
+
+Klasteriranje kao tehnika uvelike se olakšava pravilnom vizualizacijom, pa krenimo s vizualizacijom naših glazbenih podataka. Ova vježba pomoći će nam odlučiti koju od metoda klasteriranja najefikasnije koristiti za prirodu ovih podataka.
+
+1. Otvorite datoteku [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) u ovoj mapi.
+
+1. Uvezite paket `Seaborn` za dobru vizualizaciju podataka.
+
+ ```python
+ !pip install seaborn
+ ```
+
+1. Dodajte podatke o pjesmama iz [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Učitajte dataframe s nekim podacima o pjesmama. Pripremite se za istraživanje ovih podataka uvozom biblioteka i ispisivanjem podataka:
+
+ ```python
+ import matplotlib.pyplot as plt
+ import pandas as pd
+
+ df = pd.read_csv("../data/nigerian-songs.csv")
+ df.head()
+ ```
+
+ Provjerite prvih nekoliko redaka podataka:
+
+ | | naziv | album | izvođač | glavni žanr izvođača | datum izlaska | duljina | popularnost | plesnost | akustičnost | energija | instrumentalnost | živost | glasnoća | govornost | tempo | vremenski potpis |
+ | --- | ------------------------ | ---------------------------- | ------------------- | -------------------- | ------------- | ------- | ----------- | ------------ | ----------- | -------- | ---------------- | -------- | -------- | ----------- | ------- | ---------------- |
+ | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternativni r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 |
+ | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 |
+| 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 |
+| 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 |
+| 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 |
+
+1. Dobijte informacije o dataframeu pozivajući `info()`:
+
+ ```python
+ df.info()
+ ```
+
+ Izlaz izgleda ovako:
+
+ ```output
+ recenzija | Pozitivna recenzija | Tagovi | +| ----------------- | --------------------- | ----------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Ovo trenutno nije hotel već gradilište. Teroriziran sam od ranog jutra i cijeli dan neprihvatljivom bukom građevinskih radova dok sam se odmarao nakon dugog puta i radio u sobi. Ljudi su radili cijeli dan, npr. s bušilicama u susjednim sobama. Zatražio sam promjenu sobe, ali nije bilo tihe sobe. Da stvar bude gora, naplaćeno mi je više nego što je trebalo. Odjavio sam se navečer jer sam morao rano na let i dobio odgovarajući račun. Dan kasnije hotel je napravio dodatnu naplatu bez mog pristanka, iznad dogovorene cijene. Strašno mjesto. Nemojte se kažnjavati rezervacijom ovdje. | Ništa. Strašno mjesto. Klonite se. | Poslovno putovanje, Par, Standardna dvokrevetna soba, Boravak 2 noći | + +Kao što možete vidjeti, ovaj gost nije imao sretan boravak u ovom hotelu. Hotel ima dobru prosječnu ocjenu od 7.8 i 1945 recenzija, ali ovaj recenzent dao je ocjenu 2.5 i napisao 115 riječi o tome koliko je njihov boravak bio negativan. Ako nisu ništa napisali u stupcu Positive_Review, mogli biste zaključiti da nije bilo ništa pozitivno, ali ipak su napisali 7 riječi upozorenja. Ako bismo samo brojali riječi umjesto značenja ili sentimenta riječi, mogli bismo imati iskrivljen pogled na namjeru recenzenta. Zanimljivo, njihova ocjena od 2.5 je zbunjujuća, jer ako je boravak u hotelu bio tako loš, zašto uopće dati bodove? Istražujući skup podataka pažljivo, vidjet ćete da je najniža moguća ocjena 2.5, a ne 0. Najviša moguća ocjena je 10. + +##### Tagovi + +Kao što je gore spomenuto, na prvi pogled ideja korištenja `Tags` za kategorizaciju podataka ima smisla. Nažalost, ovi tagovi nisu standardizirani, što znači da u određenom hotelu opcije mogu biti *Single room*, *Twin room* i *Double room*, ali u sljedećem hotelu, one su *Deluxe Single Room*, *Classic Queen Room* i *Executive King Room*. Ovo bi moglo biti isto, ali postoji toliko varijacija da izbor postaje: + +1. Pokušati promijeniti sve izraze u jedan standard, što je vrlo teško, jer nije jasno koji bi put konverzije bio u svakom slučaju (npr. *Classic single room* mapira se na *Single room*, ali *Superior Queen Room with Courtyard Garden or City View* je mnogo teže mapirati) + +1. Možemo pristupiti NLP-u i mjeriti učestalost određenih izraza poput *Solo*, *Business Traveller* ili *Family with young kids* kako se primjenjuju na svaki hotel, i to uključiti u preporuku + +Tagovi su obično (ali ne uvijek) jedno polje koje sadrži popis od 5 do 6 vrijednosti odvojenih zarezima koje se odnose na *Vrstu putovanja*, *Vrstu gostiju*, *Vrstu sobe*, *Broj noćenja* i *Vrstu uređaja na kojem je recenzija poslana*. Međutim, budući da neki recenzenti ne popunjavaju svako polje (mogu ostaviti jedno prazno), vrijednosti nisu uvijek u istom redoslijedu. + +Na primjer, uzmite *Vrstu grupe*. Postoji 1025 jedinstvenih mogućnosti u ovom polju u stupcu `Tags`, i nažalost samo neki od njih odnose se na grupu (neki su vrsta sobe itd.). Ako filtrirate samo one koji spominju obitelj, rezultati sadrže mnoge rezultate tipa *Family room*. Ako uključite izraz *with*, tj. brojite vrijednosti *Family with*, rezultati su bolji, s preko 80,000 od 515,000 rezultata koji sadrže frazu "Family with young children" ili "Family with older children". + +To znači da stupac tagova nije potpuno beskoristan za nas, ali će zahtijevati određeni rad kako bi bio koristan. + +##### Prosječna ocjena hotela + +Postoji niz neobičnosti ili neslaganja u skupu podataka koje ne mogu objasniti, ali su ovdje ilustrirane kako biste bili svjesni njih prilikom izrade svojih modela. Ako ih uspijete razjasniti, javite nam u odjeljku za raspravu! + +Skup podataka ima sljedeće stupce koji se odnose na prosječnu ocjenu i broj recenzija: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Hotel s najviše recenzija u ovom skupu podataka je *Britannia International Hotel Canary Wharf* s 4789 recenzija od ukupno 515,000. Ali ako pogledamo vrijednost `Total_Number_of_Reviews` za ovaj hotel, ona iznosi 9086. Mogli biste zaključiti da postoji mnogo više ocjena bez recenzija, pa možda trebamo dodati vrijednost stupca `Additional_Number_of_Scoring`. Ta vrijednost iznosi 2682, a dodavanjem na 4789 dobivamo 7471, što je još uvijek 1615 manje od `Total_Number_of_Reviews`. + +Ako uzmete stupac `Average_Score`, mogli biste zaključiti da je to prosjek recenzija u skupu podataka, ali opis s Kagglea je "*Prosječna ocjena hotela, izračunata na temelju najnovijeg komentara u posljednjih godinu dana*". To se ne čini korisnim, ali možemo izračunati vlastiti prosjek na temelju ocjena recenzenata u skupu podataka. Koristeći isti hotel kao primjer, prosječna ocjena hotela je navedena kao 7.1, ali izračunata ocjena (prosječna ocjena recenzenata *u* skupu podataka) je 6.8. Ovo je blizu, ali nije ista vrijednost, i možemo samo pretpostaviti da su ocjene dane u recenzijama `Additional_Number_of_Scoring` povećale prosjek na 7.1. Nažalost, bez načina da testiramo ili dokažemo tu tvrdnju, teško je koristiti ili vjerovati `Average_Score`, `Additional_Number_of_Scoring` i `Total_Number_of_Reviews` kada se temelje na podacima koje nemamo. + +Da dodatno zakompliciramo stvari, hotel s drugim najvećim brojem recenzija ima izračunatu prosječnu ocjenu od 8.12, dok je `Average_Score` u skupu podataka 8.1. Je li ova točna ocjena slučajnost ili je prvi hotel neslaganje? + +S obzirom na mogućnost da bi ovi hoteli mogli biti iznimke, i da možda većina vrijednosti odgovara (ali neke ne iz nekog razloga), sljedeće ćemo napisati kratki program za istraživanje vrijednosti u skupu podataka i određivanje ispravne upotrebe (ili neupotrebe) vrijednosti. +> 🚨 Napomena upozorenja +> +> Kada radite s ovim skupom podataka, pisat ćete kod koji izračunava nešto iz teksta bez potrebe da sami čitate ili analizirate tekst. Ovo je suština NLP-a, interpretiranje značenja ili sentimenta bez potrebe da to radi čovjek. Međutim, moguće je da ćete pročitati neke od negativnih recenzija. Preporučujem da to ne radite, jer nije potrebno. Neke od njih su glupe ili nebitne negativne recenzije hotela, poput "Vrijeme nije bilo dobro", što je izvan kontrole hotela, ili bilo koga drugog. No, postoji i mračna strana nekih recenzija. Ponekad su negativne recenzije rasističke, seksističke ili diskriminiraju na temelju dobi. To je nesretno, ali očekivano u skupu podataka prikupljenom s javne web stranice. Neki recenzenti ostavljaju recenzije koje biste mogli smatrati neukusnima, neugodnima ili uznemirujućima. Bolje je pustiti kod da izmjeri sentiment nego da ih sami čitate i uzrujate se. Ipak, manjina je onih koji pišu takve stvari, ali oni ipak postoje. +## Vježba - Istraživanje podataka +### Učitajte podatke + +Dosta je bilo vizualnog pregleda podataka, sada ćete napisati malo koda i dobiti odgovore! Ovaj dio koristi biblioteku pandas. Vaš prvi zadatak je osigurati da možete učitati i pročitati CSV podatke. Biblioteka pandas ima brz učitavač za CSV, a rezultat se smješta u dataframe, kao u prethodnim lekcijama. CSV koji učitavamo ima više od pola milijuna redaka, ali samo 17 stupaca. Pandas vam pruža mnogo moćnih načina za rad s dataframeovima, uključujući mogućnost izvođenja operacija na svakom retku. + +Od sada nadalje u ovoj lekciji, bit će isječaka koda, objašnjenja koda i rasprava o tome što rezultati znače. Koristite priloženi _notebook.ipynb_ za svoj kod. + +Počnimo s učitavanjem datoteke s podacima koju ćete koristiti: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Sada kada su podaci učitani, možemo izvoditi neke operacije na njima. Držite ovaj kod na vrhu svog programa za sljedeći dio. + +## Istražite podatke + +U ovom slučaju, podaci su već *čisti*, što znači da su spremni za rad i ne sadrže znakove na drugim jezicima koji bi mogli zbuniti algoritme koji očekuju samo engleske znakove. + +✅ Možda ćete morati raditi s podacima koji zahtijevaju početnu obradu kako bi se formatirali prije primjene NLP tehnika, ali ne ovaj put. Da morate, kako biste se nosili s ne-engleskim znakovima? + +Odvojite trenutak da osigurate da, nakon što su podaci učitani, možete ih istražiti pomoću koda. Vrlo je lako poželjeti se usredotočiti na stupce `Negative_Review` i `Positive_Review`. Oni su ispunjeni prirodnim tekstom za vaše NLP algoritme. Ali pričekajte! Prije nego što se upustite u NLP i analizu sentimenta, trebali biste slijediti kod u nastavku kako biste utvrdili odgovaraju li vrijednosti u skupu podataka vrijednostima koje izračunate pomoću pandas. + +## Operacije s dataframeovima + +Prvi zadatak u ovoj lekciji je provjeriti jesu li sljedeće tvrdnje točne pisanjem koda koji ispituje dataframe (bez mijenjanja istog). + +> Kao i kod mnogih programerskih zadataka, postoji nekoliko načina za njihovo rješavanje, ali dobar savjet je učiniti to na najjednostavniji i najlakši način, posebno ako će biti lakše razumjeti kada se vratite ovom kodu u budućnosti. Kod dataframeova postoji sveobuhvatan API koji često ima način da učinkovito postignete ono što želite. + +Tretirajte sljedeća pitanja kao zadatke kodiranja i pokušajte ih riješiti bez gledanja rješenja. + +1. Ispišite *oblik* dataframea koji ste upravo učitali (oblik je broj redaka i stupaca). +2. Izračunajte učestalost pojavljivanja nacionalnosti recenzenata: + 1. Koliko različitih vrijednosti postoji za stupac `Reviewer_Nationality` i koje su to vrijednosti? + 2. Koja je nacionalnost recenzenata najčešća u skupu podataka (ispisati državu i broj recenzija)? + 3. Koje su sljedećih 10 najčešće pronađenih nacionalnosti i njihova učestalost? +3. Koji je hotel najčešće recenziran za svaku od 10 najčešćih nacionalnosti recenzenata? +4. Koliko recenzija ima po hotelu (učestalost recenzija po hotelu) u skupu podataka? +5. Iako postoji stupac `Average_Score` za svaki hotel u skupu podataka, možete također izračunati prosječnu ocjenu (dobivanjem prosjeka svih ocjena recenzenata u skupu podataka za svaki hotel). Dodajte novi stupac u svoj dataframe s naslovom stupca `Calc_Average_Score` koji sadrži taj izračunati prosjek. +6. Imaju li neki hoteli iste (zaokružene na jednu decimalu) vrijednosti `Average_Score` i `Calc_Average_Score`? + 1. Pokušajte napisati Python funkciju koja uzima Series (redak) kao argument i uspoređuje vrijednosti, ispisujući poruku kada vrijednosti nisu jednake. Zatim koristite metodu `.apply()` za obradu svakog retka pomoću funkcije. +7. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Negative_Review` kao "No Negative". +8. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Positive_Review` kao "No Positive". +9. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Positive_Review` kao "No Positive" **i** `Negative_Review` kao "No Negative". + +### Odgovori u kodu + +1. Ispišite *oblik* dataframea koji ste upravo učitali (oblik je broj redaka i stupaca). + + ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` + +2. Izračunajte učestalost pojavljivanja nacionalnosti recenzenata: + + 1. Koliko različitih vrijednosti postoji za stupac `Reviewer_Nationality` i koje su to vrijednosti? + 2. Koja je nacionalnost recenzenata najčešća u skupu podataka (ispisati državu i broj recenzija)? + + ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` + + 3. Koje su sljedećih 10 najčešće pronađenih nacionalnosti i njihova učestalost? + + ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` + +3. Koji je hotel najčešće recenziran za svaku od 10 najčešćih nacionalnosti recenzenata? + + ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` + +4. Koliko recenzija ima po hotelu (učestalost recenzija po hotelu) u skupu podataka? + + ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` + | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | + | :----------------------------------------: | :---------------------: | :-----------------: | + | Britannia International Hotel Canary Wharf | 9086 | 4789 | + | Park Plaza Westminster Bridge London | 12158 | 4169 | + | Copthorne Tara Hotel London Kensington | 7105 | 3578 | + | ... | ... | ... | + | Mercure Paris Porte d Orleans | 110 | 10 | + | Hotel Wagner | 135 | 10 | + | Hotel Gallitzinberg | 173 | 8 | + + Možda ćete primijetiti da se *broj recenzija u skupu podataka* ne podudara s vrijednošću u `Total_Number_of_Reviews`. Nije jasno predstavlja li ova vrijednost ukupan broj recenzija koje je hotel imao, ali nisu sve prikupljene, ili neki drugi izračun. `Total_Number_of_Reviews` se ne koristi u modelu zbog ove nejasnoće. + +5. Iako postoji stupac `Average_Score` za svaki hotel u skupu podataka, možete također izračunati prosječnu ocjenu (dobivanjem prosjeka svih ocjena recenzenata u skupu podataka za svaki hotel). Dodajte novi stupac u svoj dataframe s naslovom stupca `Calc_Average_Score` koji sadrži taj izračunati prosjek. Ispišite stupce `Hotel_Name`, `Average_Score` i `Calc_Average_Score`. + + ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` + + Možda ćete se zapitati o vrijednosti `Average_Score` i zašto je ponekad različita od izračunate prosječne ocjene. Kako ne možemo znati zašto se neke vrijednosti podudaraju, a druge imaju razliku, najsigurnije je u ovom slučaju koristiti ocjene recenzenata koje imamo za izračun prosjeka. Ipak, razlike su obično vrlo male, evo hotela s najvećim odstupanjem između prosječne ocjene iz skupa podataka i izračunate prosječne ocjene: + + | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | + | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | + | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | + | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | + | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | + | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | + | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | + | ... | ... | ... | ... | + | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | + | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | + | 0.9 | 6.8 | 5.9 | Villa Eugenie | + | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | + | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | + + S obzirom na to da samo 1 hotel ima razliku u ocjeni veću od 1, to znači da vjerojatno možemo zanemariti razliku i koristiti izračunatu prosječnu ocjenu. + +6. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Negative_Review` kao "No Negative". + +7. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Positive_Review` kao "No Positive". + +8. Izračunajte i ispišite koliko redaka ima vrijednosti stupca `Positive_Review` kao "No Positive" **i** `Negative_Review` kao "No Negative". + + ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` + +## Drugi način + +Drugi način brojanja stavki bez Lambdi, koristeći sum za brojanje redaka: + + ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` + + Možda ste primijetili da postoji 127 redaka koji imaju i "No Negative" i "No Positive" vrijednosti za stupce `Negative_Review` i `Positive_Review`. To znači da je recenzent dao hotelu numeričku ocjenu, ali je odbio napisati pozitivnu ili negativnu recenziju. Srećom, ovo je mali broj redaka (127 od 515738, ili 0,02%), tako da vjerojatno neće utjecati na naš model ili rezultate u bilo kojem smjeru, ali možda niste očekivali da skup podataka sadrži retke bez recenzija, pa vrijedi istražiti podatke kako biste otkrili takve retke. + +Sada kada ste istražili skup podataka, u sljedećoj lekciji filtrirat ćete podatke i dodati analizu sentimenta. + +--- +## 🚀Izazov + +Ova lekcija pokazuje, kao što smo vidjeli u prethodnim lekcijama, koliko je kritično važno razumjeti svoje podatke i njihove specifičnosti prije izvođenja operacija na njima. Tekstualni podaci, posebno, zahtijevaju pažljivo ispitivanje. Pregledajte različite skupove podataka bogate tekstom i provjerite možete li otkriti područja koja bi mogla unijeti pristranost ili iskrivljeni sentiment u model. + +## [Post-lecture kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled i samostalno učenje + +Prođite [ovaj put učenja o NLP-u](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) kako biste otkrili alate koje možete isprobati prilikom izrade modela temeljenih na govoru i tekstu. + +## Zadatak + +[NLTK](assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/hr/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 00000000..2be299cd --- /dev/null +++ b/translations/hr/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,19 @@ + +# NLTK + +## Upute + +NLTK je poznata biblioteka za primjenu u računalnoj lingvistici i obradi prirodnog jezika. Iskoristite ovu priliku da pročitate '[NLTK knjigu](https://www.nltk.org/book/)' i isprobate njezine vježbe. U ovom zadatku bez ocjenjivanja, bolje ćete upoznati ovu biblioteku. + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 00000000..29745132 --- /dev/null +++ b/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 00000000..84cb9812 --- /dev/null +++ b/translations/hr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,15 @@ + +ovo je privremeni rezervirani prostor + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/5-Hotel-Reviews-2/README.md b/translations/hr/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 00000000..a2510d3c --- /dev/null +++ b/translations/hr/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,389 @@ + +# Analiza sentimenta s recenzijama hotela + +Sada kada ste detaljno istražili skup podataka, vrijeme je da filtrirate stupce i primijenite NLP tehnike na skup podataka kako biste dobili nove uvide o hotelima. + +## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/) + +### Operacije filtriranja i analize sentimenta + +Kao što ste vjerojatno primijetili, skup podataka ima nekoliko problema. Neki stupci sadrže beskorisne informacije, dok se drugi čine netočnima. Ako su točni, nije jasno kako su izračunati, a odgovore ne možete neovisno provjeriti vlastitim izračunima. + +## Vježba: malo više obrade podataka + +Očistite podatke još malo. Dodajte stupce koji će biti korisni kasnije, promijenite vrijednosti u drugim stupcima i potpuno uklonite određene stupce. + +1. Početna obrada stupaca + + 1. Uklonite `lat` i `lng` + + 2. Zamijenite vrijednosti u `Hotel_Address` sljedećim vrijednostima (ako adresa sadrži ime grada i države, promijenite je tako da ostanu samo grad i država). + + Ovo su jedini gradovi i države u skupu podataka: + + Amsterdam, Nizozemska + + Barcelona, Španjolska + + London, Ujedinjeno Kraljevstvo + + Milano, Italija + + Pariz, Francuska + + Beč, Austrija + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Sada možete upitima dohvatiti podatke na razini države: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Obrada stupaca meta-recenzija hotela + + 1. Uklonite `Additional_Number_of_Scoring` + + 2. Zamijenite `Total_Number_of_Reviews` ukupnim brojem recenzija za taj hotel koje su stvarno prisutne u skupu podataka + + 3. Zamijenite `Average_Score` vlastitim izračunatim prosjekom + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Obrada stupaca recenzija + + 1. Uklonite `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` i `days_since_review` + + 2. Zadržite `Reviewer_Score`, `Negative_Review` i `Positive_Review` kakvi jesu + + 3. Zadržite `Tags` za sada + + - U sljedećem dijelu ćemo provesti dodatne operacije filtriranja na oznakama, a zatim će oznake biti uklonjene + +4. Obrada stupaca recenzenta + + 1. Uklonite `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Zadržite `Reviewer_Nationality` + +### Stupac oznaka + +Stupac `Tag` je problematičan jer je popis (u tekstualnom obliku) pohranjen u stupcu. Nažalost, redoslijed i broj podsekcija u ovom stupcu nisu uvijek isti. Teško je ljudima identificirati točne fraze koje bi ih mogle zanimati, jer postoji 515.000 redaka i 1427 hotela, a svaki ima malo drugačije opcije koje recenzent može odabrati. Tu dolazi NLP do izražaja. Možete skenirati tekst i pronaći najčešće fraze te ih prebrojati. + +Nažalost, ne zanima nas pojedinačne riječi, već višerječne fraze (npr. *Poslovno putovanje*). Pokretanje algoritma za distribuciju frekvencije višerječnih fraza na tolikoj količini podataka (6762646 riječi) moglo bi potrajati iznimno dugo, ali bez pregleda podataka čini se da je to nužan trošak. Tu dolazi do izražaja istraživačka analiza podataka, jer ste vidjeli uzorak oznaka poput `[' Poslovno putovanje ', ' Solo putnik ', ' Jednokrevetna soba ', ' Boravak od 5 noći ', ' Poslano s mobilnog uređaja ']`, možete početi postavljati pitanje je li moguće značajno smanjiti obradu koju morate obaviti. Srećom, jest - ali prvo morate slijediti nekoliko koraka kako biste utvrdili oznake od interesa. + +### Filtriranje oznaka + +Zapamtite da je cilj skupa podataka dodati sentiment i stupce koji će vam pomoći odabrati najbolji hotel (za sebe ili možda za klijenta koji od vas traži da napravite bot za preporuku hotela). Morate se zapitati jesu li oznake korisne ili ne u konačnom skupu podataka. Evo jedne interpretacije (ako vam je skup podataka potreban iz drugih razloga, različite oznake bi mogle ostati/izaći iz odabira): + +1. Vrsta putovanja je relevantna i treba ostati +2. Vrsta grupe gostiju je važna i treba ostati +3. Vrsta sobe, apartmana ili studija u kojem je gost boravio nije relevantna (svi hoteli imaju otprilike iste sobe) +4. Uređaj s kojeg je recenzija poslana nije relevantan +5. Broj noći koje je recenzent boravio *mogao bi* biti relevantan ako dulji boravak povežete s većim zadovoljstvom hotelom, ali to je upitno i vjerojatno nije relevantno + +Ukratko, **zadržite 2 vrste oznaka i uklonite ostale**. + +Prvo, ne želite brojati oznake dok nisu u boljem formatu, što znači uklanjanje uglatih zagrada i navodnika. To možete učiniti na nekoliko načina, ali želite najbrži jer bi obrada velike količine podataka mogla potrajati dugo. Srećom, pandas ima jednostavan način za svaki od ovih koraka. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Svaka oznaka postaje nešto poput: `Poslovno putovanje, Solo putnik, Jednokrevetna soba, Boravak od 5 noći, Poslano s mobilnog uređaja`. + +Zatim nailazimo na problem. Neke recenzije ili redci imaju 5 stupaca, neke 3, neke 6. To je rezultat načina na koji je skup podataka stvoren i teško ga je popraviti. Želite dobiti frekvencijski broj svake fraze, ali one su u različitom redoslijedu u svakoj recenziji, pa brojanje može biti netočno, a hotel možda neće dobiti oznaku koja mu pripada. + +Umjesto toga, iskoristit ćete različit redoslijed u svoju korist, jer je svaka oznaka višerječna, ali također odvojena zarezom! Najjednostavniji način za to je stvaranje 6 privremenih stupaca, pri čemu se svaka oznaka umetne u stupac koji odgovara njezinom redoslijedu u oznaci. Zatim možete spojiti tih 6 stupaca u jedan veliki stupac i pokrenuti metodu `value_counts()` na rezultirajućem stupcu. Kada to ispišete, vidjet ćete da je bilo 2428 jedinstvenih oznaka. Evo malog uzorka: + +| Oznaka | Broj | +| ------------------------------- | ------ | +| Rekreacijsko putovanje | 417778 | +| Poslano s mobilnog uređaja | 307640 | +| Par | 252294 | +| Boravak od 1 noći | 193645 | +| Boravak od 2 noći | 133937 | +| Solo putnik | 108545 | +| Boravak od 3 noći | 95821 | +| Poslovno putovanje | 82939 | +| Grupa | 65392 | +| Obitelj s malom djecom | 61015 | +| Boravak od 4 noći | 47817 | +| Dvokrevetna soba | 35207 | +| Standardna dvokrevetna soba | 32248 | +| Superior dvokrevetna soba | 31393 | +| Obitelj sa starijom djecom | 26349 | +| Deluxe dvokrevetna soba | 24823 | +| Dvokrevetna ili twin soba | 22393 | +| Boravak od 5 noći | 20845 | +| Standardna dvokrevetna ili twin | 17483 | +| Klasična dvokrevetna soba | 16989 | +| Superior dvokrevetna ili twin | 13570 | +| 2 sobe | 12393 | + +Neke od uobičajenih oznaka poput `Poslano s mobilnog uređaja` nisu nam korisne, pa bi bilo pametno ukloniti ih prije brojanja pojavljivanja fraza, ali to je tako brza operacija da ih možete ostaviti i ignorirati. + +### Uklanjanje oznaka duljine boravka + +Uklanjanje ovih oznaka je prvi korak, što malo smanjuje ukupan broj oznaka koje treba razmotriti. Napominjemo da ih ne uklanjate iz skupa podataka, već ih samo odlučujete ukloniti iz razmatranja kao vrijednosti koje treba brojati/zadržati u skupu podataka recenzija. + +| Duljina boravka | Broj | +| --------------- | ------ | +| Boravak od 1 noći | 193645 | +| Boravak od 2 noći | 133937 | +| Boravak od 3 noći | 95821 | +| Boravak od 4 noći | 47817 | +| Boravak od 5 noći | 20845 | +| Boravak od 6 noći | 9776 | +| Boravak od 7 noći | 7399 | +| Boravak od 8 noći | 2502 | +| Boravak od 9 noći | 1293 | +| ... | ... | + +Postoji veliki broj soba, apartmana, studija, stanova i tako dalje. Svi oni znače otprilike isto i nisu relevantni za vas, pa ih uklonite iz razmatranja. + +| Vrsta sobe | Broj | +| --------------------------- | ----- | +| Dvokrevetna soba | 35207 | +| Standardna dvokrevetna soba | 32248 | +| Superior dvokrevetna soba | 31393 | +| Deluxe dvokrevetna soba | 24823 | +| Dvokrevetna ili twin soba | 22393 | +| Standardna dvokrevetna ili twin | 17483 | +| Klasična dvokrevetna soba | 16989 | +| Superior dvokrevetna ili twin | 13570 | + +Na kraju, i ovo je sjajno (jer nije zahtijevalo puno obrade), ostat ćete s sljedećim *korisnim* oznakama: + +| Oznaka | Broj | +| ------------------------------------------- | ------ | +| Rekreacijsko putovanje | 417778 | +| Par | 252294 | +| Solo putnik | 108545 | +| Poslovno putovanje | 82939 | +| Grupa (kombinirano s Putnici s prijateljima)| 67535 | +| Obitelj s malom djecom | 61015 | +| Obitelj sa starijom djecom | 26349 | +| S kućnim ljubimcem | 1405 | + +Možete tvrditi da je `Putnici s prijateljima` isto što i `Grupa` više-manje, i bilo bi pošteno kombinirati te dvije oznake kao gore. Kod za identifikaciju ispravnih oznaka nalazi se u [bilježnici s oznakama](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +Završni korak je stvaranje novih stupaca za svaku od ovih oznaka. Zatim, za svaki red recenzije, ako stupac `Tag` odgovara jednom od novih stupaca, dodajte 1, ako ne, dodajte 0. Krajnji rezultat bit će broj koliko je recenzenata odabralo ovaj hotel (u zbiru) za, recimo, poslovno naspram rekreacijskog putovanja, ili za dolazak s kućnim ljubimcem, i to su korisne informacije pri preporuci hotela. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Spremite datoteku + +Na kraju, spremite skup podataka kakav je sada s novim imenom. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Operacije analize sentimenta + +U ovom završnom dijelu primijenit ćete analizu sentimenta na stupce recenzija i spremiti rezultate u skup podataka. + +## Vježba: učitajte i spremite filtrirane podatke + +Napominjemo da sada učitavate filtrirani skup podataka koji je spremljen u prethodnom dijelu, **ne** originalni skup podataka. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Uklanjanje stop riječi + +Ako biste pokrenuli analizu sentimenta na stupcima negativnih i pozitivnih recenzija, to bi moglo potrajati dugo. Testirano na snažnom testnom prijenosnom računalu s brzim CPU-om, trajalo je 12 - 14 minuta ovisno o tome koja je biblioteka za analizu sentimenta korištena. To je (relativno) dugo vrijeme, pa vrijedi istražiti može li se ubrzati. + +Uklanjanje stop riječi, odnosno uobičajenih engleskih riječi koje ne mijenjaju sentiment rečenice, prvi je korak. Uklanjanjem tih riječi analiza sentimenta trebala bi se brže izvršiti, ali ne biti manje točna (jer stop riječi ne utječu na sentiment, ali usporavaju analizu). + +Najduža negativna recenzija imala je 395 riječi, ali nakon uklanjanja stop riječi, ima 195 riječi. + +Uklanjanje stop riječi također je brza operacija, uklanjanje stop riječi iz 2 stupca recenzija preko 515.000 redaka trajalo je 3,3 sekunde na testnom uređaju. Može potrajati malo više ili manje vremena ovisno o brzini vašeg CPU-a, RAM-u, imate li SSD ili ne, i nekim drugim čimbenicima. Relativna kratkoća operacije znači da, ako poboljšava vrijeme analize sentimenta, vrijedi je provesti. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Provođenje analize sentimenta + +Sada biste trebali izračunati analizu sentimenta za stupce negativnih i pozitivnih recenzija te spremiti rezultat u 2 nova stupca. Test sentimenta bit će usporedba s ocjenom recenzenta za istu recenziju. Na primjer, ako sentiment pokazuje da negativna recenzija ima sentiment 1 (iznimno pozitivan sentiment) i sentiment pozitivne recenzije također 1, ali recenzent je hotelu dao najnižu moguću ocjenu, tada tekst recenzije ne odgovara ocjeni ili analizator sentimenta nije mogao ispravno prepoznati sentiment. Trebali biste očekivati da će neki rezultati sentimenta biti potpuno pogrešni, a često će to biti objašnjivo, npr. recenzija bi mogla biti iznimno sarkastična "Naravno da sam OBOŽAVAO spavati u sobi bez grijanja" i analizator sentimenta misli da je to pozitivan sentiment, iako bi čovjek koji to čita znao da je to sarkazam. +NLTK nudi različite analizatore sentimenta za učenje, a možete ih zamijeniti i provjeriti je li sentiment precizniji ili manje precizan. Ovdje se koristi VADER analiza sentimenta. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, lipanj 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Kasnije u programu, kada budete spremni za izračunavanje sentimenta, možete ga primijeniti na svaku recenziju na sljedeći način: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Ovo traje otprilike 120 sekundi na mom računalu, ali vrijeme će varirati ovisno o računalu. Ako želite ispisati rezultate i provjeriti odgovara li sentiment recenziji: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Posljednja stvar koju trebate učiniti s datotekom prije nego što je upotrijebite u izazovu jest spremiti je! Također biste trebali razmisliti o preuređivanju svih novih stupaca kako bi bili lakši za rad (za čovjeka, to je kozmetička promjena). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Trebali biste pokrenuti cijeli kod za [bilježnicu analize](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (nakon što ste pokrenuli [bilježnicu za filtriranje](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) kako biste generirali datoteku Hotel_Reviews_Filtered.csv). + +Za pregled, koraci su: + +1. Izvorna datoteka **Hotel_Reviews.csv** istražena je u prethodnoj lekciji pomoću [bilježnice za istraživanje](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv filtriran je pomoću [bilježnice za filtriranje](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), što rezultira datotekom **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv obrađen je pomoću [bilježnice za analizu sentimenta](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb), što rezultira datotekom **Hotel_Reviews_NLP.csv** +4. Koristite Hotel_Reviews_NLP.csv u NLP izazovu u nastavku + +### Zaključak + +Kada ste započeli, imali ste skup podataka sa stupcima i podacima, ali ne sve od njih mogli ste provjeriti ili koristiti. Istražili ste podatke, filtrirali ono što vam nije potrebno, pretvorili oznake u nešto korisno, izračunali vlastite prosjeke, dodali stupce sentimenta i, nadamo se, naučili nešto zanimljivo o obradi prirodnog teksta. + +## [Kviz nakon predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Izazov + +Sada kada ste analizirali svoj skup podataka za sentiment, pokušajte koristiti strategije koje ste naučili u ovom kurikulumu (možda klasteriranje?) kako biste odredili obrasce vezane uz sentiment. + +## Pregled i samostalno učenje + +Proučite [ovaj modul na Learn platformi](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) kako biste saznali više i koristili različite alate za istraživanje sentimenta u tekstu. + +## Zadatak + +[Isprobajte drugi skup podataka](assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prijevod [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/hr/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 00000000..0b6f6dd0 --- /dev/null +++ b/translations/hr/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,25 @@ + +# Isprobajte drugi skup podataka + +## Upute + +Sada kada ste naučili kako koristiti NLTK za dodjelu sentimenta tekstu, isprobajte drugi skup podataka. Vjerojatno ćete trebati obraditi podatke, pa kreirajte bilježnicu i dokumentirajte svoj proces razmišljanja. Što otkrivate? + +## Rubrika + +| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje | +| -------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | Predstavljena je kompletna bilježnica i skup podataka s dobro dokumentiranim ćelijama koje objašnjavaju kako se sentiment dodjeljuje | Bilježnica nedostaje dobrih objašnjenja | Bilježnica je manjkava | + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden koristeći AI uslugu za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 00000000..69cb5c58 --- /dev/null +++ b/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 00000000..f3aa2c19 --- /dev/null +++ b/translations/hr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,15 @@ + +ovo je privremeni rezervirani prostor + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/README.md b/translations/hr/6-NLP/README.md new file mode 100644 index 00000000..b51274bc --- /dev/null +++ b/translations/hr/6-NLP/README.md @@ -0,0 +1,38 @@ + +# Početak rada s obradom prirodnog jezika + +Obrada prirodnog jezika (NLP) je sposobnost računalnog programa da razumije ljudski jezik onako kako se govori i piše – poznat kao prirodni jezik. To je komponenta umjetne inteligencije (AI). NLP postoji više od 50 godina i ima korijene u području lingvistike. Cijelo područje usmjereno je na pomoć strojevima da razumiju i obrađuju ljudski jezik. To se zatim može koristiti za obavljanje zadataka poput provjere pravopisa ili strojne prijevode. Ima razne primjene u stvarnom svijetu u brojnim područjima, uključujući medicinska istraživanja, tražilice i poslovnu inteligenciju. + +## Regionalna tema: Europski jezici i književnost te romantični hoteli Europe ❤️ + +U ovom dijelu kurikuluma bit ćete upoznati s jednom od najraširenijih primjena strojnog učenja: obradom prirodnog jezika (NLP). Proizašla iz računalne lingvistike, ova kategorija umjetne inteligencije predstavlja most između ljudi i strojeva putem glasovne ili tekstualne komunikacije. + +U ovim lekcijama naučit ćemo osnove NLP-a izradom malih razgovornih botova kako bismo razumjeli kako strojno učenje pomaže da ti razgovori postanu sve 'pametniji'. Vratit ćete se u prošlost, razgovarajući s Elizabeth Bennett i gospodinom Darcyjem iz klasičnog romana Jane Austen, **Ponos i predrasude**, objavljenog 1813. godine. Zatim ćete proširiti svoje znanje učeći o analizi sentimenta putem recenzija hotela u Europi. + + +> Fotografija: Elaine Howlin na Unsplash + +## Lekcije + +1. [Uvod u obradu prirodnog jezika](1-Introduction-to-NLP/README.md) +2. [Uobičajeni zadaci i tehnike NLP-a](2-Tasks/README.md) +3. [Prijevod i analiza sentimenta pomoću strojnog učenja](3-Translation-Sentiment/README.md) +4. [Priprema vaših podataka](4-Hotel-Reviews-1/README.md) +5. [NLTK za analizu sentimenta](5-Hotel-Reviews-2/README.md) + +## Zasluge + +Ove lekcije o obradi prirodnog jezika napisane su uz ☕ od strane [Stephen Howell](https://twitter.com/Howell_MSFT) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane čovjeka. Ne preuzimamo odgovornost za nesporazume ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/6-NLP/data/README.md b/translations/hr/6-NLP/data/README.md new file mode 100644 index 00000000..38ad4855 --- /dev/null +++ b/translations/hr/6-NLP/data/README.md @@ -0,0 +1,15 @@ + +Preuzmite podatke o recenzijama hotela u ovu mapu. + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/1-Introduction/README.md b/translations/hr/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 00000000..4b52b69e --- /dev/null +++ b/translations/hr/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,199 @@ + +# Uvod u predviđanje vremenskih serija + + + +> Sketchnote od [Tomomi Imura](https://www.twitter.com/girlie_mac) + +U ovoj lekciji i sljedećoj, naučit ćete nešto o predviđanju vremenskih serija, zanimljivom i vrijednom dijelu repertoara ML znanstvenika koji je nešto manje poznat od drugih tema. Predviđanje vremenskih serija je poput 'kristalne kugle': na temelju prošlih performansi varijable, poput cijene, možete predvidjeti njezinu buduću potencijalnu vrijednost. + +[](https://youtu.be/cBojo1hsHiI "Uvod u predviđanje vremenskih serija") + +> 🎥 Kliknite na sliku iznad za video o predviđanju vremenskih serija + +## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/) + +To je korisno i zanimljivo područje s pravom vrijednošću za poslovanje, s obzirom na njegovu izravnu primjenu na probleme cijena, inventara i pitanja opskrbnog lanca. Iako su tehnike dubokog učenja počele pružati više uvida za bolje predviđanje budućih performansi, predviđanje vremenskih serija ostaje područje koje se uvelike oslanja na klasične ML tehnike. + +> Korisni kurikulum o vremenskim serijama sa Sveučilišta Penn State možete pronaći [ovdje](https://online.stat.psu.edu/stat510/lesson/1) + +## Uvod + +Pretpostavimo da održavate niz pametnih parkirnih mjerača koji pružaju podatke o tome koliko često se koriste i koliko dugo tijekom vremena. + +> Što ako biste mogli predvidjeti, na temelju prošlih performansi mjerača, njegovu buduću vrijednost prema zakonima ponude i potražnje? + +Točno predviđanje kada djelovati kako biste postigli svoj cilj izazov je koji se može riješiti predviđanjem vremenskih serija. Ne bi bilo popularno naplaćivati više u prometnim vremenima kada ljudi traže parkirno mjesto, ali to bi bio siguran način za generiranje prihoda za čišćenje ulica! + +Istražimo neke vrste algoritama vremenskih serija i započnimo rad u bilježnici kako bismo očistili i pripremili podatke. Podaci koje ćete analizirati preuzeti su iz natjecanja za predviđanje GEFCom2014. Sastoje se od 3 godine satnih vrijednosti potrošnje električne energije i temperature između 2012. i 2014. Na temelju povijesnih obrazaca potrošnje električne energije i temperature, možete predvidjeti buduće vrijednosti potrošnje električne energije. + +U ovom primjeru naučit ćete kako predvidjeti jedan korak unaprijed, koristeći samo povijesne podatke o potrošnji. Međutim, prije nego što započnete, korisno je razumjeti što se događa iza kulisa. + +## Neke definicije + +Kada naiđete na pojam 'vremenske serije', trebate razumjeti njegovu upotrebu u nekoliko različitih konteksta. + +🎓 **Vremenske serije** + +U matematici, "vremenska serija je niz podatkovnih točaka indeksiranih (ili navedenih ili grafički prikazanih) u vremenskom redoslijedu. Najčešće, vremenska serija je sekvenca uzeta u sukcesivnim jednako razmaknutim vremenskim točkama." Primjer vremenske serije je dnevna završna vrijednost [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). Upotreba grafova vremenskih serija i statističkog modeliranja često se susreće u obradi signala, prognozi vremena, predviđanju potresa i drugim područjima gdje se događaji odvijaju i podatkovne točke mogu biti prikazane tijekom vremena. + +🎓 **Analiza vremenskih serija** + +Analiza vremenskih serija odnosi se na analizu gore spomenutih podataka vremenskih serija. Podaci vremenskih serija mogu imati različite oblike, uključujući 'prekinute vremenske serije' koje otkrivaju obrasce u evoluciji vremenske serije prije i nakon prekidnog događaja. Vrsta analize potrebna za vremensku seriju ovisi o prirodi podataka. Sami podaci vremenskih serija mogu biti niz brojeva ili znakova. + +Analiza se provodi koristeći razne metode, uključujući frekvencijsku domenu i vremensku domenu, linearne i nelinearne metode i druge. [Saznajte više](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) o mnogim načinima analize ove vrste podataka. + +🎓 **Predviđanje vremenskih serija** + +Predviđanje vremenskih serija je upotreba modela za predviđanje budućih vrijednosti na temelju obrazaca prikazanih prethodno prikupljenim podacima kako su se događali u prošlosti. Iako je moguće koristiti regresijske modele za istraživanje podataka vremenskih serija, s vremenskim indeksima kao x varijablama na grafu, takvi podaci najbolje se analiziraju pomoću posebnih vrsta modela. + +Podaci vremenskih serija su popis uređenih opažanja, za razliku od podataka koji se mogu analizirati linearnom regresijom. Najčešći model je ARIMA, akronim koji označava "Autoregresivni Integrirani Pokretni Prosjek". + +[ARIMA modeli](https://online.stat.psu.edu/stat510/lesson/1/1.1) "povezuju trenutnu vrijednost serije s prošlim vrijednostima i prošlim pogreškama predviđanja." Najprikladniji su za analizu podataka vremenske domene, gdje su podaci poredani tijekom vremena. + +> Postoji nekoliko vrsta ARIMA modela, o kojima možete saznati [ovdje](https://people.duke.edu/~rnau/411arim.htm) i koje ćete obraditi u sljedećoj lekciji. + +U sljedećoj lekciji izgradit ćete ARIMA model koristeći [Univarijantne Vremenske Serije](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), koje se fokusiraju na jednu varijablu koja mijenja svoju vrijednost tijekom vremena. Primjer ove vrste podataka je [ovaj skup podataka](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) koji bilježi mjesečnu koncentraciju CO2 na opservatoriju Mauna Loa: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Identificirajte varijablu koja se mijenja tijekom vremena u ovom skupu podataka. + +## Karakteristike podataka vremenskih serija koje treba uzeti u obzir + +Kada promatrate podatke vremenskih serija, možda ćete primijetiti da imaju [određene karakteristike](https://online.stat.psu.edu/stat510/lesson/1/1.1) koje trebate uzeti u obzir i ublažiti kako biste bolje razumjeli njihove obrasce. Ako smatrate da podaci vremenskih serija potencijalno pružaju 'signal' koji želite analizirati, ove karakteristike mogu se smatrati 'šumom'. Često ćete morati smanjiti taj 'šum' koristeći neke statističke tehnike. + +Evo nekoliko pojmova koje biste trebali znati kako biste mogli raditi s vremenskim serijama: + +🎓 **Trendovi** + +Trendovi su definirani kao mjerljiva povećanja i smanjenja tijekom vremena. [Pročitajte više](https://machinelearningmastery.com/time-series-trends-in-python). U kontekstu vremenskih serija, radi se o tome kako koristiti i, ako je potrebno, ukloniti trendove iz vremenskih serija. + +🎓 **[Sezonalnost](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Sezonalnost je definirana kao periodične fluktuacije, poput blagdanskih navala koje mogu utjecati na prodaju, na primjer. [Pogledajte](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm) kako različite vrste grafova prikazuju sezonalnost u podacima. + +🎓 **Izvanredne vrijednosti** + +Izvanredne vrijednosti su daleko od standardne varijance podataka. + +🎓 **Dugoročni ciklus** + +Neovisno o sezonalnosti, podaci mogu pokazivati dugoročni ciklus, poput ekonomskog pada koji traje dulje od godine dana. + +🎓 **Konstantna varijanca** + +Tijekom vremena, neki podaci pokazuju konstantne fluktuacije, poput potrošnje energije po danu i noći. + +🎓 **Nagla promjena** + +Podaci mogu pokazivati naglu promjenu koja može zahtijevati daljnju analizu. Naglo zatvaranje poslovanja zbog COVID-a, na primjer, uzrokovalo je promjene u podacima. + +✅ Ovdje je [primjer grafičkog prikaza vremenskih serija](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) koji prikazuje dnevnu potrošnju valute u igri tijekom nekoliko godina. Možete li identificirati neke od gore navedenih karakteristika u ovim podacima? + + + +## Vježba - početak rada s podacima o potrošnji energije + +Započnimo stvaranje modela vremenskih serija za predviđanje buduće potrošnje energije na temelju prošle potrošnje. + +> Podaci u ovom primjeru preuzeti su iz natjecanja za predviđanje GEFCom2014. Sastoje se od 3 godine satnih vrijednosti potrošnje električne energije i temperature između 2012. i 2014. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli i Rob J. Hyndman, "Probabilističko energetsko predviđanje: Globalno natjecanje za energetsko predviđanje 2014 i dalje", International Journal of Forecasting, vol.32, no.3, str. 896-913, srpanj-rujan, 2016. + +1. U mapi `working` ove lekcije, otvorite datoteku _notebook.ipynb_. Započnite dodavanjem biblioteka koje će vam pomoći učitati i vizualizirati podatke. + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Napomena, koristite datoteke iz uključene mape `common` koje postavljaju vaše okruženje i upravljaju preuzimanjem podataka. + +2. Zatim, pregledajte podatke kao dataframe pozivajući `load_data()` i `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Možete vidjeti da postoje dva stupca koji predstavljaju datum i potrošnju: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Sada, grafički prikažite podatke pozivajući `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Sada, grafički prikažite prvi tjedan srpnja 2014., pružajući ga kao ulaz u `energy` u obrascu `[od datuma]: [do datuma]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Prekrasan graf! Pogledajte ove grafove i pokušajte odrediti neke od gore navedenih karakteristika. Što možemo zaključiti vizualizacijom podataka? + +U sljedećoj lekciji, izradit ćete ARIMA model za stvaranje nekih predviđanja. + +--- + +## 🚀Izazov + +Napravite popis svih industrija i područja istraživanja koja bi mogla imati koristi od predviđanja vremenskih serija. Možete li smisliti primjenu ovih tehnika u umjetnosti? U ekonometriji? Ekologiji? Maloprodaji? Industriji? Financijama? Gdje još? + +## [Kviz nakon predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled i samostalno učenje + +Iako ih ovdje nećemo obraditi, neuronske mreže ponekad se koriste za poboljšanje klasičnih metoda predviđanja vremenskih serija. Pročitajte više o njima [u ovom članku](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Zadatak + +[Vizualizirajte još vremenskih serija](assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/1-Introduction/assignment.md b/translations/hr/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 00000000..96d59ae9 --- /dev/null +++ b/translations/hr/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Vizualizirajte još nekoliko vremenskih serija + +## Upute + +Počeli ste učiti o predviđanju vremenskih serija proučavajući vrstu podataka koja zahtijeva ovo posebno modeliranje. Vizualizirali ste neke podatke vezane uz energiju. Sada potražite neke druge podatke koji bi mogli imati koristi od predviđanja vremenskih serija. Pronađite tri primjera (isprobajte [Kaggle](https://kaggle.com) i [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) i izradite bilježnicu za njihovu vizualizaciju. Zabilježite sve posebne karakteristike koje imaju (sezonalnost, nagle promjene ili drugi trendovi) u bilježnici. + +## Rubrika + +| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje | +| -------- | ----------------------------------------------------- | --------------------------------------------------- | ----------------------------------------------------------------------------------------- | +| | Tri skupa podataka su prikazana i objašnjena u bilježnici | Dva skupa podataka su prikazana i objašnjena u bilježnici | Malo skupova podataka je prikazano ili objašnjeno u bilježnici ili su prikazani podaci nedostatni | + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane ljudskog prevoditelja. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/hr/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..9bc43278 --- /dev/null +++ b/translations/hr/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane ljudskog prevoditelja. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije koje proizlaze iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/hr/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 00000000..0595ab0f --- /dev/null +++ b/translations/hr/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,15 @@ + +ovo je privremeni rezervirani prostor + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane čovjeka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/2-ARIMA/README.md b/translations/hr/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 00000000..125e995a --- /dev/null +++ b/translations/hr/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,405 @@ + +# Prognoza vremenskih serija s ARIMA + +U prethodnoj lekciji naučili ste nešto o prognozi vremenskih serija i učitali skup podataka koji prikazuje fluktuacije električnog opterećenja tijekom određenog vremenskog razdoblja. + +[](https://youtu.be/IUSk-YDau10 "Uvod u ARIMA") + +> 🎥 Kliknite na sliku iznad za video: Kratak uvod u ARIMA modele. Primjer je napravljen u R-u, ali koncepti su univerzalni. + +## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +U ovoj lekciji otkrit ćete specifičan način izrade modela pomoću [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). ARIMA modeli posebno su prikladni za podatke koji pokazuju [nestacionarnost](https://wikipedia.org/wiki/Stationary_process). + +## Opći koncepti + +Da biste mogli raditi s ARIMA modelima, potrebno je razumjeti nekoliko ključnih pojmova: + +- 🎓 **Stacionarnost**. U statističkom kontekstu, stacionarnost se odnosi na podatke čija distribucija ne mijenja kada se pomakne u vremenu. Nestacionarni podaci pokazuju fluktuacije zbog trendova koje je potrebno transformirati kako bi se analizirali. Sezonalnost, na primjer, može uzrokovati fluktuacije u podacima i može se eliminirati procesom 'sezonskog diferenciranja'. + +- 🎓 **[Diferenciranje](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Diferenciranje podataka, opet u statističkom kontekstu, odnosi se na proces transformacije nestacionarnih podataka kako bi postali stacionarni uklanjanjem njihovog nekonstantnog trenda. "Diferenciranje uklanja promjene u razini vremenske serije, eliminirajući trend i sezonalnost te stabilizirajući srednju vrijednost vremenske serije." [Rad Shixionga i sur.](https://arxiv.org/abs/1904.07632) + +## ARIMA u kontekstu vremenskih serija + +Razložimo dijelove ARIMA modela kako bismo bolje razumjeli kako pomaže u modeliranju vremenskih serija i omogućuje prognoze. + +- **AR - AutoRegresivno**. Autoregresivni modeli, kako ime sugerira, gledaju 'unatrag' u vremenu kako bi analizirali prethodne vrijednosti u vašim podacima i napravili pretpostavke o njima. Te prethodne vrijednosti nazivaju se 'zaostaci'. Primjer bi bili podaci koji prikazuju mjesečnu prodaju olovaka. Ukupna prodaja svakog mjeseca smatra se 'promjenjivom varijablom' u skupu podataka. Ovaj model se gradi tako da se "promjenjiva varijabla od interesa regresira na svoje vlastite zaostale (tj. prethodne) vrijednosti." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - Integrirano**. Za razliku od sličnih 'ARMA' modela, 'I' u ARIMA odnosi se na njegov *[integrirani](https://wikipedia.org/wiki/Order_of_integration)* aspekt. Podaci se 'integriraju' kada se primjenjuju koraci diferenciranja kako bi se eliminirala nestacionarnost. + +- **MA - Pomični prosjek**. [Pomični prosjek](https://wikipedia.org/wiki/Moving-average_model) u ovom modelu odnosi se na izlaznu varijablu koja se određuje promatranjem trenutnih i prošlih vrijednosti zaostataka. + +Zaključak: ARIMA se koristi za izradu modela koji što bolje odgovara specifičnom obliku podataka vremenskih serija. + +## Vježba - izrada ARIMA modela + +Otvorite [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) mapu u ovoj lekciji i pronađite datoteku [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Pokrenite notebook kako biste učitali Python biblioteku `statsmodels`; trebat će vam za ARIMA modele. + +1. Učitajte potrebne biblioteke. + +1. Sada učitajte još nekoliko biblioteka korisnih za vizualizaciju podataka: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Učitajte podatke iz datoteke `/data/energy.csv` u Pandas dataframe i pogledajte ih: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Prikaz svih dostupnih podataka o energiji od siječnja 2012. do prosinca 2014. Ne bi trebalo biti iznenađenja jer smo te podatke vidjeli u prethodnoj lekciji: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Sada, izradimo model! + +### Izrada skupa za treniranje i testiranje + +Sada kada su podaci učitani, možete ih podijeliti na skup za treniranje i skup za testiranje. Model ćete trenirati na skupu za treniranje. Kao i obično, nakon što model završi treniranje, procijenit ćete njegovu točnost pomoću skupa za testiranje. Morate osigurati da skup za testiranje pokriva kasnije vremensko razdoblje od skupa za treniranje kako biste osigurali da model ne dobije informacije iz budućih vremenskih razdoblja. + +1. Dodijelite dvomjesečno razdoblje od 1. rujna do 31. listopada 2014. skupu za treniranje. Skup za testiranje uključivat će dvomjesečno razdoblje od 1. studenog do 31. prosinca 2014.: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Budući da ovi podaci odražavaju dnevnu potrošnju energije, postoji snažan sezonski obrazac, ali potrošnja je najsličnija potrošnji u nedavnim danima. + +1. Vizualizirajte razlike: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Stoga bi korištenje relativno malog vremenskog okvira za treniranje podataka trebalo biti dovoljno. + + > Napomena: Budući da funkcija koju koristimo za prilagodbu ARIMA modela koristi validaciju unutar skupa tijekom prilagodbe, izostavit ćemo podatke za validaciju. + +### Priprema podataka za treniranje + +Sada trebate pripremiti podatke za treniranje filtriranjem i skaliranjem podataka. Filtrirajte svoj skup podataka tako da uključuje samo potrebna vremenska razdoblja i stupce, te skalirajte podatke kako bi bili u intervalu 0,1. + +1. Filtrirajte originalni skup podataka tako da uključuje samo prethodno navedena vremenska razdoblja po skupu i samo potrebni stupac 'load' plus datum: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Možete vidjeti oblik podataka: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Skalirajte podatke tako da budu u rasponu (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Vizualizirajte originalne i skalirane podatke: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Originalni podaci + +  + + > Skalirani podaci + +1. Sada kada ste kalibrirali skalirane podatke, možete skalirati podatke za testiranje: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Implementacija ARIMA + +Vrijeme je za implementaciju ARIMA modela! Sada ćete koristiti biblioteku `statsmodels` koju ste ranije instalirali. + +Sada trebate slijediti nekoliko koraka: + + 1. Definirajte model pozivanjem `SARIMAX()` i prosljeđivanjem parametara modela: p, d i q parametara, te P, D i Q parametara. + 2. Pripremite model za podatke za treniranje pozivanjem funkcije `fit()`. + 3. Napravite prognoze pozivanjem funkcije `forecast()` i određivanjem broja koraka (horizonta) za prognozu. + +> 🎓 Što znače svi ti parametri? U ARIMA modelu postoje 3 parametra koji se koriste za modeliranje glavnih aspekata vremenske serije: sezonalnost, trend i šum. Ti parametri su: + +`p`: parametar povezan s autoregresivnim aspektom modela, koji uključuje *prošle* vrijednosti. +`d`: parametar povezan s integriranim dijelom modela, koji utječe na količinu *diferenciranja* (🎓 sjetite se diferenciranja 👆?) primijenjenog na vremensku seriju. +`q`: parametar povezan s dijelom modela koji se odnosi na pomični prosjek. + +> Napomena: Ako vaši podaci imaju sezonski aspekt - što ovi podaci imaju - koristimo sezonski ARIMA model (SARIMA). U tom slučaju trebate koristiti drugi skup parametara: `P`, `D` i `Q` koji opisuju iste asocijacije kao `p`, `d` i `q`, ali odgovaraju sezonskim komponentama modela. + +1. Započnite postavljanjem željene vrijednosti horizonta. Pokušajmo s 3 sata: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Odabir najboljih vrijednosti za parametre ARIMA modela može biti izazovan jer je donekle subjektivan i vremenski zahtjevan. Možete razmotriti korištenje funkcije `auto_arima()` iz biblioteke [`pyramid`](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html). + +1. Za sada pokušajte s ručnim odabirom kako biste pronašli dobar model. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Ispisuje se tablica rezultata. + +Napravili ste svoj prvi model! Sada trebamo pronaći način za njegovu evaluaciju. + +### Evaluacija modela + +Za evaluaciju modela možete koristiti tehniku nazvanu `walk forward` validacija. U praksi se modeli vremenskih serija ponovno treniraju svaki put kada postanu dostupni novi podaci. To omogućuje modelu da napravi najbolju prognozu u svakom vremenskom koraku. + +Počevši od početka vremenske serije, koristeći ovu tehniku, trenirajte model na skupu podataka za treniranje. Zatim napravite prognozu za sljedeći vremenski korak. Prognoza se procjenjuje u odnosu na poznatu vrijednost. Skup za treniranje se zatim proširuje kako bi uključio poznatu vrijednost i proces se ponavlja. + +> Napomena: Trebali biste zadržati fiksni prozor skupa za treniranje radi učinkovitijeg treniranja, tako da svaki put kada dodate novu promatranje u skup za treniranje, uklonite promatranje s početka skupa. + +Ovaj proces pruža robusniju procjenu kako će model funkcionirati u praksi. Međutim, dolazi s računalnim troškom stvaranja toliko modela. To je prihvatljivo ako su podaci mali ili ako je model jednostavan, ali može biti problem na većim razmjerima. + +Walk-forward validacija je zlatni standard za evaluaciju modela vremenskih serija i preporučuje se za vaše projekte. + +1. Prvo, stvorite testnu točku podataka za svaki korak HORIZON-a. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Podaci se horizontalno pomiču prema točki horizonta. + +1. Napravite prognoze na testnim podacima koristeći ovaj pristup kliznog prozora u petlji veličine duljine testnih podataka: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Možete pratiti proces treniranja: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Usporedite prognoze s stvarnim opterećenjem: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Izlaz + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Promatrajte prognozu podataka po satu u usporedbi sa stvarnim opterećenjem. Koliko je točno? + +### Provjera točnosti modela + +Provjerite točnost svog modela testiranjem njegove srednje apsolutne postotne pogreške (MAPE) na svim prognozama. +> **🧮 Pokaži mi matematiku** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) koristi se za prikaz točnosti predviđanja kao omjera definiranog gornjom formulom. Razlika između stvarne i predviđene vrijednosti dijeli se sa stvarnom vrijednošću. "Apsolutna vrijednost u ovom izračunu zbraja se za svaku predviđenu točku u vremenu i dijeli s brojem prilagođenih točaka n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) +1. Izrazite jednadžbu u kodu: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Izračunajte MAPE za jedan korak: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE prognoze za jedan korak: 0.5570581332313952 % + +1. Ispišite MAPE za višekoraksku prognozu: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Niska vrijednost je najbolja: uzmite u obzir da prognoza s MAPE od 10 odstupa za 10%. + +1. No, kao i uvijek, lakše je vizualno vidjeti ovakvo mjerenje točnosti, pa hajdemo to prikazati: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Vrlo lijep graf, koji prikazuje model s dobrom točnošću. Bravo! + +--- + +## 🚀Izazov + +Istražite načine testiranja točnosti modela vremenskih serija. U ovoj lekciji spominjemo MAPE, ali postoje li drugi načini koje biste mogli koristiti? Istražite ih i zabilježite. Koristan dokument možete pronaći [ovdje](https://otexts.com/fpp2/accuracy.html) + +## [Kviz nakon predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled i samostalno učenje + +Ova lekcija pokriva samo osnove prognoziranja vremenskih serija pomoću ARIMA. Odvojite vrijeme za produbljivanje svog znanja istražujući [ovaj repozitorij](https://microsoft.github.io/forecasting/) i njegove različite vrste modela kako biste naučili druge načine izrade modela vremenskih serija. + +## Zadatak + +[Novi ARIMA model](assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane ljudskog prevoditelja. Ne preuzimamo odgovornost za nesporazume ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/2-ARIMA/assignment.md b/translations/hr/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 00000000..5ddadd6d --- /dev/null +++ b/translations/hr/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,25 @@ + +# Novi ARIMA model + +## Upute + +Sada kada ste izradili ARIMA model, izradite novi koristeći svježe podatke (isprobajte jedan od [ovih skupova podataka s Dukea](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Zabilježite svoj rad u bilježnici, vizualizirajte podatke i svoj model te testirajte njegovu točnost koristeći MAPE. + +## Rubrika + +| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje | +| -------- | ------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------- | ----------------------------------- | +| | Predstavljena je bilježnica s novim ARIMA modelom, testirana i objašnjena uz vizualizacije i navedenu točnost. | Predstavljena bilježnica nije zabilježena ili sadrži greške | Predstavljena je nepotpuna bilježnica | + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/hr/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 00000000..f06af0ce --- /dev/null +++ b/translations/hr/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/hr/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 00000000..3020ccb6 --- /dev/null +++ b/translations/hr/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,15 @@ + +ovo je privremeni rezervirani prostor + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/3-SVR/README.md b/translations/hr/7-TimeSeries/3-SVR/README.md new file mode 100644 index 00000000..6a1b20e8 --- /dev/null +++ b/translations/hr/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,393 @@ + +# Predviđanje vremenskih serija pomoću Support Vector Regressor-a + +U prethodnoj lekciji naučili ste kako koristiti ARIMA model za predviđanje vremenskih serija. Sada ćemo se fokusirati na model Support Vector Regressor, koji se koristi za predviđanje kontinuiranih podataka. + +## [Pre-lecture kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +U ovoj lekciji otkrit ćete specifičan način izgradnje modela pomoću [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) za regresiju, ili **SVR: Support Vector Regressor**. + +### SVR u kontekstu vremenskih serija [^1] + +Prije nego što razumijete važnost SVR-a u predviđanju vremenskih serija, evo nekoliko važnih pojmova koje trebate znati: + +- **Regresija:** Tehnika nadziranog učenja za predviđanje kontinuiranih vrijednosti iz skupa ulaznih podataka. Ideja je prilagoditi krivulju (ili liniju) u prostoru značajki koja ima maksimalan broj podataka. [Kliknite ovdje](https://en.wikipedia.org/wiki/Regression_analysis) za više informacija. +- **Support Vector Machine (SVM):** Vrsta modela nadziranog strojnog učenja koji se koristi za klasifikaciju, regresiju i otkrivanje odstupanja. Model je hiperravnina u prostoru značajki, koja u slučaju klasifikacije djeluje kao granica, a u slučaju regresije kao linija najboljeg pristajanja. U SVM-u se obično koristi Kernel funkcija za transformaciju skupa podataka u prostor s većim brojem dimenzija, kako bi se podaci lakše razdvojili. [Kliknite ovdje](https://en.wikipedia.org/wiki/Support-vector_machine) za više informacija o SVM-ovima. +- **Support Vector Regressor (SVR):** Vrsta SVM-a, koja pronalazi liniju najboljeg pristajanja (koja je u slučaju SVM-a hiperravnina) s maksimalnim brojem podataka. + +### Zašto SVR? [^1] + +U prethodnoj lekciji naučili ste o ARIMA modelu, koji je vrlo uspješna statistička linearna metoda za predviđanje vremenskih serija. Međutim, u mnogim slučajevima podaci vremenskih serija imaju *nelinearnost*, koju linearni modeli ne mogu mapirati. U takvim slučajevima sposobnost SVM-a da uzme u obzir nelinearnost podataka za regresijske zadatke čini SVR uspješnim u predviđanju vremenskih serija. + +## Vježba - izgradnja SVR modela + +Prvi koraci za pripremu podataka isti su kao u prethodnoj lekciji o [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Otvorite mapu [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) u ovoj lekciji i pronađite datoteku [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb). [^2] + +1. Pokrenite notebook i uvezite potrebne biblioteke: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Učitajte podatke iz datoteke `/data/energy.csv` u Pandas dataframe i pogledajte ih: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Prikažite sve dostupne podatke o energiji od siječnja 2012. do prosinca 2014.: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Sada ćemo izgraditi naš SVR model. + +### Kreiranje skupa za treniranje i testiranje + +Sada su vaši podaci učitani, pa ih možete podijeliti na skup za treniranje i skup za testiranje. Zatim ćete preoblikovati podatke kako biste stvorili skup podataka temeljen na vremenskim koracima, što će biti potrebno za SVR. Model ćete trenirati na skupu za treniranje. Nakon što model završi s treniranjem, procijenit ćete njegovu točnost na skupu za treniranje, skupu za testiranje i zatim na cijelom skupu podataka kako biste vidjeli ukupnu izvedbu. Morate osigurati da skup za testiranje pokriva kasniji vremenski period od skupa za treniranje kako biste osigurali da model ne dobije informacije iz budućih vremenskih perioda [^2] (situacija poznata kao *Overfitting*). + +1. Dodijelite dvomjesečno razdoblje od 1. rujna do 31. listopada 2014. skupu za treniranje. Skup za testiranje uključivat će dvomjesečno razdoblje od 1. studenog do 31. prosinca 2014.: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Vizualizirajte razlike: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### Priprema podataka za treniranje + +Sada trebate pripremiti podatke za treniranje filtriranjem i skaliranjem podataka. Filtrirajte svoj skup podataka tako da uključuje samo potrebne vremenske periode i stupce, te skalirajte podatke kako biste osigurali da su projicirani u interval 0,1. + +1. Filtrirajte originalni skup podataka tako da uključuje samo prethodno navedene vremenske periode po skupu i samo potrebni stupac 'load' plus datum: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Skalirajte podatke za treniranje u raspon (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Sada skalirajte podatke za testiranje: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Kreiranje podataka s vremenskim koracima [^1] + +Za SVR, transformirate ulazne podatke u oblik `[batch, timesteps]`. Dakle, preoblikujete postojeće `train_data` i `test_data` tako da postoji nova dimenzija koja se odnosi na vremenske korake. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Za ovaj primjer uzimamo `timesteps = 5`. Dakle, ulazi u model su podaci za prva 4 vremenska koraka, a izlaz će biti podaci za 5. vremenski korak. + +```python +timesteps=5 +``` + +Pretvaranje podataka za treniranje u 2D tensor pomoću ugniježđenih list comprehensions: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Pretvaranje podataka za testiranje u 2D tensor: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +Odabir ulaza i izlaza iz podataka za treniranje i testiranje: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Implementacija SVR-a [^1] + +Sada je vrijeme za implementaciju SVR-a. Za više informacija o ovoj implementaciji, možete se referirati na [ovu dokumentaciju](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Za našu implementaciju slijedimo ove korake: + + 1. Definirajte model pozivanjem `SVR()` i prosljeđivanjem hiperparametara modela: kernel, gamma, c i epsilon + 2. Pripremite model za podatke za treniranje pozivanjem funkcije `fit()` + 3. Napravite predviđanja pozivanjem funkcije `predict()` + +Sada kreiramo SVR model. Ovdje koristimo [RBF kernel](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel), i postavljamo hiperparametre gamma, C i epsilon na 0.5, 10 i 0.05. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Treniranje modela na podacima za treniranje [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Izrada predviđanja modela [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Izgradili ste svoj SVR! Sada ga trebamo procijeniti. + +### Procjena modela [^1] + +Za procjenu, prvo ćemo skalirati podatke natrag na našu originalnu skalu. Zatim, kako bismo provjerili izvedbu, prikazat ćemo originalni i predviđeni graf vremenskih serija, te ispisati rezultat MAPE-a. + +Skaliranje predviđenih i originalnih izlaza: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Provjera izvedbe modela na podacima za treniranje i testiranje [^1] + +Izvlačimo vremenske oznake iz skupa podataka kako bismo ih prikazali na x-osi našeg grafa. Napominjemo da koristimo prvih ```timesteps-1``` vrijednosti kao ulaz za prvi izlaz, tako da vremenske oznake za izlaz počinju nakon toga. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Prikaz predviđanja za podatke za treniranje: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Ispis MAPE-a za podatke za treniranje + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Prikaz predviđanja za podatke za testiranje + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Ispis MAPE-a za podatke za testiranje + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Imate vrlo dobar rezultat na skupu podataka za testiranje! + +### Provjera izvedbe modela na cijelom skupu podataka [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Vrlo lijepi grafovi, koji pokazuju model s dobrom točnošću. Bravo! + +--- + +## 🚀Izazov + +- Pokušajte prilagoditi hiperparametre (gamma, C, epsilon) prilikom kreiranja modela i procijeniti na podacima kako biste vidjeli koji skup hiperparametara daje najbolje rezultate na skupu podataka za testiranje. Za više informacija o ovim hiperparametrima, možete se referirati na dokument [ovdje](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Pokušajte koristiti različite kernel funkcije za model i analizirati njihove izvedbe na skupu podataka. Koristan dokument možete pronaći [ovdje](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Pokušajte koristiti različite vrijednosti za `timesteps` kako bi model gledao unatrag za predviđanje. + +## [Post-lecture kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled i samostalno učenje + +Ova lekcija je bila uvod u primjenu SVR-a za predviđanje vremenskih serija. Za više informacija o SVR-u, možete se referirati na [ovaj blog](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Ova [dokumentacija o scikit-learn](https://scikit-learn.org/stable/modules/svm.html) pruža sveobuhvatnije objašnjenje o SVM-ovima općenito, [SVR-ima](https://scikit-learn.org/stable/modules/svm.html#regression) i također drugim detaljima implementacije kao što su različite [kernel funkcije](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) koje se mogu koristiti, i njihovi parametri. + +## Zadatak + +[Novi SVR model](assignment.md) + +## Zasluge + +[^1]: Tekst, kod i izlaz u ovom odjeljku doprinio je [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Tekst, kod i izlaz u ovom odjeljku preuzet je iz [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/3-SVR/assignment.md b/translations/hr/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 00000000..ed1cddce --- /dev/null +++ b/translations/hr/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,27 @@ + +# Novi SVR model + +## Upute [^1] + +Sada kada ste izradili SVR model, izradite novi koristeći svježe podatke (isprobajte jedan od [ovih skupova podataka s Dukea](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Zabilježite svoj rad u bilježnici, vizualizirajte podatke i svoj model te testirajte njegovu točnost koristeći odgovarajuće grafikone i MAPE. Također pokušajte prilagoditi različite hiperparametre i koristiti različite vrijednosti za vremenske korake. + +## Rubrika [^1] + +| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje | +| -------- | ---------------------------------------------------------- | --------------------------------------------------------- | ----------------------------------- | +| | Predstavljena je bilježnica s izgrađenim, testiranim i objašnjenim SVR modelom, uz vizualizacije i navedenu točnost. | Predstavljena bilježnica nije zabilježena ili sadrži greške. | Predstavljena je nepotpuna bilježnica | + +[^1]: Tekst u ovom odjeljku temelji se na [zadatku iz ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/7-TimeSeries/README.md b/translations/hr/7-TimeSeries/README.md new file mode 100644 index 00000000..29f11864 --- /dev/null +++ b/translations/hr/7-TimeSeries/README.md @@ -0,0 +1,37 @@ + +# Uvod u predviđanje vremenskih serija + +Što je predviđanje vremenskih serija? Radi se o predviđanju budućih događaja analizom trendova iz prošlosti. + +## Regionalna tema: svjetska potrošnja električne energije ✨ + +U ova dva lekcija bit ćete upoznati s predviđanjem vremenskih serija, područjem strojnog učenja koje je možda manje poznato, ali izuzetno vrijedno za industrijske i poslovne primjene, kao i za druge oblasti. Iako se neuronske mreže mogu koristiti za povećanje korisnosti ovih modela, proučavat ćemo ih u kontekstu klasičnog strojnog učenja jer modeli pomažu u predviđanju budućih performansi na temelju prošlih podataka. + +Naš regionalni fokus je potrošnja električne energije u svijetu, zanimljiv skup podataka za učenje o predviđanju buduće potrošnje energije na temelju obrazaca prošlog opterećenja. Možete vidjeti kako ovakvo predviđanje može biti izuzetno korisno u poslovnom okruženju. + + + +Fotografija [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) električnih tornjeva na cesti u Rajasthanu na [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Lekcije + +1. [Uvod u predviđanje vremenskih serija](1-Introduction/README.md) +2. [Izrada ARIMA modela vremenskih serija](2-ARIMA/README.md) +3. [Izrada Support Vector Regressor modela za predviđanje vremenskih serija](3-SVR/README.md) + +## Zasluge + +"Uvod u predviđanje vremenskih serija" napisali su s ⚡️ [Francesca Lazzeri](https://twitter.com/frlazzeri) i [Jen Looper](https://twitter.com/jenlooper). Bilježnice su se prvi put pojavile online u [Azure "Deep Learning For Time Series" repo](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) koje je izvorno napisala Francesca Lazzeri. Lekciju o SVR-u napisao je [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD). + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/8-Reinforcement/1-QLearning/README.md b/translations/hr/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 00000000..557e7fdd --- /dev/null +++ b/translations/hr/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,256 @@ + +# Uvod u učenje pojačanjem i Q-učenje + + +> Sketchnote autorice [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Učenje pojačanjem uključuje tri važna koncepta: agenta, određena stanja i skup akcija za svako stanje. Izvršavanjem akcije u određenom stanju, agent dobiva nagradu. Zamislite računalnu igru Super Mario. Vi ste Mario, nalazite se na razini igre, stojite pored ruba litice. Iznad vas je novčić. Vi, kao Mario, na razini igre, na određenoj poziciji... to je vaše stanje. Pomicanje korak udesno (akcija) odvest će vas preko ruba, što bi vam donijelo nisku numeričku ocjenu. Međutim, pritiskom na gumb za skok osvojili biste bod i ostali živi. To je pozitivan ishod i trebao bi vam donijeti pozitivnu numeričku ocjenu. + +Korištenjem učenja pojačanjem i simulatora (igre), možete naučiti kako igrati igru kako biste maksimizirali nagradu, što znači ostati živ i osvojiti što više bodova. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Kliknite na sliku iznad kako biste čuli Dmitryja kako govori o učenju pojačanjem + +## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Preduvjeti i postavljanje + +U ovoj lekciji eksperimentirat ćemo s nekim kodom u Pythonu. Trebali biste moći pokrenuti Jupyter Notebook kod iz ove lekcije, bilo na svom računalu ili negdje u oblaku. + +Možete otvoriti [bilježnicu lekcije](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) i proći kroz ovu lekciju kako biste je izgradili. + +> **Napomena:** Ako otvarate ovaj kod iz oblaka, također trebate preuzeti datoteku [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), koja se koristi u kodu bilježnice. Dodajte je u isti direktorij kao i bilježnicu. + +## Uvod + +U ovoj lekciji istražit ćemo svijet **[Petra i vuka](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, inspiriran glazbenom bajkom ruskog skladatelja [Sergeja Prokofjeva](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Koristit ćemo **učenje pojačanjem** kako bismo omogućili Petru da istraži svoje okruženje, prikupi ukusne jabuke i izbjegne susret s vukom. + +**Učenje pojačanjem** (RL) je tehnika učenja koja nam omogućuje da naučimo optimalno ponašanje **agenta** u nekom **okruženju** izvođenjem mnogih eksperimenata. Agent u ovom okruženju treba imati neki **cilj**, definiran pomoću **funkcije nagrade**. + +## Okruženje + +Radi jednostavnosti, zamislimo Petrov svijet kao kvadratnu ploču veličine `širina` x `visina`, ovako: + + + +Svaka ćelija na ovoj ploči može biti: + +* **tlo**, po kojem Peter i druga bića mogu hodati. +* **voda**, po kojoj očito ne možete hodati. +* **stablo** ili **trava**, mjesto gdje se možete odmoriti. +* **jabuka**, što predstavlja nešto što bi Peter rado pronašao kako bi se nahranio. +* **vuk**, koji je opasan i treba ga izbjegavati. + +Postoji zaseban Python modul, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), koji sadrži kod za rad s ovim okruženjem. Budući da ovaj kod nije važan za razumijevanje naših koncepata, uvest ćemo modul i koristiti ga za stvaranje uzorka ploče (blok koda 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Ovaj kod bi trebao ispisati sliku okruženja sličnu onoj gore. + +## Akcije i politika + +U našem primjeru, Petrov cilj bio bi pronaći jabuku, dok izbjegava vuka i druge prepreke. Da bi to učinio, može se kretati dok ne pronađe jabuku. + +Dakle, na bilo kojoj poziciji, može birati između sljedećih akcija: gore, dolje, lijevo i desno. + +Te ćemo akcije definirati kao rječnik i mapirati ih na parove odgovarajućih promjena koordinata. Na primjer, pomicanje udesno (`R`) odgovaralo bi paru `(1,0)`. (blok koda 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Da rezimiramo, strategija i cilj ovog scenarija su sljedeći: + +- **Strategija** našeg agenta (Petra) definirana je tzv. **politikom**. Politika je funkcija koja vraća akciju u bilo kojem danom stanju. U našem slučaju, stanje problema predstavljeno je pločom, uključujući trenutnu poziciju igrača. + +- **Cilj** učenja pojačanjem je na kraju naučiti dobru politiku koja će nam omogućiti učinkovito rješavanje problema. Međutim, kao osnovnu liniju, razmotrit ćemo najjednostavniju politiku zvanu **slučajna šetnja**. + +## Slučajna šetnja + +Najprije ćemo riješiti naš problem implementacijom strategije slučajne šetnje. Kod slučajne šetnje, nasumično ćemo birati sljedeću akciju iz dopuštenih akcija, sve dok ne dođemo do jabuke (blok koda 3). + +1. Implementirajte slučajnu šetnju pomoću donjeg koda: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + Poziv funkcije `walk` trebao bi vratiti duljinu odgovarajuće staze, koja može varirati od jednog pokretanja do drugog. + +1. Pokrenite eksperiment šetnje nekoliko puta (recimo, 100) i ispišite dobivene statistike (blok koda 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Primijetite da je prosječna duljina staze oko 30-40 koraka, što je prilično puno, s obzirom na to da je prosječna udaljenost do najbliže jabuke oko 5-6 koraka. + + Također možete vidjeti kako izgleda Petrov pokret tijekom slučajne šetnje: + +  + +## Funkcija nagrade + +Kako bismo našu politiku učinili inteligentnijom, trebamo razumjeti koji su potezi "bolji" od drugih. Da bismo to učinili, trebamo definirati naš cilj. + +Cilj se može definirati u smislu **funkcije nagrade**, koja će vraćati neku vrijednost ocjene za svako stanje. Što je broj veći, to je funkcija nagrade bolja. (blok koda 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Zanimljivo je da u većini slučajeva *značajnu nagradu dobivamo tek na kraju igre*. To znači da naš algoritam nekako treba zapamtiti "dobre" korake koji vode do pozitivne nagrade na kraju i povećati njihovu važnost. Slično tome, svi potezi koji vode do loših rezultata trebaju se obeshrabriti. + +## Q-učenje + +Algoritam koji ćemo ovdje raspraviti zove se **Q-učenje**. U ovom algoritmu, politika je definirana funkcijom (ili strukturom podataka) zvanom **Q-Tablica**. Ona bilježi "dobrotu" svake od akcija u danom stanju. + +Zove se Q-Tablica jer je često zgodno predstavljati je kao tablicu ili višedimenzionalni niz. Budući da naša ploča ima dimenzije `širina` x `visina`, možemo predstaviti Q-Tablicu pomoću numpy niza s oblikom `širina` x `visina` x `len(actions)`: (blok koda 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Primijetite da inicijaliziramo sve vrijednosti Q-Tablice s jednakom vrijednošću, u našem slučaju - 0.25. Ovo odgovara politici "slučajne šetnje", jer su svi potezi u svakom stanju jednako dobri. Q-Tablicu možemo proslijediti funkciji `plot` kako bismo vizualizirali tablicu na ploči: `m.plot(Q)`. + + + +U središtu svake ćelije nalazi se "strelica" koja označava preferirani smjer kretanja. Budući da su svi smjerovi jednaki, prikazuje se točka. + +Sada trebamo pokrenuti simulaciju, istražiti naše okruženje i naučiti bolju raspodjelu vrijednosti Q-Tablice, što će nam omogućiti da mnogo brže pronađemo put do jabuke. + +## Suština Q-učenja: Bellmanova jednadžba + +Jednom kada se počnemo kretati, svaka akcija imat će odgovarajuću nagradu, tj. teoretski možemo odabrati sljedeću akciju na temelju najveće neposredne nagrade. Međutim, u većini stanja potez neće postići naš cilj dolaska do jabuke, pa stoga ne možemo odmah odlučiti koji je smjer bolji. + +> Zapamtite da nije važan neposredni rezultat, već konačni rezultat, koji ćemo dobiti na kraju simulacije. + +Kako bismo uzeli u obzir ovu odgođenu nagradu, trebamo koristiti principe **[dinamičkog programiranja](https://en.wikipedia.org/wiki/Dynamic_programming)**, koji nam omogućuju da o našem problemu razmišljamo rekurzivno. + +Pretpostavimo da se sada nalazimo u stanju *s* i želimo se pomaknuti u sljedeće stanje *s'*. Time ćemo dobiti neposrednu nagradu *r(s,a)*, definiranu funkcijom nagrade, plus neku buduću nagradu. Ako pretpostavimo da naša Q-Tablica točno odražava "privlačnost" svake akcije, tada ćemo u stanju *s'* odabrati akciju *a* koja odgovara maksimalnoj vrijednosti *Q(s',a')*. Tako će najbolja moguća buduća nagrada koju bismo mogli dobiti u stanju *s* biti definirana kao `max` + +## Provjera politike + +Budući da Q-Tablica prikazuje "privlačnost" svake akcije u svakom stanju, vrlo je jednostavno koristiti je za definiranje učinkovitog kretanja u našem svijetu. U najjednostavnijem slučaju, možemo odabrati akciju koja odgovara najvećoj vrijednosti u Q-Tablici: (kodni blok 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Ako nekoliko puta isprobate gornji kod, možda ćete primijetiti da se ponekad "zaglavi" i morate pritisnuti gumb STOP u bilježnici kako biste ga prekinuli. To se događa jer mogu postojati situacije u kojima dva stanja "pokazuju" jedno na drugo u smislu optimalne Q-Vrijednosti, u kojem slučaju agent završava krećući se između tih stanja beskonačno. + +## 🚀Izazov + +> **Zadatak 1:** Modificirajte funkciju `walk` kako biste ograničili maksimalnu duljinu puta na određeni broj koraka (recimo, 100) i promatrajte kako gornji kod povremeno vraća ovu vrijednost. + +> **Zadatak 2:** Modificirajte funkciju `walk` tako da se ne vraća na mjesta na kojima je već bio. Ovo će spriječiti da se `walk` ponavlja, no agent i dalje može završiti "zarobljen" na lokaciji s koje ne može pobjeći. + +## Navigacija + +Bolja navigacijska politika bila bi ona koju smo koristili tijekom treninga, a koja kombinira eksploataciju i istraživanje. U ovoj politici odabiremo svaku akciju s određenom vjerojatnošću, proporcionalno vrijednostima u Q-Tablici. Ova strategija može i dalje rezultirati time da se agent vraća na poziciju koju je već istražio, ali, kao što možete vidjeti iz koda dolje, rezultira vrlo kratkim prosječnim putem do željene lokacije (zapamtite da `print_statistics` pokreće simulaciju 100 puta): (kodni blok 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Nakon pokretanja ovog koda, trebali biste dobiti znatno manju prosječnu duljinu puta nego prije, u rasponu od 3-6. + +## Istraživanje procesa učenja + +Kao što smo spomenuli, proces učenja je ravnoteža između istraživanja i korištenja stečenog znanja o strukturi prostora problema. Vidjeli smo da su rezultati učenja (sposobnost pomaganja agentu da pronađe kratak put do cilja) poboljšani, ali također je zanimljivo promatrati kako se prosječna duljina puta ponaša tijekom procesa učenja: + +## Sažetak naučenog: + +- **Prosječna duljina puta raste**. Ono što ovdje vidimo jest da na početku prosječna duljina puta raste. To je vjerojatno zbog činjenice da, kada ništa ne znamo o okolišu, vjerojatno ćemo se zaglaviti u lošim stanjima, poput vode ili vuka. Kako učimo više i počnemo koristiti to znanje, možemo dulje istraživati okoliš, ali još uvijek ne znamo dobro gdje se nalaze jabuke. + +- **Duljina puta se smanjuje kako učimo više**. Kada dovoljno naučimo, agentu postaje lakše postići cilj, a duljina puta počinje se smanjivati. Međutim, još uvijek smo otvoreni za istraživanje, pa često skrećemo s najboljeg puta i istražujemo nove opcije, čime put postaje dulji od optimalnog. + +- **Duljina naglo raste**. Ono što također primjećujemo na ovom grafu jest da u nekom trenutku duljina naglo raste. To ukazuje na stohastičku prirodu procesa i da u nekom trenutku možemo "pokvariti" koeficijente u Q-Tablici prepisivanjem novih vrijednosti. Ovo bi idealno trebalo minimizirati smanjenjem stope učenja (na primjer, prema kraju treninga, prilagođavamo vrijednosti u Q-Tablici samo malim iznosom). + +Sveukupno, važno je zapamtiti da uspjeh i kvaliteta procesa učenja značajno ovise o parametrima, poput stope učenja, smanjenja stope učenja i faktora diskonta. Ti se parametri često nazivaju **hiperparametri**, kako bi se razlikovali od **parametara**, koje optimiziramo tijekom treninga (na primjer, koeficijenti u Q-Tablici). Proces pronalaženja najboljih vrijednosti hiperparametara naziva se **optimizacija hiperparametara**, i zaslužuje zasebnu temu. + +## [Kviz nakon predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Zadatak +[Realističniji svijet](assignment.md) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja proizlaze iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/8-Reinforcement/1-QLearning/assignment.md b/translations/hr/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 00000000..985acc6c --- /dev/null +++ b/translations/hr/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,41 @@ + +# Realističniji svijet + +U našoj situaciji, Peter se mogao kretati gotovo bez umaranja ili osjećaja gladi. U realističnijem svijetu, morao bi se povremeno odmoriti i nahraniti. Učinimo naš svijet realističnijim implementirajući sljedeća pravila: + +1. Kretanjem s jednog mjesta na drugo, Peter gubi **energiju** i dobiva **umor**. +2. Peter može dobiti više energije jedući jabuke. +3. Peter se može riješiti umora odmarajući se ispod stabla ili na travi (tj. hodanjem do polja na ploči koje ima stablo ili travu - zeleno polje). +4. Peter mora pronaći i ubiti vuka. +5. Da bi ubio vuka, Peter mora imati određene razine energije i umora, inače gubi bitku. + +## Upute + +Koristite originalni [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) kao početnu točku za svoje rješenje. + +Modificirajte funkciju nagrade prema pravilima igre, pokrenite algoritam za učenje pojačanjem kako biste naučili najbolju strategiju za pobjedu u igri, i usporedite rezultate nasumičnog hodanja s vašim algoritmom u smislu broja pobijeđenih i izgubljenih igara. + +> **Note**: U vašem novom svijetu, stanje je složenije i, uz poziciju čovjeka, uključuje i razine umora i energije. Možete odabrati prikazati stanje kao tuple (Ploča, energija, umor), ili definirati klasu za stanje (možete je također izvesti iz `Board`), ili čak modificirati originalnu klasu `Board` unutar [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py). + +U svom rješenju, molimo vas da zadržite kod odgovoran za strategiju nasumičnog hodanja i usporedite rezultate svog algoritma s nasumičnim hodanjem na kraju. + +> **Note**: Možda ćete morati prilagoditi hiperparametre kako bi sve funkcioniralo, posebno broj epoha. Budući da je uspjeh u igri (borba s vukom) rijedak događaj, možete očekivati znatno duže vrijeme treniranja. + +## Rubrika + +| Kriterij | Izvrsno | Zadovoljavajuće | Potrebno poboljšanje | +| -------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Predstavljen je notebook s definicijom novih pravila svijeta, Q-Learning algoritmom i nekim tekstualnim objašnjenjima. Q-Learning značajno poboljšava rezultate u usporedbi s nasumičnim hodanjem. | Predstavljen je notebook, Q-Learning je implementiran i poboljšava rezultate u usporedbi s nasumičnim hodanjem, ali ne značajno; ili je notebook loše dokumentiran, a kod nije dobro strukturiran. | Napravljeni su neki pokušaji redefiniranja pravila svijeta, ali Q-Learning algoritam ne funkcionira ili funkcija nagrade nije potpuno definirana. | + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden koristeći AI uslugu za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/hr/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 00000000..a5eca29f --- /dev/null +++ b/translations/hr/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/hr/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 00000000..48aed689 --- /dev/null +++ b/translations/hr/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,15 @@ + +ovo je privremeni rezervirani prostor + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/8-Reinforcement/2-Gym/README.md b/translations/hr/8-Reinforcement/2-Gym/README.md new file mode 100644 index 00000000..51694396 --- /dev/null +++ b/translations/hr/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,351 @@ + +# CartPole Klizanje + +Problem koji smo rješavali u prethodnoj lekciji može se činiti kao igračka, ne baš primjenjiva u stvarnim životnim situacijama. No, to nije slučaj, jer mnogi stvarni problemi dijele sličan scenarij - uključujući igranje šaha ili Go. Oni su slični jer također imamo ploču s određenim pravilima i **diskretno stanje**. + +## [Kviz prije predavanja](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +U ovoj lekciji primijenit ćemo iste principe Q-Learninga na problem s **kontinuiranim stanjem**, tj. stanjem koje je definirano jednim ili više realnih brojeva. Bavimo se sljedećim problemom: + +> **Problem**: Ako Peter želi pobjeći od vuka, mora se moći kretati brže. Vidjet ćemo kako Peter može naučiti klizati, posebno održavati ravnotežu, koristeći Q-Learning. + + + +> Peter i njegovi prijatelji postaju kreativni kako bi pobjegli od vuka! Slika: [Jen Looper](https://twitter.com/jenlooper) + +Koristit ćemo pojednostavljenu verziju održavanja ravnoteže poznatu kao problem **CartPole**. U svijetu CartPole-a imamo horizontalni klizač koji se može kretati lijevo ili desno, a cilj je održati vertikalni stup na vrhu klizača. + +## Preduvjeti + +U ovoj lekciji koristit ćemo biblioteku pod nazivom **OpenAI Gym** za simulaciju različitih **okruženja**. Kod ove lekcije možete pokrenuti lokalno (npr. iz Visual Studio Code-a), u kojem slučaju će se simulacija otvoriti u novom prozoru. Kada pokrećete kod online, možda ćete morati napraviti neke prilagodbe koda, kao što je opisano [ovdje](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7). + +## OpenAI Gym + +U prethodnoj lekciji pravila igre i stanje definirali smo pomoću klase `Board` koju smo sami kreirali. Ovdje ćemo koristiti posebno **simulacijsko okruženje**, koje će simulirati fiziku iza balansirajućeg stupa. Jedno od najpopularnijih simulacijskih okruženja za treniranje algoritama za učenje pojačanjem zove se [Gym](https://gym.openai.com/), kojeg održava [OpenAI](https://openai.com/). Koristeći ovaj Gym možemo kreirati različita **okruženja**, od simulacije CartPole-a do Atari igara. + +> **Napomena**: Ostala dostupna okruženja iz OpenAI Gym-a možete vidjeti [ovdje](https://gym.openai.com/envs/#classic_control). + +Prvo, instalirajmo Gym i uvezimo potrebne biblioteke (blok koda 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Vježba - inicijalizacija okruženja CartPole + +Za rad s problemom balansiranja CartPole-a, moramo inicijalizirati odgovarajuće okruženje. Svako okruženje povezano je s: + +- **Prostorom opažanja** koji definira strukturu informacija koje primamo iz okruženja. Za problem CartPole-a primamo poziciju stupa, brzinu i neke druge vrijednosti. + +- **Prostorom akcija** koji definira moguće akcije. U našem slučaju prostor akcija je diskretan i sastoji se od dvije akcije - **lijevo** i **desno**. (blok koda 2) + +1. Za inicijalizaciju, upišite sljedeći kod: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Da bismo vidjeli kako okruženje funkcionira, pokrenimo kratku simulaciju od 100 koraka. Na svakom koraku pružamo jednu od akcija koje treba poduzeti - u ovoj simulaciji nasumično biramo akciju iz `action_space`. + +1. Pokrenite kod ispod i pogledajte rezultat. + + ✅ Zapamtite da je poželjno pokrenuti ovaj kod na lokalnoj Python instalaciji! (blok koda 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Trebali biste vidjeti nešto slično ovoj slici: + +  + +1. Tijekom simulacije, trebamo dobiti opažanja kako bismo odlučili što učiniti. Zapravo, funkcija `step` vraća trenutna opažanja, funkciju nagrade i zastavicu `done` koja označava ima li smisla nastaviti simulaciju ili ne: (blok koda 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + Na kraju ćete vidjeti nešto slično ovome u izlazu bilježnice: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Vektor opažanja koji se vraća na svakom koraku simulacije sadrži sljedeće vrijednosti: + - Pozicija klizača + - Brzina klizača + - Kut stupa + - Brzina rotacije stupa + +1. Dobijte minimalne i maksimalne vrijednosti tih brojeva: (blok koda 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Također možete primijetiti da je vrijednost nagrade na svakom koraku simulacije uvijek 1. To je zato što je naš cilj preživjeti što je dulje moguće, tj. održavati stup u razumno vertikalnom položaju što duže. + + ✅ Zapravo, simulacija CartPole-a smatra se riješenom ako uspijemo postići prosječnu nagradu od 195 tijekom 100 uzastopnih pokušaja. + +## Diskretizacija stanja + +U Q-Learningu, moramo izgraditi Q-Tablicu koja definira što učiniti u svakom stanju. Da bismo to mogli učiniti, stanje mora biti **diskretno**, preciznije, mora sadržavati konačan broj diskretnih vrijednosti. Dakle, moramo nekako **diskretizirati** naša opažanja, mapirajući ih na konačan skup stanja. + +Postoji nekoliko načina kako to možemo učiniti: + +- **Podjela u binove**. Ako znamo interval određene vrijednosti, možemo podijeliti taj interval u određeni broj **binova**, a zatim zamijeniti vrijednost brojem bina kojem pripada. To se može učiniti pomoću metode numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). U ovom slučaju, točno ćemo znati veličinu stanja, jer će ovisiti o broju binova koje odaberemo za digitalizaciju. + +✅ Možemo koristiti linearnu interpolaciju kako bismo vrijednosti doveli na neki konačan interval (recimo, od -20 do 20), a zatim pretvoriti brojeve u cijele brojeve zaokruživanjem. To nam daje malo manje kontrole nad veličinom stanja, posebno ako ne znamo točne raspone ulaznih vrijednosti. Na primjer, u našem slučaju 2 od 4 vrijednosti nemaju gornje/donje granice svojih vrijednosti, što može rezultirati beskonačnim brojem stanja. + +U našem primjeru, koristit ćemo drugi pristup. Kao što ćete kasnije primijetiti, unatoč neodređenim gornjim/donjim granicama, te vrijednosti rijetko uzimaju vrijednosti izvan određenih konačnih intervala, pa će ta stanja s ekstremnim vrijednostima biti vrlo rijetka. + +1. Evo funkcije koja će uzeti opažanje iz našeg modela i proizvesti tuple od 4 cijele vrijednosti: (blok koda 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Također istražimo drugu metodu diskretizacije koristeći binove: (blok koda 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Sada pokrenimo kratku simulaciju i promatrajmo te diskretne vrijednosti okruženja. Slobodno isprobajte obje funkcije `discretize` i `discretize_bins` i provjerite postoji li razlika. + + ✅ `discretize_bins` vraća broj bina, koji počinje od 0. Dakle, za vrijednosti ulazne varijable oko 0 vraća broj iz sredine intervala (10). U `discretize`, nismo se brinuli o rasponu izlaznih vrijednosti, dopuštajući im da budu negativne, pa vrijednosti stanja nisu pomaknute, i 0 odgovara 0. (blok koda 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Uklonite komentar s linije koja počinje s `env.render` ako želite vidjeti kako se okruženje izvršava. Inače ga možete izvršiti u pozadini, što je brže. Koristit ćemo ovo "nevidljivo" izvršavanje tijekom našeg procesa Q-Learninga. + +## Struktura Q-Tablice + +U našoj prethodnoj lekciji, stanje je bilo jednostavan par brojeva od 0 do 8, pa je bilo zgodno predstaviti Q-Tablicu pomoću numpy tensor-a oblika 8x8x2. Ako koristimo diskretizaciju binova, veličina našeg vektora stanja također je poznata, pa možemo koristiti isti pristup i predstaviti stanje pomoću niza oblika 20x20x10x10x2 (ovdje 2 predstavlja dimenziju prostora akcija, a prve dimenzije odgovaraju broju binova koje smo odabrali za svaku od parametara u prostoru opažanja). + +Međutim, ponekad precizne dimenzije prostora opažanja nisu poznate. U slučaju funkcije `discretize`, nikada ne možemo biti sigurni da naše stanje ostaje unutar određenih granica, jer neke od originalnih vrijednosti nisu ograničene. Stoga ćemo koristiti malo drugačiji pristup i predstaviti Q-Tablicu pomoću rječnika. + +1. Koristite par *(state,action)* kao ključ rječnika, a vrijednost bi odgovarala vrijednosti unosa u Q-Tablici. (blok koda 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Ovdje također definiramo funkciju `qvalues()`, koja vraća popis vrijednosti Q-Tablice za dano stanje koje odgovara svim mogućim akcijama. Ako unos nije prisutan u Q-Tablici, vratit ćemo 0 kao zadanu vrijednost. + +## Započnimo Q-Learning + +Sada smo spremni naučiti Petera kako održavati ravnotežu! + +1. Prvo, postavimo neke hiperparametre: (blok koda 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Ovdje, `alpha` je **stopa učenja** koja definira u kojoj mjeri trebamo prilagoditi trenutne vrijednosti Q-Tablice na svakom koraku. U prethodnoj lekciji započeli smo s 1, a zatim smanjili `alpha` na niže vrijednosti tijekom treninga. U ovom primjeru zadržat ćemo ga konstantnim radi jednostavnosti, a vi možete eksperimentirati s prilagodbom vrijednosti `alpha` kasnije. + + `gamma` je **faktor diskontiranja** koji pokazuje u kojoj mjeri trebamo prioritizirati buduću nagradu nad trenutnom nagradom. + + `epsilon` je **faktor istraživanja/iskorištavanja** koji određuje trebamo li preferirati istraživanje ili iskorištavanje. U našem algoritmu, u `epsilon` postotku slučajeva odabrat ćemo sljedeću akciju prema vrijednostima Q-Tablice, a u preostalom broju slučajeva izvršit ćemo nasumičnu akciju. To će nam omogućiti istraživanje područja prostora pretraživanja koja nikada prije nismo vidjeli. + + ✅ U smislu održavanja ravnoteže - odabir nasumične akcije (istraživanje) djelovao bi kao nasumični udarac u pogrešnom smjeru, a stup bi morao naučiti kako povratiti ravnotežu iz tih "pogrešaka". + +### Poboljšanje algoritma + +Možemo napraviti dva poboljšanja našem algoritmu iz prethodne lekcije: + +- **Izračunajte prosječnu kumulativnu nagradu**, tijekom određenog broja simulacija. Ispisivat ćemo napredak svakih 5000 iteracija, i prosječno ćemo izračunati kumulativnu nagradu tijekom tog vremenskog razdoblja. To znači da ako postignemo više od 195 bodova - možemo smatrati problem riješenim, čak i s višom kvalitetom nego što je potrebno. + +- **Izračunajte maksimalni prosječni kumulativni rezultat**, `Qmax`, i pohraniti ćemo Q-Tablicu koja odgovara tom rezultatu. Kada pokrenete trening primijetit ćete da ponekad prosječni kumulativni rezultat počinje padati, i želimo zadržati vrijednosti Q-Tablice koje odgovaraju najboljem modelu promatranom tijekom treninga. + +1. Prikupite sve kumulativne nagrade na svakoj simulaciji u vektor `rewards` za daljnje crtanje. (blok koda 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()
- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen i Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen i Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen i Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen i Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Ovaj workflow će upravljati procesom izgradnje i implementacije. + +6. Praćenje implementacije +Idite na karticu “Actions” u vašem GitHub repozitoriju. +Trebali biste vidjeti workflow koji se pokreće. Ovaj workflow će izgraditi i implementirati vašu statičnu web aplikaciju na Azure. +Nakon što workflow završi, vaša aplikacija će biti dostupna na dodijeljenom Azure URL-u. + +### Primjer datoteke workflowa + +Evo primjera kako bi GitHub Actions workflow datoteka mogla izgledati: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Dodatni resursi +- [Dokumentacija za Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Dokumentacija za GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakve nesporazume ili pogrešne interpretacije proizašle iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/sketchnotes/LICENSE.md b/translations/hr/sketchnotes/LICENSE.md new file mode 100644 index 00000000..3dc6444f --- /dev/null +++ b/translations/hr/sketchnotes/LICENSE.md @@ -0,0 +1,277 @@ + +Priznanje-Dijeljenje pod istim uvjetima 4.0 Međunarodna + +======================================================================= + +Creative Commons Corporation ("Creative Commons") nije odvjetnička tvrtka i ne pruža pravne usluge ili pravne savjete. Distribucija javnih licenci Creative Commons ne stvara odnos odvjetnika i klijenta ili bilo koji drugi odnos. Creative Commons čini svoje licence i povezane informacije dostupnima "takvima kakve jesu". Creative Commons ne daje nikakva jamstva u vezi sa svojim licencama, bilo kojim materijalom licenciranim prema njihovim uvjetima i odredbama, ili bilo kojim povezanim informacijama. Creative Commons odriče svaku odgovornost za štetu koja proizlazi iz njihove upotrebe u najvećoj mogućoj mjeri. + +Korištenje javnih licenci Creative Commons + +Javne licence Creative Commons pružaju standardni skup uvjeta koje autori i drugi nositelji prava mogu koristiti za dijeljenje originalnih autorskih djela i drugog materijala podložnog autorskom pravu i određenim drugim pravima navedenim u javnoj licenci u nastavku. Sljedeće napomene služe samo u informativne svrhe, nisu iscrpne i ne čine dio naših licenci. + + Napomene za davatelje licenci: Naše javne licence namijenjene su + za korištenje od strane onih koji su ovlašteni dati javnosti + dopuštenje za korištenje materijala na načine koji su inače + ograničeni autorskim pravom i određenim drugim pravima. Naše + licence su neopozive. Davatelji licenci trebaju pročitati i + razumjeti uvjete licence koju odaberu prije nego što je primijene. + Davatelji licenci također trebaju osigurati sva potrebna prava + prije primjene naših licenci kako bi javnost mogla ponovno + koristiti materijal kako se očekuje. Davatelji licenci trebaju + jasno označiti bilo koji materijal koji nije podložan licenci. To + uključuje drugi materijal licenciran pod CC-licencama ili + materijal korišten pod iznimkom ili ograničenjem autorskog prava. + Više napomena za davatelje licenci: + wiki.creativecommons.org/Considerations_for_licensors + + Napomene za javnost: Korištenjem jedne od naših javnih licenci, + davatelj licence daje javnosti dopuštenje za korištenje + licenciranog materijala pod određenim uvjetima. Ako dopuštenje + davatelja licence nije potrebno iz bilo kojeg razloga – na + primjer, zbog primjenjive iznimke ili ograničenja autorskog prava + – tada takva upotreba nije regulirana licencom. Naše licence + dodjeljuju samo dopuštenja pod autorskim pravom i određenim + drugim pravima koje davatelj licence ima ovlast dodijeliti. + Korištenje licenciranog materijala može i dalje biti ograničeno + iz drugih razloga, uključujući zbog toga što drugi imaju autorska + prava ili druga prava na materijal. Davatelj licence može + postaviti posebne zahtjeve, poput traženja da se sve promjene + označe ili opišu. Iako to nije zahtjev naših licenci, potiče se + poštivanje takvih zahtjeva gdje je to razumno. Više napomena za + javnost: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Priznanje-Dijeljenje pod istim uvjetima 4.0 Međunarodna javna licenca + +Korištenjem Licenciranih prava (definiranih u nastavku), prihvaćate i slažete se da ćete biti vezani uvjetima i odredbama ove Creative Commons Priznanje-Dijeljenje pod istim uvjetima 4.0 Međunarodne javne licence ("Javna licenca"). U mjeri u kojoj se ova Javna licenca može tumačiti kao ugovor, dodijeljena su vam Licencirana prava u zamjenu za vaše prihvaćanje ovih uvjeta i odredbi, a Davatelj licence vam dodjeljuje takva prava u zamjenu za koristi koje Davatelj licence dobiva stavljanjem Licenciranog materijala na raspolaganje pod ovim uvjetima i odredbama. + +Odjeljak 1 -- Definicije. + + a. Prilagođeni materijal znači materijal podložan autorskom pravu i + sličnim pravima koji je izveden iz ili temeljen na Licenciranom + materijalu i u kojem je Licencirani materijal preveden, + izmijenjen, aranžiran, transformiran ili na drugi način + modificiran na način koji zahtijeva dopuštenje prema autorskom + pravu i sličnim pravima koja drži Davatelj licence. Za potrebe + ove Javne licence, gdje je Licencirani materijal glazbeno djelo, + izvedba ili zvučni zapis, Prilagođeni materijal uvijek se + proizvodi kada je Licencirani materijal sinkroniziran u vremenskom + odnosu s pokretnom slikom. + + b. Licenca prilagoditelja znači licenca koju primjenjujete na svoja + autorska prava i slična prava u svojim doprinosima Prilagođenom + materijalu u skladu s uvjetima i odredbama ove Javne licence. + + c. Licenca kompatibilna s BY-SA znači licenca navedena na + creativecommons.org/compatiblelicenses, odobrena od strane + Creative Commonsa kao suštinski ekvivalent ove Javne licence. + + d. Autorska prava i slična prava znače autorska prava i/ili slična + prava usko povezana s autorskim pravom, uključujući, bez + ograničenja, prava na izvedbu, emitiranje, zvučni zapis i prava + sui generis na baze podataka, bez obzira na to kako su prava + označena ili kategorizirana. Za potrebe ove Javne licence, prava + navedena u Odjeljku 2(b)(1)-(2) nisu autorska prava i slična + prava. + + e. Učinkovite tehnološke mjere znače one mjere koje, u odsutnosti + odgovarajuće ovlasti, ne mogu biti zaobiđene prema zakonima koji + ispunjavaju obveze prema članku 11. WIPO Ugovora o autorskom + pravu usvojenog 20. prosinca 1996. i/ili sličnim međunarodnim + sporazumima. + + f. Iznimke i ograničenja znače poštenu upotrebu, pošteno postupanje + i/ili bilo koju drugu iznimku ili ograničenje autorskog prava i + sličnih prava koja se primjenjuju na vašu upotrebu Licenciranog + materijala. + + g. Elementi licence znače atribute licence navedene u nazivu Javne + licence Creative Commons. Elementi licence ove Javne licence su + Priznanje i Dijeljenje pod istim uvjetima. + + h. Licencirani materijal znači umjetničko ili književno djelo, + baza podataka ili drugi materijal na koji je Davatelj licence + primijenio ovu Javnu licencu. + + i. Licencirana prava znače prava dodijeljena vama pod uvjetima i + odredbama ove Javne licence, koja su ograničena na sva autorska + prava i slična prava koja se primjenjuju na vašu upotrebu + Licenciranog materijala i koja Davatelj licence ima ovlast + licencirati. + + j. Davatelj licence znači pojedinac(i) ili entitet(i) koji dodjeljuju + prava prema ovoj Javnoj licenci. + + k. Dijeljenje znači pružanje materijala javnosti bilo kojim sredstvom + ili procesom koji zahtijeva dopuštenje prema Licenciranim pravima, + poput reprodukcije, javnog prikazivanja, javne izvedbe, + distribucije, širenja, komunikacije ili uvoza, te stavljanje + materijala na raspolaganje javnosti, uključujući na načine koji + omogućuju članovima javnosti pristup materijalu s mjesta i u + vrijeme koje sami odaberu. + + l. Prava sui generis na baze podataka znače prava koja nisu autorska + prava, a proizlaze iz Direktive 96/9/EC Europskog parlamenta i + Vijeća od 11. ožujka 1996. o pravnoj zaštiti baza podataka, kako + je izmijenjena i/ili naslijeđena, kao i druga suštinski ekvivalentna + prava bilo gdje u svijetu. + + m. Vi znači pojedinac ili entitet koji koristi Licencirana prava + prema ovoj Javnoj licenci. Vaš ima odgovarajuće značenje. + +Odjeljak 2 -- Opseg. + + a. Dodjela licence. + + 1. Pod uvjetima i odredbama ove Javne licence, Davatelj licence + vam ovime dodjeljuje globalnu, besplatnu, ne-sublicencibilnu, + ne-ekskluzivnu, neopozivu licencu za korištenje Licenciranih + prava u Licenciranom materijalu kako biste: + + a. reproducirali i dijelili Licencirani materijal, u cijelosti + ili djelomično; i + + b. proizvodili, reproducirali i dijelili Prilagođeni materijal. + + 2. Iznimke i ograničenja. Radi izbjegavanja sumnje, gdje se + primjenjuju iznimke i ograničenja na vašu upotrebu, ova Javna + licenca se ne primjenjuje, i ne morate se pridržavati njezinih + uvjeta i odredbi. + + 3. Trajanje. Trajanje ove Javne licence navedeno je u Odjeljku + 6(a). + + 4. Mediji i formati; dopuštene tehničke izmjene. Davatelj licence + ovlašćuje vas da koristite Licencirana prava u svim medijima i + formatima, bilo poznatim ili budućim, te da napravite tehničke + izmjene potrebne za to. Davatelj licence odriče se i/ili + pristaje ne isticati bilo koje pravo ili ovlast da vam zabrani + tehničke izmjene potrebne za korištenje Licenciranih prava, + uključujući tehničke izmjene potrebne za zaobilaženje + Učinkovitih tehnoloških mjera. Za potrebe ove Javne licence, + samo izrada izmjena ovlaštenih ovim Odjeljkom 2(a)(4) nikada + ne proizvodi Prilagođeni materijal. + + 5. Primatelji nizvodno. + + a. Ponuda Davatelja licence -- Licencirani materijal. Svaki + primatelj Licenciranog materijala automatski prima ponudu + Davatelja licence za korištenje Licenciranih prava pod + uvjetima i odredbama ove Javne licence. + + b. Dodatna ponuda Davatelja licence -- Prilagođeni materijal. + Svaki primatelj Prilagođenog materijala od vas automatski + prima ponudu Davatelja licence za korištenje Licenciranih + prava u Prilagođenom materijalu pod uvjetima Licence + prilagoditelja koju primjenjujete. + + c. Bez ograničenja nizvodno. Ne smijete ponuditi ili nametnuti + nikakve dodatne ili različite uvjete ili odredbe, niti + primijeniti bilo koje Učinkovite tehnološke mjere na + Licencirani materijal ako to ograničava korištenje + Licenciranih prava od strane bilo kojeg primatelja + Licenciranog materijala. + + 6. Bez odobrenja. Ništa u ovoj Javnoj licenci ne predstavlja niti + se može tumačiti kao dopuštenje za tvrdnju ili impliciranje da + ste vi, ili da je vaša upotreba Licenciranog materijala, + povezana s, sponzorirana, odobrena ili dodijeljena službeni + status od strane Davatelja licence ili drugih označenih za + primanje priznanja kako je navedeno u Odjeljku 3(a)(1)(A)(i). + + b. Ostala prava. + + 1. Moralna prava, poput prava na integritet, nisu licencirana + prema ovoj Javnoj licenci, niti su prava na javnost, privatnost + i/ili druga slična prava osobnosti; međutim, u mjeri u kojoj je + to moguće, Davatelj licence odriče se i/ili pristaje ne isticati + takva prava koja drži Davatelj licence u ograničenoj mjeri + potrebnoj za omogućavanje korištenja Licenciranih prava, ali ne + inače. + + 2. Prava na patente i žigove nisu licencirana prema ovoj Javnoj + licenci. + + 3. U mjeri u kojoj je to moguće, Davatelj licence odriče se + bilo kojeg prava na prikupljanje naknada od vas za korištenje + Licenciranih prava, bilo izravno ili putem društva za + prikupljanje naknada prema bilo kojem dobrovoljnom ili + odricajućem zakonskom ili obveznom licencnom režimu. U svim + ostalim slučajevima Davatelj licence izričito zadržava pravo + na prikupljanje takvih naknada. +Prava, zatim baza podataka u kojoj imate prava sui generis na bazu podataka (ali ne i njezin pojedinačni sadržaj) je prilagođeni materijal, + +uključujući za svrhe iz Odjeljka 3(b); i +c. Morate se pridržavati uvjeta iz Odjeljka 3(a) ako dijelite cijeli ili značajan dio sadržaja baze podataka. + +Radi izbjegavanja sumnje, ovaj Odjeljak 4 dopunjuje i ne zamjenjuje vaše obveze prema ovoj javnoj licenci gdje licencirana prava uključuju druga autorska prava i slična prava. + +--- + +Odjeljak 5 -- Odricanje od jamstava i ograničenje odgovornosti. + +a. OSIM AKO LICENCODAVAC NIJE IZRIČITO DRUGAČIJE ODREDIO, U NAJVEĆOJ MOGUĆOJ MJERI LICENCODAVAC NUDI LICENCIRANI MATERIJAL "TAKAV KAKAV JE" I "DOSTUPAN", TE NE DAJE NIKAKVE IZJAVE ILI JAMSTVA BILO KOJE VRSTE U VEZI S LICENCIRANIM MATERIJALOM, BILO IZRIČITA, IMPLICIRANA, ZAKONSKA ILI DRUGA. TO UKLJUČUJE, BEZ OGRANIČENJA, JAMSTVA O VLASNIŠTVU, PRODAJNOSTI, PRIKLADNOSTI ZA ODREĐENU SVRHU, NEKRŠENJE, ODSUTNOST SKRIVENIH ILI DRUGIH NEDOSTATAKA, TOČNOST, ILI PRISUTNOST ILI ODSUTNOST POGREŠAKA, BILO DA SU POZNATE ILI OTKRIVENE. GDJE ODRICANJE OD JAMSTAVA NIJE DOZVOLJENO U CIJELOSTI ILI DJELOMIČNO, OVO ODRICANJE MOŽDA SE NE PRIMJENJUJE NA VAS. + +b. U NAJVEĆOJ MOGUĆOJ MJERI, LICENCODAVAC NI U KOJEM SLUČAJU NEĆE BITI ODGOVORAN VAMA NA TEMELJU BILO KOJE PRAVNE TEORIJE (UKLJUČUJUĆI, BEZ OGRANIČENJA, NEMAR) ILI DRUGAČIJE ZA BILO KAKVE IZRAVNE, POSEBNE, NEIZRAVNE, SLUČAJNE, POSLJEDIČNE, KAZNENE, PRIMJERNE ILI DRUGE GUBITKE, TROŠKOVE, IZDATKE ILI ŠTETE KOJE PROIZLAZE IZ OVE JAVNE LICENCE ILI KORIŠTENJA LICENCIRANOG MATERIJALA, ČAK I AKO JE LICENCODAVAC BIO OBAVIJEŠTEN O MOGUĆNOSTI TAKVIH GUBITAKA, TROŠKOVA, IZDATAKA ILI ŠTETA. GDJE OGRANIČENJE ODGOVORNOSTI NIJE DOZVOLJENO U CIJELOSTI ILI DJELOMIČNO, OVO OGRANIČENJE MOŽDA SE NE PRIMJENJUJE NA VAS. + +c. Odricanje od jamstava i ograničenje odgovornosti navedeno gore treba se tumačiti na način koji, u najvećoj mogućoj mjeri, najbliže odgovara apsolutnom odricanju i odustajanju od sve odgovornosti. + +--- + +Odjeljak 6 -- Trajanje i prestanak. + +a. Ova javna licenca primjenjuje se za trajanje autorskih prava i sličnih prava licenciranih ovdje. Međutim, ako se ne pridržavate ove javne licence, vaša prava prema ovoj javnoj licenci automatski prestaju. + +b. Kada vaše pravo na korištenje licenciranog materijala prestane prema Odjeljku 6(a), ono se ponovno uspostavlja: + +1. automatski na datum kada se kršenje ispravi, pod uvjetom da se ispravi unutar 30 dana od vašeg otkrića kršenja; ili +2. uz izričitu ponovnu uspostavu od strane licencodavca. + +Radi izbjegavanja sumnje, ovaj Odjeljak 6(b) ne utječe na bilo koje pravo koje licencodavac može imati da traži pravne lijekove za vaša kršenja ove javne licence. + +c. Radi izbjegavanja sumnje, licencodavac također može ponuditi licencirani materijal pod zasebnim uvjetima ili prestati distribuirati licencirani materijal u bilo kojem trenutku; međutim, to neće prekinuti ovu javnu licencu. + +d. Odjeljci 1, 5, 6, 7 i 8 ostaju na snazi nakon prestanka ove javne licence. + +--- + +Odjeljak 7 -- Ostali uvjeti i odredbe. + +a. Licencodavac nije obvezan dodatnim ili različitim uvjetima i odredbama koje vi komunicirate, osim ako ih izričito ne prihvati. + +b. Bilo koji dogovori, razumijevanja ili sporazumi u vezi s licenciranim materijalom koji nisu navedeni ovdje su odvojeni i neovisni od uvjeta i odredbi ove javne licence. + +--- + +Odjeljak 8 -- Tumačenje. + +a. Radi izbjegavanja sumnje, ova javna licenca ne smanjuje, ograničava, ograničava ili nameće uvjete za bilo kakvo korištenje licenciranog materijala koje bi se moglo zakonito provesti bez dopuštenja prema ovoj javnoj licenci. + +b. U najvećoj mogućoj mjeri, ako se bilo koja odredba ove javne licence smatra neprovedivom, automatski će se reformirati u najmanjoj mjeri potrebnoj da postane provediva. Ako se odredba ne može reformirati, bit će odvojena od ove javne licence bez utjecaja na provedivost preostalih uvjeta i odredbi. + +c. Nijedan uvjet ili odredba ove javne licence neće biti odustani niti će se pristati na nepoštivanje, osim ako to izričito ne prihvati licencodavac. + +d. Ništa u ovoj javnoj licenci ne predstavlja niti se može tumačiti kao ograničenje ili odricanje od bilo kakvih privilegija i imuniteta koji se primjenjuju na licencodavca ili vas, uključujući od pravnih postupaka bilo koje jurisdikcije ili vlasti. + +--- + +======================================================================= + +Creative Commons nije stranka svojih javnih licenci. Bez obzira na to, Creative Commons može odlučiti primijeniti jednu od svojih javnih licenci na materijal koji objavljuje i u tim slučajevima će se smatrati "licencodavcem". Tekst javnih licenci Creative Commonsa posvećen je javnoj domeni prema CC0 posveti javnoj domeni. Osim za ograničenu svrhu označavanja da je materijal podijeljen pod javnom licencom Creative Commonsa ili kako je drugačije dopušteno prema politikama Creative Commonsa objavljenim na creativecommons.org/policies, Creative Commons ne dopušta korištenje zaštitnog znaka "Creative Commons" ili bilo kojeg drugog zaštitnog znaka ili logotipa Creative Commonsa bez prethodnog pisanog pristanka, uključujući, bez ograničenja, u vezi s bilo kakvim neovlaštenim izmjenama bilo koje od njegovih javnih licenci ili bilo kojim drugim dogovorima, razumijevanjima ili sporazumima u vezi s korištenjem licenciranog materijala. Radi izbjegavanja sumnje, ovaj odlomak nije dio javnih licenci. + +Creative Commons možete kontaktirati na creativecommons.org. + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za nesporazume ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/hr/sketchnotes/README.md b/translations/hr/sketchnotes/README.md new file mode 100644 index 00000000..2bf43581 --- /dev/null +++ b/translations/hr/sketchnotes/README.md @@ -0,0 +1,21 @@ + +Sve sketchnoteovi kurikuluma mogu se preuzeti ovdje. + +🖨 Za ispis u visokoj rezoluciji, TIFF verzije dostupne su na [ovom repozitoriju](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Autor: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +--- + +**Odricanje od odgovornosti**: +Ovaj dokument je preveden korištenjem AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati mjerodavnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane stručnjaka. Ne preuzimamo odgovornost za bilo kakva nesporazuma ili pogrešna tumačenja koja mogu proizaći iz korištenja ovog prijevoda. \ No newline at end of file diff --git a/translations/my/1-Introduction/1-intro-to-ML/README.md b/translations/my/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 00000000..0f6b9d33 --- /dev/null +++ b/translations/my/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,159 @@ + +# စက်ရုပ်သင်ယူမှုအကြောင်းအရာ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML for beginners - စက်ရုပ်သင်ယူမှုအကြောင်းအရာ") + +> 🎥 အပေါ်ရှိပုံကိုနှိပ်ပြီး ဒီသင်ခန်းစာကို လိုက်လံလေ့လာပါ။ + +စက်ရုပ်သင်ယူမှုအကြောင်းအရာကို စတင်လေ့လာရန် ဒီသင်ခန်းစာကို ကြိုဆိုပါတယ်။ သင်သည် ဒီအကြောင်းအရာကို လုံးဝအသစ်ဖြစ်စေ၊ ML အတွေ့အကြုံရှိသူဖြစ်စေ၊ ကျွန်ုပ်တို့နှင့်အတူ လေ့လာရန် ဝမ်းသာစွာကြိုဆိုပါတယ်။ ML ကို စတင်လေ့လာရန် သင့်အတွက် သက်တောင့်သက်သာရှိသော အခြေခံနေရာတစ်ခု ဖန်တီးရန် ကျွန်ုပ်တို့ရည်ရွယ်ထားပြီး သင်၏ [အကြံပြုချက်](https://github.com/microsoft/ML-For-Beginners/discussions) ကိုလည်း လက်ခံပြီး တုံ့ပြန်ပေးပါမည်။ + +[](https://youtu.be/h0e2HAPTGF4 "Introduction to ML") + +> 🎥 အပေါ်ရှိပုံကိုနှိပ်ပြီး MIT မှ John Guttag ၏ စက်ရုပ်သင်ယူမှုအကြောင်းအရာကို ကြည့်ရှုပါ။ + +--- +## စက်ရုပ်သင်ယူမှုကို စတင်လေ့လာခြင်း + +ဒီသင်ခန်းစာကို စတင်မတိုင်မီ သင့်ကွန်ပျူတာကို notebook များကို ဒေသတွင်းတွင် အဆင်ပြေစွာ အသုံးပြုနိုင်ရန် ပြင်ဆင်ထားရမည်။ + +- **သင့်စက်ကို ဤဗီဒီယိုများဖြင့် ပြင်ဆင်ပါ**။ [Python](https://youtu.be/CXZYvNRIAKM) ကို သင့်စနစ်တွင် ထည့်သွင်းနည်းနှင့် [စာသားတည်းဖြတ်ရေးကိရိယာ](https://youtu.be/EU8eayHWoZg) ကို စတင်အသုံးပြုနည်းကို လေ့လာရန် အောက်ပါလင့်ခ်များကို အသုံးပြုပါ။ +- **Python ကို လေ့လာပါ**။ [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) အခြေခံကို သိရှိထားရန် အကြံပြုပါသည်။ Python သည် ဒေတာသိပ္ပံပညာရှင်များအတွက် အသုံးဝင်သော programming language ဖြစ်ပြီး ဒီသင်ခန်းစာတွင် အသုံးပြုပါမည်။ +- **Node.js နှင့် JavaScript ကို လေ့လာပါ**။ ဒီသင်ခန်းစာတွင် web app များတည်ဆောက်ရာတွင် JavaScript ကို အနည်းငယ်အသုံးပြုမည်ဖြစ်သောကြောင့် [node](https://nodejs.org) နှင့် [npm](https://www.npmjs.com/) ကို ထည့်သွင်းထားရန် လိုအပ်ပါသည်။ Python နှင့် JavaScript တို့အတွက် [Visual Studio Code](https://code.visualstudio.com/) ကိုလည်း အသုံးပြုနိုင်ရန် ပြင်ဆင်ထားပါ။ +- **GitHub အကောင့်တစ်ခု ဖန်တီးပါ**။ သင် [GitHub](https://github.com) တွင် ကျွန်ုပ်တို့ကို ရှာဖွေတွေ့ရှိခဲ့သောကြောင့် အကောင့်ရှိပြီးဖြစ်နိုင်သော်လည်း မရှိသေးပါက အကောင့်တစ်ခု ဖန်တီးပြီး ဒီသင်ခန်းစာကို fork လုပ်ပါ။ (ကျွန်ုပ်တို့ကို star တစ်ခုလည်း ပေးပါ 😊) +- **Scikit-learn ကို လေ့လာပါ**။ [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) သည် ML libraries များဖြစ်ပြီး ဒီသင်ခန်းစာများတွင် ကိုးကားအသုံးပြုမည်ဖြစ်သည်။ + +--- +## စက်ရုပ်သင်ယူမှုဆိုတာဘာလဲ? + +'Sစက်ရုပ်သင်ယူမှု' ဆိုသော စကားလုံးသည် ယနေ့ခေတ်တွင် အလွန်လူကြိုက်များပြီး မကြာခဏအသုံးပြုသော စကားလုံးတစ်ခုဖြစ်သည်။ သင်သည် နည်းပညာနှင့် ရင်းနှီးပြီး အလုပ်အကိုင်မည်သည့်နယ်ပယ်တွင်မဆို ဒီစကားလုံးကို အနည်းဆုံးတစ်ကြိမ်တော့ ကြားဖူးနိုင်ပါသည်။ သို့သော် စက်ရုပ်သင်ယူမှု၏ လုပ်ဆောင်ပုံများသည် လူအများအတွက် နက်နဲသောအရာတစ်ခုဖြစ်သည်။ စက်ရုပ်သင်ယူမှုကို စတင်လေ့လာသူများအတွက် အခါအားလျော်စွာ အလွန်ခက်ခဲသောအရာတစ်ခုလို ခံစားရနိုင်သည်။ ထို့ကြောင့် စက်ရုပ်သင်ယူမှုဆိုတာဘာလဲဆိုတာကို နားလည်ရန်အရေးကြီးပြီး လက်တွေ့နမူနာများဖြင့် အဆင့်ဆင့်လေ့လာသင့်သည်။ + +--- +## Hype curve + + + +> Google Trends မှ 'machine learning' စကားလုံး၏ နောက်ဆုံးရ 'hype curve' ကို ပြသထားသည်။ + +--- +## အံ့ဖွယ်ကမ္ဘာ + +ကျွန်ုပ်တို့သည် အံ့ဖွယ်အရာများနှင့် ပြည့်နှက်နေသော ကမ္ဘာတစ်ခုတွင် နေထိုင်ကြသည်။ Stephen Hawking, Albert Einstein စသည်ဖြင့် အထင်ကရ သိပ္ပံပညာရှင်များသည် ကမ္ဘာ့အကြောင်းအရာများကို ရှာဖွေဖော်ထုတ်ရန် အသက်ကို အလုံးစုံအပ်နှံခဲ့ကြသည်။ လူသားများသည် အသက်အရွယ်ကြီးလာသည်နှင့်အမျှ ကမ္ဘာ့ဖွဲ့စည်းပုံကို ရှာဖွေဖော်ထုတ်သည့် သင်ယူမှုအခြေအနေဖြစ်သည်။ + +--- +## ကလေး၏ ဦးနှောက် + +ကလေး၏ ဦးနှောက်နှင့် အာရုံခံကိရိယာများသည် ပတ်ဝန်းကျင်မှ အချက်အလက်များကို သိရှိပြီး gradually hidden patterns များကို သင်ယူသည်။ ဒီသင်ယူမှုသည် ကလေးကို logical rules များဖန်တီးရန် အထောက်အကူပြုသည်။ လူသား၏ ဦးနှောက်သည် hidden patterns များကို ရှာဖွေဖော်ထုတ်ပြီး အဆင့်ဆင့်တိုးတက်လာစေသည်။ ဒီသင်ယူနိုင်စွမ်းနှင့် တိုးတက်နိုင်စွမ်းသည် [brain plasticity](https://www.simplypsychology.org/brain-plasticity.html) ဆိုသော အယူအဆနှင့် ဆက်စပ်နေသည်။ လူသား၏ ဦးနှောက်၏ သင်ယူမှုနှင့် စက်ရုပ်သင်ယူမှု၏ အယူအဆများအကြား motivational similarities များကို ရှာဖွေနိုင်သည်။ + +--- +## လူသား၏ ဦးနှောက် + +[lူသား၏ ဦးနှောက်](https://www.livescience.com/29365-human-brain.html) သည် အပြင်လောကမှ အချက်အလက်များကို သိရှိပြီး အချက်အလက်များကို လုပ်ဆောင်မှုအခြေအနေအရ ဆုံးဖြတ်ချက်များကို ချမှတ်သည်။ ဒီလိုလုပ်ဆောင်မှုကို intelligent behavior ဟုခေါ်သည်။ ဒီ intelligent behavior ကို စက်တစ်ခုတွင် program လုပ်ခြင်းသည် artificial intelligence (AI) ဟုခေါ်သည်။ + +--- +## အဓိကအသုံးအနှုန်းများ + +စကားလုံးများသည် အလွယ်တကူ ရောထွေးနိုင်သော်လည်း machine learning (ML) သည် artificial intelligence ၏ အရေးပါသော အခွဲတစ်ခုဖြစ်သည်။ **ML သည် အထူး algorithm များကို အသုံးပြု၍ hidden patterns များကို ရှာဖွေဖော်ထုတ်ပြီး အချက်အလက်များကို အသုံးပြု၍ ဆုံးဖြတ်ချက်များကို အတည်ပြုရန် အရေးပါသော အချက်အလက်များကို ရှာဖွေဖော်ထုတ်ခြင်းနှင့် ဆက်စပ်နေသည်**။ + +--- +## AI, ML, Deep Learning + + + +> AI, ML, deep learning, data science တို့၏ ဆက်စပ်မှုကို ပြသထားသော diagram။ [Jen Looper](https://twitter.com/jenlooper) မှ [ဒီ graphic](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) ကို အခြေခံ၍ ဖန်တီးထားသည်။ + +--- +## လေ့လာရန် အကြောင်းအရာများ + +ဒီသင်ခန်းစာတွင် စက်ရုပ်သင်ယူမှု၏ အဓိကအကြောင်းအရာများကိုသာ လေ့လာမည်ဖြစ်သည်။ ကျွန်ုပ်တို့သည် classical machine learning ကို Scikit-learn ကို အသုံးပြု၍ အဓိကအခြေခံများကို လေ့လာမည်ဖြစ်သည်။ artificial intelligence သို့မဟုတ် deep learning ၏ ကျယ်ပြန့်သော အကြောင်းအရာများကို နားလည်ရန် ML အခြေခံကို သိရှိထားရန် အရေးကြီးသည်။ + +--- +## ဒီသင်ခန်းစာတွင် သင်လေ့လာမည့်အရာများ: + +- စက်ရုပ်သင်ယူမှု၏ အဓိကအကြောင်းအရာများ +- ML ၏ သမိုင်းကြောင်း +- ML နှင့် တရားမျှတမှု +- regression ML နည်းလမ်းများ +- classification ML နည်းလမ်းများ +- clustering ML နည်းလမ်းများ +- natural language processing ML နည်းလမ်းများ +- time series forecasting ML နည်းလမ်းများ +- reinforcement learning +- ML ၏ လက်တွေ့အသုံးချမှုများ + +--- +## ကျွန်ုပ်တို့ မလေ့လာမည့်အရာများ + +- deep learning +- neural networks +- AI + +သင်ယူမှုကို ပိုမိုလွယ်ကူစေရန် neural networks, deep learning, AI တို့၏ ရှုပ်ထွေးမှုများကို ရှောင်ရှားမည်ဖြစ်သည်။ ကျွန်ုပ်တို့သည် data science curriculum တစ်ခုကို လာမည့်အချိန်တွင် တင်ဆက်မည်ဖြစ်သည်။ + +--- +## စက်ရုပ်သင်ယူမှုကို ဘာကြောင့်လေ့လာရမလဲ? + +စနစ်အမြင်မှ machine learning ကို data မှ hidden patterns များကို ရှာဖွေဖော်ထုတ်ပြီး intelligent decisions များကို အထောက်အကူပြုရန် automated systems များဖန်တီးခြင်းဟု သတ်မှတ်သည်။ + +ဒီ motivation သည် လူသား၏ ဦးနှောက်သည် အပြင်လောကမှ perceives data ကို အသုံးပြု၍ သင်ယူပုံကို အနည်းငယ်အခြေခံထားသည်။ + +✅ စဉ်းစားကြည့်ပါ - ဘာကြောင့် စီးပွားရေးလုပ်ငန်းတစ်ခုသည် hard-coded rules-based engine တစ်ခု ဖန်တီးခြင်းအစား machine learning strategies များကို အသုံးပြုရန် ကြိုးစားမည်နည်း။ + +--- +## စက်ရုပ်သင်ယူမှု၏ အသုံးချမှုများ + +စက်ရုပ်သင်ယူမှု၏ အသုံးချမှုများသည် ယနေ့ခေတ်တွင် data များနှင့်အတူ နေရာတိုင်းတွင် ရှိနေသည်။ state-of-the-art ML algorithms များ၏ အလွန်ကြီးမားသော potential ကို ရှာဖွေဖော်ထုတ်ရန် သုတေသနများကို လုပ်ဆောင်နေကြသည်။ + +--- +## ML ကို လက်တွေ့အသုံးချမှုများ + +**စက်ရုပ်သင်ယူမှုကို အမျိုးမျိုးအသုံးပြုနိုင်သည်**: + +- လူနာ၏ ဆေးဘက်ဆိုင်ရာမှတ်တမ်းများမှ ရောဂါဖြစ်နိုင်ခြေကို ခန့်မှန်းရန် +- ရာသီဥတုအချက်အလက်များကို အသုံးပြု၍ ရာသီဥတုဖြစ်နိုင်ခြေကို ခန့်မှန်းရန် +- စာသား၏ စိတ်ထားကို နားလည်ရန် +- အတုသတင်းများကို ရှာဖွေဖော်ထုတ်ပြီး propaganda ကို ရပ်တန့်ရန် + +Finance, economics, earth science, space exploration, biomedical engineering, cognitive science, humanities စသည်တို့တွင် ML ကို အသုံးပြု၍ data-processing-heavy problems များကို ဖြေရှင်းနေကြသည်။ + +--- +## နိဂုံး + +စက်ရုပ်သင်ယူမှုသည် real-world သို့မဟုတ် generated data မှ hidden patterns များကို ရှာဖွေဖော်ထုတ်ပြီး အရေးပါသော insights များကို ရှာဖွေဖော်ထုတ်သည်။ စီးပွားရေး, ကျန်းမာရေး, ငွေကြေး application များတွင် အလွန်တန်ဖိုးရှိသည်။ + +အနာဂတ်တွင် ML အခြေခံကို နားလည်ခြင်းသည် နယ်ပယ်မည်သည့်နယ်ပယ်မှမဆို လူတိုင်းအတွက် မဖြစ်မနေလိုအပ်လာမည်။ + +--- +# 🚀 စိန်ခေါ်မှု + +AI, ML, deep learning, data science တို့၏ ကွာခြားချက်များကို သင်၏ နားလည်မှုကို [Excalidraw](https://excalidraw.com/) ကဲ့သို့သော online app သို့မဟုတ် စက္ကူပေါ်တွင် ရေးဆွဲပါ။ အခြားနည်းလမ်းများဖြင့် ဖြေရှင်းနိုင်သော ပြဿနာများကို ထည့်သွင်းပါ။ + +# [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +--- +# ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +ML algorithms များကို cloud တွင် အသုံးပြုနည်းကို လေ့လာရန် [Learning Path](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott) ကို လိုက်နာပါ။ + +ML အခြေခံများကို လေ့လာရန် [Learning Path](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) ကို လိုက်နာပါ။ + +--- +# လုပ်ငန်းတာဝန် + +[Get up and running](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/1-intro-to-ML/assignment.md b/translations/my/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 00000000..2f4c1515 --- /dev/null +++ b/translations/my/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,23 @@ + +# စတင်ပြီး အလုပ်လုပ်နိုင်ရန် + +## လမ်းညွှန်ချက်များ + +ဒီအမှတ်မပေးတဲ့အလုပ်မှာ Python ကို ပြန်လည်လေ့လာပြီး သင့်ပတ်ဝန်းကျင်ကို ပြင်ဆင်ထားကာ notebook များကို အလုပ်လုပ်နိုင်အောင် ပြင်ဆင်ပါ။ + +ဒီ [Python Learning Path](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) ကို လိုက်နာပြီး၊ အောက်ပါ အနိမ့်အဆင့်ဗီဒီယိုများကို ကြည့်ပြီး သင့်စနစ်များကို ပြင်ဆင်ပါ။ + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတရ အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားယူမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/2-history-of-ML/README.md b/translations/my/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 00000000..a26882d9 --- /dev/null +++ b/translations/my/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,140 @@ + +# စက်ရုပ်သင်ယူမှု၏ သမိုင်းကြောင်း + + +> Sketchnote by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML for beginners - History of Machine Learning") + +> 🎥 အထက်ပါပုံကို နှိပ်ပြီး ဒီသင်ခန်းစာကို ရှင်းလင်းထားသော ဗီဒီယိုကို ကြည့်ပါ။ + +ဒီသင်ခန်းစာမှာ စက်ရုပ်သင်ယူမှုနှင့် အတုအမြင့်တုအာရုံ၏ သမိုင်းကြောင်းတွင် အရေးပါသော အခန်းကဏ္ဍများကို လေ့လာသွားပါမည်။ + +အတုအမြင့်တုအာရုံ (AI) ၏ သမိုင်းကြောင်းသည် စက်ရုပ်သင်ယူမှု၏ သမိုင်းကြောင်းနှင့် ဆက်စပ်နေပြီး ML ကို အခြေခံသော algorithm များနှင့် ကွန်ပျူတာတိုးတက်မှုများသည် AI ၏ ဖွံ့ဖြိုးတိုးတက်မှုကို အထောက်အကူပြုခဲ့သည်။ ဒီနယ်ပယ်များသည် 1950 ခုနှစ်များတွင် သီးခြားသော သုတေသနနယ်ပယ်များအဖြစ် ပုံသွင်းလာခဲ့သော်လည်း [algorithm, statistical, mathematical, computational နှင့် technical discoveries](https://wikipedia.org/wiki/Timeline_of_machine_learning) များသည် ဒီကာလမတိုင်မီ ရှိခဲ့ပြီး အချို့ overlap ဖြစ်ခဲ့သည်။ အမှန်တကယ်တော့ လူသားများသည် [ရာစုနှစ်များစွာ](https://wikipedia.org/wiki/History_of_artificial_intelligence) အတွင်း ဒီမေးခွန်းများကို စဉ်းစားခဲ့ကြသည်။ ဒီဆောင်းပါးသည် 'စဉ်းစားနိုင်သော စက်' ၏ အတွေးအမြင်၏ သမိုင်းဆိုင်ရာ အခြေခံအမြင်များကို ဆွေးနွေးထားသည်။ + +--- +## အရေးပါသော ရှာဖွေတွေ့ရှိမှုများ + +- 1763, 1812 [Bayes Theorem](https://wikipedia.org/wiki/Bayes%27_theorem) နှင့် ၎င်း၏ ရှေးဦးများ။ ဒီသီအိုရီသည် အကြိုသိရှိမှုအပေါ် အခြေခံပြီး ဖြစ်နိုင်ခြေကို ဖော်ပြသော inference ကို အခြေခံသည်။ +- 1805 [Least Square Theory](https://wikipedia.org/wiki/Least_squares) ကို ပြင်သစ်ဂဏန်းသိပ္ပံပညာရှင် Adrien-Marie Legendre မှ တီထွင်ခဲ့သည်။ ဒီသီအိုရီကို Regression unit တွင် လေ့လာရမည်ဖြစ်ပြီး ဒေတာ fitting ကို အထောက်အကူပြုသည်။ +- 1913 [Markov Chains](https://wikipedia.org/wiki/Markov_chain) ကို ရုရှားဂဏန်းသိပ္ပံပညာရှင် Andrey Markov မှ တီထွင်ခဲ့ပြီး အခြေခံအခြေအနေအပေါ် အခြေခံသော ဖြစ်နိုင်သော အဖြစ်အပျက်များ၏ အစဉ်အလာကို ဖော်ပြသည်။ +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) ကို အမေရိကန် စိတ်ပညာရှင် Frank Rosenblatt မှ တီထွင်ခဲ့ပြီး deep learning တိုးတက်မှုများ၏ အခြေခံဖြစ်သည်။ + +--- + +- 1967 [Nearest Neighbor](https://wikipedia.org/wiki/Nearest_neighbor) ကို route များကို map ပြုလုပ်ရန် အစတင်ဖန်တီးခဲ့သည်။ ML context တွင် pattern များကို ရှာဖွေဖော်ထုတ်ရန် အသုံးပြုသည်။ +- 1970 [Backpropagation](https://wikipedia.org/wiki/Backpropagation) ကို [feedforward neural networks](https://wikipedia.org/wiki/Feedforward_neural_network) များကို training ပြုလုပ်ရန် အသုံးပြုသည်။ +- 1982 [Recurrent Neural Networks](https://wikipedia.org/wiki/Recurrent_neural_network) ကို feedforward neural networks မှ ဆင်းသက်လာပြီး အချိန်ဇယားများကို ဖန်တီးသည်။ + +✅ သုတေသနအနည်းငယ် ပြုလုပ်ပါ။ ML နှင့် AI ၏ သမိုင်းကြောင်းတွင် အရေးပါသော အခြားသော ရက်စွဲများကို ရှာဖွေပါ။ + +--- +## 1950: စဉ်းစားနိုင်သော စက်များ + +Alan Turing သည် 2019 ခုနှစ်တွင် [လူထုမှ](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) 20 ရာစု၏ အကြီးမားဆုံး သိပ္ပံပညာရှင်အဖြစ် မဲပေးရွေးချယ်ခံရသော ထူးချွန်သောပုဂ္ဂိုလ်ဖြစ်ပြီး 'စဉ်းစားနိုင်သော စက်' ၏ အခြေခံအမြင်ကို တည်ဆောက်ရန် အထောက်အကူပြုခဲ့သည်။ ၎င်းသည် [Turing Test](https://www.bbc.com/news/technology-18475646) ကို ဖန်တီးခြင်းဖြင့် ဒီအမြင်ကို အတည်ပြုရန် ကြိုးစားခဲ့သည်။ Turing Test ကို NLP သင်ခန်းစာများတွင် လေ့လာရမည်။ + +--- +## 1956: Dartmouth Summer Research Project + +"Dartmouth Summer Research Project on artificial intelligence သည် အတုအမြင့်တုအာရုံနယ်ပယ်အတွက် အရေးပါသော အခန်းကဏ္ဍတစ်ခုဖြစ်ပြီး ဒီနေရာတွင် 'artificial intelligence' ဆိုသော စကားလုံးကို ပထမဆုံး အသုံးပြုခဲ့သည်။" ([source](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)) + +> သင်ယူမှု၏ အပိုင်းအစများ သို့မဟုတ် ဉာဏ်ရည်၏ အခြားသော လက္ခဏာများကို စက်တစ်ခုမှ simulation ပြုလုပ်နိုင်ရန် အလွန်တိကျစွာ ဖော်ပြနိုင်သည်။ + +--- + +ဦးဆောင်သုတေသနပညာရှင်ဖြစ်သော ဂဏန်းသိပ္ပံပညာရှင် John McCarthy သည် "သင်ယူမှု၏ အပိုင်းအစများ သို့မဟုတ် ဉာဏ်ရည်၏ အခြားသော လက္ခဏာများကို စက်တစ်ခုမှ simulation ပြုလုပ်နိုင်ရန် အလွန်တိကျစွာ ဖော်ပြနိုင်သည်" ဆိုသော အယူအဆအပေါ် အခြေခံ၍ ဆက်လက်လုပ်ဆောင်ရန် မျှော်လင့်ခဲ့သည်။ ၎င်း၏ ပါဝင်သူများတွင် Marvin Minsky ကဲ့သို့သော နယ်ပယ်၏ ထူးချွန်သောပုဂ္ဂိုလ်တစ်ဦးလည်း ပါဝင်ခဲ့သည်။ + +ဒီ workshop ကို "symbolic methods, limited domains (early expert systems), deductive systems နှင့် inductive systems" တိုးတက်မှုများကို စတင်ပြီး အားပေးခဲ့သည်ဟု သတ်မှတ်ထားသည်။ ([source](https://wikipedia.org/wiki/Dartmouth_workshop)) + +--- +## 1956 - 1974: "ရွှေခေတ်" + +1950 ခုနှစ်များမှ 1970 ခုနှစ်ဝန်းကျင်အထိ AI သည် အများပြည်သူ၏ ပြဿနာများကို ဖြေရှင်းနိုင်မည်ဟု မျှော်လင့်မှုများ အလွန်မြင့်မားခဲ့သည်။ 1967 ခုနှစ်တွင် Marvin Minsky သည် "တစ်မျိုးဆက်အတွင်း ... 'artificial intelligence' ဖန်တီးခြင်း၏ ပြဿနာကို အများအားဖြင့် ဖြေရှင်းနိုင်မည်" ဟု ယုံကြည်စွာ ပြောကြားခဲ့သည်။ (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +natural language processing သုတေသနများ တိုးတက်မှုရှိခဲ့ပြီး ရှာဖွေမှုများကို ပိုမိုစွမ်းဆောင်နိုင်စေခဲ့သည်။ 'micro-worlds' ဆိုသော အတွေးအမြင်ကို ဖန်တီးခဲ့ပြီး ရိုးရှင်းသော လုပ်ငန်းများကို ရိုးရှင်းသော စကားလုံးများဖြင့် ပြုလုပ်နိုင်ခဲ့သည်။ + +--- + +သုတေသနများကို အစိုးရအေဂျင်စီများမှ ရန်ပုံငွေထောက်ပံ့ခဲ့ပြီး ကွန်ပျူတာနှင့် algorithm များတွင် တိုးတက်မှုများ ရှိခဲ့သည်။ ဉာဏ်ရည်ရှိသော စက်များ၏ prototype များကို ဖန်တီးခဲ့သည်။ ၎င်းတို့ထဲတွင် ပါဝင်သော စက်များမှာ - + +* [Shakey the robot](https://wikipedia.org/wiki/Shakey_the_robot) သည် လှုပ်ရှားနိုင်ပြီး 'ဉာဏ်ရည်ရှိ' လုပ်ငန်းများကို ဆုံးဖြတ်နိုင်သည်။ + +  + > Shakey in 1972 + +--- + +* Eliza သည် စောစောပိုင်း 'chatterbot' တစ်ခုဖြစ်ပြီး လူများနှင့် စကားပြောနိုင်သည်။ ၎င်းသည် primitive 'therapist' အဖြစ် လုပ်ဆောင်နိုင်သည်။ Eliza ကို NLP သင်ခန်းစာများတွင် ပိုမိုလေ့လာရမည်။ + +  + > Eliza ၏ version တစ်ခု + +--- + +* "Blocks world" သည် blocks များကို စုစည်းခြင်းနှင့် စီမံခြင်းကို ပြုလုပ်နိုင်သော micro-world တစ်ခုဖြစ်ပြီး စက်များကို ဆုံးဖြတ်ချက်ချရန် သင်ကြားမှုများကို စမ်းသပ်နိုင်သည်။ [SHRDLU](https://wikipedia.org/wiki/SHRDLU) ကဲ့သို့သော library များဖြင့် language processing ကို တိုးတက်စေခဲ့သည်။ + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "blocks world with SHRDLU") + + > 🎥 အထက်ပါပုံကို နှိပ်ပြီး ဗီဒီယိုကြည့်ပါ: Blocks world with SHRDLU + +--- +## 1974 - 1980: "AI Winter" + +1970 ခုနှစ်ဝန်းကျင်တွင် 'ဉာဏ်ရည်ရှိသော စက်' ဖန်တီးခြင်း၏ အခက်အခဲများကို အလွန်နည်းနည်းသာ သတ်မှတ်ထားသည်ဟု သိရှိလာခဲ့ပြီး compute power ရှိမှုအပေါ် အလွန်မြှင့်တင်ထားသည်ဟု သိရှိလာခဲ့သည်။ ရန်ပုံငွေများ လျော့နည်းလာခဲ့ပြီး နယ်ပယ်အပေါ် ယုံကြည်မှုများ လျော့နည်းလာခဲ့သည်။ ယုံကြည်မှုကို ထိခိုက်စေသော အချက်များမှာ - + +--- +- **ကန့်သတ်ချက်များ**။ Compute power သည် အလွန်နည်းပါးနေသည်။ +- **Combinatorial explosion**။ စက်များကို ပိုမိုတိုးတက်စွမ်းဆောင်စေရန် training လိုအပ်သော parameters များသည် exponential အတိုင်း တိုးလာခဲ့သည်။ +- **ဒေတာနည်းပါးမှု**။ ဒေတာနည်းပါးမှုသည် algorithm များကို စမ်းသပ်ခြင်း၊ ဖွံ့ဖြိုးတိုးတက်ခြင်းနှင့် ပြုပြင်ခြင်းကို အတားအဆီးဖြစ်စေခဲ့သည်။ +- **ကျွန်ုပ်တို့မှန်ကန်သောမေးခွန်းများကို မေးနေပါသလား?**။ မေးခွန်းများကို မေးနေသော နည်းလမ်းများကို ပြန်လည်စဉ်းစားခဲ့သည်။ + - Turing tests ကို 'chinese room theory' ကဲ့သို့သော အယူအဆများဖြင့် ပြန်လည်စဉ်းစားခဲ့သည်။ "digital computer ကို programming ပြုလုပ်ခြင်းသည် ဘာသာစကားကို နားလည်သည့်အတိုင်း ထင်ရစေသော်လည်း အမှန်တကယ် နားလည်မှုကို ဖန်တီးနိုင်မည်မဟုတ်ပါ။" ([source](https://plato.stanford.edu/entries/chinese-room/)) + - "therapist" ELIZA ကဲ့သို့သော artificial intelligences များကို လူ့အဖွဲ့အစည်းထဲသို့ ထည့်သွင်းခြင်း၏ ethics ကို စိစစ်ခဲ့သည်။ + +--- + +AI သုတေသနနယ်ပယ်များတွင် အမျိုးအစားများ ပေါ်ပေါက်လာခဲ့သည်။ ["scruffy" vs. "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies) အယူအဆများကို ဖွဲ့စည်းခဲ့သည်။ _Scruffy_ labs များသည် ရလဒ်လိုက်ဖို့အတွက် program များကို အချိန်ကြာကြာ tweak ပြုလုပ်ခဲ့သည်။ _Neat_ labs များသည် "logic နှင့် formal problem solving" ကို အဓိကထားခဲ့သည်။ ELIZA နှင့် SHRDLU သည် _scruffy_ systems များဖြစ်သည်။ 1980 ခုနှစ်များတွင် ML systems များကို reproducible ဖြစ်စေရန် demand ပေါ်လာသည်နှင့်အမျှ _neat_ approach သည် gradually အရေးပါလာခဲ့သည်။ + +--- +## 1980s Expert systems + +နယ်ပယ်သည် တိုးတက်လာသည်နှင့် ၎င်း၏ စီးပွားရေးအကျိုးကျေးဇူးများ ပိုမိုရှင်းလင်းလာခဲ့ပြီး 1980 ခုနှစ်များတွင် 'expert systems' များ ပေါ်ပေါက်လာခဲ့သည်။ "Expert systems သည် အတုအမြင့်တုအာရုံ (AI) software ၏ ပထမဆုံးအောင်မြင်သော အမျိုးအစားများအနက် တစ်ခုဖြစ်သည်။" ([source](https://wikipedia.org/wiki/Expert_system)) + +ဒီအမျိုးအစားသည် _hybrid_ system တစ်ခုဖြစ်ပြီး rules engine တစ်ခုနှင့် inference engine တစ်ခုကို ပေါင်းစပ်ထားသည်။ + +ဒီကာလတွင် neural networks အပေါ် အာရုံစိုက်မှုများလည်း တိုးလာခဲ့သည်။ + +--- +## 1987 - 1993: AI 'Chill' + +specialized expert systems hardware များ၏ ပေါ်ပေါက်မှုသည် အလွန် specialized ဖြစ်လာခဲ့သည်။ Personal computers များ၏ တိုးတက်မှုသည် ဒီအကြီးမားသော specialized systems များနှင့် ယှဉ်ပြိုင်ခဲ့သည်။ Computing ၏ democratization သည် စတင်ခဲ့ပြီး big data ၏ explosion ကို pave လုပ်ပေးခဲ့သည်။ + +--- +## 1993 - 2011 + +ဒီကာလတွင် ML နှင့် AI သည် data နှင့် compute power နည်းပါးမှုကြောင့် ဖြစ်ပေါ်ခဲ့သော ပြဿနာများကို ဖြေရှင်းနိုင်စွမ်းရှိလာခဲ့သည်။ ဒေတာပမာဏသည် အလွန်မြန်ဆန်စွာ တိုးလာခဲ့ပြီး smartphone ၏ ပေါ်ပေါက်မှု (2007) ကြောင့် ပိုမိုရရှိနိုင်လာခဲ့သည်။ Compute power သည် exponential အတိုင်း တိုးလာခဲ့ပြီး algorithm များလည်း တိုးတက်လာခဲ့သည်။ နယ်ပယ်သည် အတိတ်ကာလ၏ freewheeling days များမှ အတည်ပြု discipline တစ်ခုအဖြစ် crystallize ဖြစ်လာခဲ့သည်။ + +--- +## ယနေ့ + +ယနေ့တွင် စက်ရုပ်သင်ယူမှုနှင့် AI သည် လူသားများ၏ ဘဝ၏ အစိတ်အပိုင်းများအားလုံးကို ထိခိုက်စေသည်။ ဒီကာလသည် algorithm များ၏ လူသားဘဝများအပေါ် ရှုထောင့်များနှင့် အကျိုးသက်ရောက်မှုများကို သေချာနားလည်ရန် လိုအပ်သည်။ Microsoft's Brad Smith က "သတင်းအချက်အလက်နည်းပညာသည် privacy နှင့် freedom of expression ကဲ့သို့သော အခြေခံလူ့အခွင့်အရေးများကို ထိခိုက်စေသော ပြဿနာများကို ရှုထောင့်ပေးသည်။ ဒီပြဿနာများသည် ဒီထုတ်ကုန်များကို ဖန်တီးသော နည်းပညာကုမ္ပဏီများအတွက် တာဝန်ရှိမှုကို မြှင့်တင်စေသည်။ ကျွန်ုပ်တို့၏အမြင်အရ၊ ၎င်းတို့သည် thoughtful government regulation နှင့် acceptable uses အပေါ် norms ဖွံ့ဖြိုးတိုးတက်မှုကို လိုအပ်သည်။" ([source](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)) ဟု ပြောကြားခဲ့သည်။ + +--- + +အနာဂတ်တွင် ဘာဖြစ်မည်ဆိုသည်ကို မသိရသေးပါသော်လည်း ဒီ computer systems များနှင့် ၎င်းတို့ run လုပ်သော software နှင့် algorithm + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များ၏ ပရော်ဖက်ရှင်နယ်ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/2-history-of-ML/assignment.md b/translations/my/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 00000000..e9a474bd --- /dev/null +++ b/translations/my/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# အချိန်ဇယား တစ်ခု ဖန်တီးပါ + +## လမ်းညွှန်ချက်များ + +[ဒီ repo](https://github.com/Digital-Humanities-Toolkit/timeline-builder) ကို အသုံးပြု၍ အယ်လဂိုရီသမ်များ၊ သင်္ချာ၊ သက်တမ်းသတ်မှတ်ခြင်း၊ AI သို့မဟုတ် ML သမိုင်း၏ တစ်စိတ်တစ်ပိုင်းကို အချိန်ဇယားအဖြစ် ဖန်တီးပါ။ သို့မဟုတ်၊ အထက်ပါအရာများကို ပေါင်းစပ်၍ ဖန်တီးနိုင်ပါသည်။ တစ်ဦးတည်းသော ပုဂ္ဂိုလ်၊ တစ်ခုတည်းသော အယူအဆ၊ သို့မဟုတ် အချိန်ကာလရှည်လျားသော စဉ်းစားမှုကို အာရုံစိုက်နိုင်ပါသည်။ မီဒီယာအကြောင်းအရာများကို ထည့်သွင်းရန် သေချာပါစေ။ + +## အကဲဖြတ်စံနှုန်း + +| စံနှုန်း | ထူးချွန်သောအဆင့် | လုံလောက်သောအဆင့် | တိုးတက်မှုလိုအပ်သောအဆင့် | +| --------- | ----------------------------------------------- | --------------------------------------- | -------------------------------------------------------------- | +| | GitHub စာမျက်နှာအဖြစ် တင်ထားသော အချိန်ဇယားတစ်ခု | ကုဒ်မပြည့်စုံဘဲ တင်မထားသေးပါ | အချိန်ဇယားမပြည့်စုံဘဲ၊ သုတေသနမကောင်းဘဲ၊ တင်မထားသေးပါ | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/3-fairness/README.md b/translations/my/1-Introduction/3-fairness/README.md new file mode 100644 index 00000000..3bf7e268 --- /dev/null +++ b/translations/my/1-Introduction/3-fairness/README.md @@ -0,0 +1,144 @@ + +# တာဝန်ရှိသော AI ဖြင့် စက်မှုသင်ယူမှုဖြေရှင်းချက်များ တည်ဆောက်ခြင်း + + +> ပုံရေးဆွဲသူ - [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [မတိုင်မီ စစ်ဆေးမေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +## အကျဉ်းချုပ် + +ဒီသင်ရိုးမှာ သင်သည် စက်မှုသင်ယူမှု (Machine Learning) က ဘယ်လိုနဲ့ ဘယ်လိုများ ကျွန်တော်တို့ရဲ့ နေ့စဉ်ဘဝတွေကို သက်ရောက်နေတယ်ဆိုတာကို စတင်လေ့လာသိရှိရမှာဖြစ်ပါတယ်။ ယနေ့တိုင် အချိန်မှာတောင် စနစ်များနဲ့ မော်ဒယ်များဟာ ကျွန်တော်တို့ရဲ့ နေ့စဉ်ဆုံးဖြတ်မှုလုပ်ငန်းစဉ်တွေမှာ ပါဝင်နေပါတယ်။ ဥပမာ - ကျန်းမာရေးစစ်ဆေးမှု၊ ချေးငွေခွင့်ပြုမှု သို့မဟုတ် လိမ်လည်မှုတွေကို ရှာဖွေခြင်းစသဖြင့်။ ဒါကြောင့် ဒီမော်ဒယ်တွေက ယုံကြည်စိတ်ချရတဲ့ ရလဒ်တွေကို ပေးနိုင်ဖို့ အရေးကြီးပါတယ်။ အခြားသော ဆော့ဖ်ဝဲလ်လျှောက်လွှာတစ်ခုလိုပဲ AI စနစ်တွေကလည်း မျှော်မှန်းချက်နဲ့ မကိုက်ညီတာတွေ သို့မဟုတ် မလိုလားအပ်တဲ့ ရလဒ်တွေကို ရရှိစေတတ်ပါတယ်။ ဒါကြောင့် AI မော်ဒယ်တစ်ခုရဲ့ အပြုအမူကို နားလည်နိုင်ဖို့နဲ့ ရှင်းပြနိုင်ဖို့ အရေးကြီးပါတယ်။ + +သင်တစ်ခါမှ မော်ဒယ်တည်ဆောက်ဖို့ သုံးတဲ့ ဒေတာတွေမှာ လူမျိုး၊ လိင်၊ နိုင်ငံရေးအမြင်၊ ဘာသာရေး စသဖြင့် အချို့သော လူမှုအုပ်စုတွေ မပါဝင်ဘူးဆိုရင် ဘာတွေဖြစ်နိုင်မလဲ စဉ်းစားကြည့်ပါ။ ဒါမှမဟုတ် မော်ဒယ်ရဲ့ ရလဒ်တွေက အချို့သော လူမှုအုပ်စုတွေကို အားပေးတဲ့အနေနဲ့ အဓိပ္ပာယ်ဖွင့်ဆိုရင်လည်း ဘာတွေဖြစ်နိုင်မလဲ။ ထို့အပြင် မော်ဒယ်ရဲ့ ရလဒ်တွေက လူတွေကို နစ်နာစေတဲ့အခါမှာလည်း ဘယ်သူက AI စနစ်ရဲ့ အပြုအမူအတွက် တာဝန်ရှိမလဲ။ ဒီသင်ရိုးမှာ ဒီလိုမေးခွန်းတွေကို လေ့လာသွားမှာဖြစ်ပါတယ်။ + +ဒီသင်ခန်းစာမှာ သင်သည် - + +- စက်မှုသင်ယူမှုမှာ တရားမျှတမှုရဲ့ အရေးပါမှုနဲ့ ဆက်စပ်သော နစ်နာမှုများကို နားလည်သိရှိလာမယ်။ +- ယုံကြည်စိတ်ချရမှုနဲ့ လုံခြုံမှုရှိစေရန် အထူးအခြေအနေတွေကို စူးစမ်းလေ့လာတဲ့ လေ့ကျင့်မှုနဲ့ ရင်းနှီးလာမယ်။ +- လူတိုင်းကို အခွင့်အရေးပေးနိုင်ဖို့ အပါဝင်စနစ်တွေကို ဒီဇိုင်းဆွဲဖို့ လိုအပ်ချက်ကို နားလည်လာမယ်။ +- ဒေတာနဲ့ လူတွေရဲ့ ကိုယ်ရေးအချက်အလက်ကို ကာကွယ်ဖို့ အရေးကြီးမှုကို လေ့လာမယ်။ +- AI မော်ဒယ်ရဲ့ အပြုအမူကို ရှင်းပြနိုင်ဖို့ "ဖန်သားပုံး" လိုက်နာမှုရဲ့ အရေးကြီးမှုကို မြင်တွေ့မယ်။ +- AI စနစ်တွေမှာ ယုံကြည်မှုတည်ဆောက်ဖို့ တာဝန်ရှိမှုရဲ့ အရေးကြီးမှုကို သတိပြုမယ်။ + +## ကြိုတင်လိုအပ်ချက် + +ဒီသင်ခန်းစာကို စတင်မတိုင်မီ "တာဝန်ရှိသော AI မူဝါဒများ" သင်ခန်းစာကို လေ့လာပြီး အောက်ပါဗီဒီယိုကို ကြည့်ပါ။ + +[ဒီသင်ခန်းစာကို လေ့လာရန်](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Microsoft ရဲ့ တာဝန်ရှိသော AI မူဝါဒ") + +> 🎥 အထက်ပါပုံကို နှိပ်ပြီး Microsoft ရဲ့ တာဝန်ရှိသော AI မူဝါဒကို ကြည့်ပါ။ + +## တရားမျှတမှု + +AI စနစ်တွေဟာ လူတိုင်းကို တရားမျှတစွာ ဆက်ဆံရမယ်။ နောက်ထပ် လူမှုအုပ်စုတွေကို မတူညီစွာ သက်ရောက်မှုမရှိစေရမယ်။ ဥပမာ - AI စနစ်တွေက ဆေးကုသမှုအကြံပြုမှု၊ ချေးငွေလျှောက်လွှာ သို့မဟုတ် အလုပ်ခန့်အပ်မှုအတွက် လမ်းညွှန်မှုပေးတဲ့အခါမှာ တူညီတဲ့ ရောဂါလက္ခဏာ၊ ငွေကြေးအခြေအနေ သို့မဟုတ် အလုပ်အတွေ့အကြုံရှိသူတိုင်းကို တူညီတဲ့ အကြံပြုချက်ပေးရမယ်။ + +လူတိုင်းမှာ မျိုးရိုးစဉ်ဆက်နဲ့ ရရှိလာတဲ့ အမြင်များရှိပြီး ဒါတွေက ကျွန်တော်တို့ရဲ့ဆုံးဖြတ်မှုနဲ့ လုပ်ဆောင်မှုတွေကို သက်ရောက်စေတတ်ပါတယ်။ ဒီလို အမြင်တွေဟာ AI စနစ်တွေကို သင်ကြားဖို့ သုံးတဲ့ ဒေတာထဲမှာပါဝင်လာတတ်ပါတယ်။ တစ်ခါတစ်ရံ ဒီလိုအခြေအနေတွေဟာ မတော်တဆ ဖြစ်တတ်ပါတယ်။ ဒေတာထဲမှာ ဘယ်အချိန်မှာ ဘာအမြင်တွေ ထည့်သွင်းနေတယ်ဆိုတာကို သိရှိဖို့ ခက်ခဲတတ်ပါတယ်။ + +**“မတရားမှု”** ဆိုတာ လူမျိုး၊ လိင်၊ အသက်အရွယ် သို့မဟုတ် မသန်စွမ်းမှုအခြေအနေ စသဖြင့် လူတစ်စုအပေါ် အနုတ်လက္ခဏာ သို့မဟုတ် “နစ်နာမှု” ဖြစ်စေတဲ့ သက်ရောက်မှုတွေကို ဆိုလိုပါတယ်။ မတရားမှုနဲ့ ဆက်စပ်တဲ့ နစ်နာမှုတွေကို အောက်ပါအတိုင်း ခွဲခြားနိုင်ပါတယ် - + +- **ခွဲဝေမှု (Allocation)** - ဥပမာအားဖြင့် လိင် သို့မဟုတ် လူမျိုးတစ်ခုကို အခြားတစ်ခုထက် အားပေးခြင်း။ +- **ဝန်ဆောင်မှုအရည်အသွေး (Quality of service)** - ဒေတာကို တစ်ခုတည်းသော အခြေအနေအတွက် သင်ကြားပြီး အမှန်တရားမှာ ပိုမိုရှုပ်ထွေးတဲ့အခါ၊ ဝန်ဆောင်မှုအရည်အသွေးကျဆင်းတတ်ပါတယ်။ ဥပမာအားဖြင့် အမဲရောင်အသားရည်ရှိသူတွေကို မသိနိုင်တဲ့ လက်ဆေးဆပ်ပြာထည့်စက်။ +- **အပြစ်တင်မှု (Denigration)** - တစ်စုံတစ်ခု သို့မဟုတ် တစ်စုံတစ်ယောက်ကို မတရားစွာ အပြစ်တင်ခြင်း။ +- **အလွန်အကျွံ သို့မဟုတ် အနည်းငယ်သာ ပါဝင်မှု (Over- or under-representation)** - လူတစ်စုကို သက်ဆိုင်ရာ အလုပ်အကိုင်မှာ မမြင်ရခြင်း။ +- **စံနှုန်းသတ်မှတ်မှု (Stereotyping)** - လူတစ်စုကို သတ်မှတ်ထားတဲ့ အင်္ဂါရပ်တွေနဲ့ ဆက်စပ်ခြင်း။ + + +> အင်္ဂလိပ်မှ တူရကီဘာသာပြန် + + +> တူရကီမှ အင်္ဂလိပ်ပြန် + +AI စနစ်တွေကို ဒီဇိုင်းဆွဲပြီး စမ်းသပ်တဲ့အခါမှာ AI ဟာ မတရား သို့မဟုတ် ခွဲခြားဆက်ဆံမှု ဆုံးဖြတ်ချက်တွေ မလုပ်ဖို့ သေချာစေရမယ်။ AI နဲ့ စက်မှုသင်ယူမှုမှာ တရားမျှတမှုကို အာမခံဖို့ဟာ လူမှုနဲ့ နည်းပညာဆိုင်ရာ စိန်ခေါ်မှုတစ်ခုဖြစ်နေဆဲပါ။ + +### ယုံကြည်စိတ်ချမှုနှင့် လုံခြုံမှု + +AI စနစ်တွေဟာ ယုံကြည်စိတ်ချရပြီး သာမန်အခြေအနေနဲ့ မထင်မှတ်ထားတဲ့ အခြေအနေတွေမှာ တိကျမှုရှိရမယ်။ AI စနစ်တွေဟာ အမျိုးမျိုးသော အခြေအနေတွေမှာ ဘယ်လို အပြုအမူပြုမယ်ဆိုတာ သိရှိထားဖို့ အရေးကြီးပါတယ်။ AI ဖြေရှင်းချက်တွေကို တည်ဆောက်တဲ့အခါမှာ AI ဖြေရှင်းချက်တွေ ကြုံတွေ့နိုင်တဲ့ အခြေအနေမျိုးစုံကို စဉ်းစားထားဖို့ အလေးပေးရမယ်။ + +ဥပမာအားဖြင့် ကိုယ်တိုင်မောင်းနှင်တဲ့ ကားတစ်စီးဟာ လူတွေ့လုံခြုံမှုကို အဓိကထားရမယ်။ AI ကားမောင်းစနစ်ဟာ ည၊ မိုးသီး၊ မိုးနှင်း၊ လမ်းပေါ်မှာ ကလေးတွေ သို့မဟုတ် တိရစ္ဆာန်တွေ ရုတ်တရက်ပေါ်လာတာ စသဖြင့် အခြေအနေမျိုးစုံကို စဉ်းစားထားရမယ်။ + +> [🎥 ဗီဒီယိုကြည့်ရန်](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### အပါဝင်မှု + +AI စနစ်တွေဟာ လူတိုင်းကို ပါဝင်စေပြီး အခွင့်အရေးပေးနိုင်ဖို့ ဒီဇိုင်းဆွဲရမယ်။ AI စနစ်တွေကို ဒီဇိုင်းဆွဲပြီး အကောင်အထည်ဖော်တဲ့အခါ ဒေတာသိပ္ပံပညာရှင်တွေနဲ့ AI တီထွင်သူတွေဟာ စနစ်ထဲမှာ လူတွေကို မတော်တဆ ခွဲခြားမထားဖို့ အတားအဆီးတွေကို သတ်မှတ်ပြီး ဖြေရှင်းရမယ်။ + +ဥပမာအားဖြင့် ကမ္ဘာပေါ်မှာ မသန်စွမ်းသူ ၁ ဘီလီယံရှိပါတယ်။ AI ရဲ့ တိုးတက်မှုကြောင့် သူတို့ဟာ နေ့စဉ်ဘဝမှာ အချက်အလက်နဲ့ အခွင့်အရေးတွေကို ပိုမိုလွယ်ကူစွာ ရရှိနိုင်ပါတယ်။ + +> [🎥 ဗီဒီယိုကြည့်ရန်](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### လုံခြုံမှုနှင့် ကိုယ်ရေးအချက်အလက် + +AI စနစ်တွေဟာ လုံခြုံပြီး လူတွေရဲ့ ကိုယ်ရေးအချက်အလက်ကို လေးစားရမယ်။ AI စနစ်တွေကို ယုံကြည်မှုရှိဖို့ လူတွေရဲ့ ကိုယ်ရေးအချက်အလက် သို့မဟုတ် ဘဝကို အန္တရာယ်မဖြစ်စေရမယ်။ + +> [🎥 ဗီဒီယိုကြည့်ရန်](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +### တာဝန်ရှိမှု + +AI စနစ်တွေကို ဒီဇိုင်းဆွဲပြီး တည်ဆောက်သူတွေဟာ သူတို့ရဲ့ စနစ်တွေ ဘယ်လိုအလုပ်လုပ်တယ်ဆိုတာအတွက် တာဝန်ရှိရမယ်။ + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "AI နဲ့ မျက်နှာသိရှိမှုနည်းပညာရဲ့ အန္တရာယ်") + +> 🎥 ဗီဒီယိုကြည့်ရန်: မျက်နှာသိရှိမှုနည်းပညာရဲ့ အန္တရာယ် + +## သက်ရောက်မှုအကဲဖြတ်မှု + +မော်ဒယ်တစ်ခုကို သင်ကြားမတိုင်မီ AI စနစ်ရဲ့ ရည်ရွယ်ချက်၊ သုံးစွဲမည့်နေရာ၊ သက်ဆိုင်သူတွေကို နားလည်ဖို့ အရေးကြီးပါတယ်။ + +## တာဝန်ရှိသော AI ဖြင့် Debugging + +AI စနစ်တွေကို Debugging လုပ်တဲ့အခါမှာ တာဝန်ရှိသော AI မူဝါဒတွေကို ထည့်သွင်းစဉ်းစားရမယ်။ + +## 🚀 စိန်ခေါ်မှု + +နစ်နာမှုတွေ မဖြစ်ပေါ်စေရန် - + +- အလုပ်လုပ်သူတွေမှာ အမျိုးမျိုးသော နောက်ခံနဲ့ အမြင်တွေ ပါဝင်စေရမယ်။ +- လူမှုအဖွဲ့အစည်းရဲ့ အမျိုးမျိုးသော အချက်အလက်တွေကို အထောက်အပံ့ပေးမယ့် ဒေတာတွေကို ရင်းနှီးမြှုပ်နှံရမယ်။ +- စက်မှုသင်ယူမှု လုပ်ငန်းစဉ်တစ်လျှောက်မှာ တာဝန်ရှိသော AI ကို ရှာဖွေပြီး ပြင်ဆင်နိုင်တဲ့ နည်းလမ်းတွေ တိုးတက်အောင်လုပ်ရမယ်။ + +## [သင်ခန်းစာပြီးနောက် စစ်ဆေးမေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +## ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +ဒီသင်ခန်းစာမှာ သင်သည် စက်မှုသင်ယူမှုမှာ တရားမျှတမှုနဲ့ မတရားမှုဆိုင်ရာ အခြေခံအယူအဆတွေကို လေ့လာသိရှိခဲ့ပါတယ်။ +ဒီ workshop ကို ကြည့်ပြီး အကြောင်းအရာများကို ပိုမိုနက်ရှိုင်းစွာ လေ့လာပါ: + +- တာဝန်ရှိသော AI ရှာဖွေမှု: အခြေခံသဘောတရားများကို လက်တွေ့ကျအောင် ပြုလုပ်ခြင်း - Besmira Nushi, Mehrnoosh Sameki နှင့် Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: တာဝန်ရှိသော AI ဖန်တီးရန်အတွက် အခမဲ့ framework") + +> 🎥 အထက်ပါပုံကို နှိပ်ပြီး ဗီဒီယိုကြည့်ပါ: RAI Toolbox: တာဝန်ရှိသော AI ဖန်တီးရန်အတွက် အခမဲ့ framework - Besmira Nushi, Mehrnoosh Sameki နှင့် Amit Sharma + +ထို့အပြင် ဖတ်ရှုရန်: + +- Microsoft ရဲ့ RAI အရင်းအမြစ်စင်တာ: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Microsoft ရဲ့ FATE သုတေသနအဖွဲ့: [FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [Responsible AI Toolbox GitHub repository](https://github.com/microsoft/responsible-ai-toolbox) + +Azure Machine Learning ရဲ့ တရားမျှတမှုကို အာမခံရန် tools များအကြောင်း ဖတ်ရှုပါ: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## လုပ်ငန်း + +[RAI Toolbox ကို လေ့လာပါ](assignment.md) + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူရင်းဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/3-fairness/assignment.md b/translations/my/1-Introduction/3-fairness/assignment.md new file mode 100644 index 00000000..385144a6 --- /dev/null +++ b/translations/my/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,25 @@ + +# တာဝန်ရှိသော AI Toolbox ကိုလေ့လာပါ + +## လမ်းညွှန်ချက်များ + +ဒီသင်ခန်းစာမှာ သင် တာဝန်ရှိသော AI Toolbox အကြောင်းကိုလေ့လာခဲ့ပြီး၊ "AI စနစ်များကို ခွဲခြမ်းစိတ်ဖြာပြီး တိုးတက်အောင်လုပ်ဆောင်ရန် အကူအညီပေးသော open-source, community-driven project" ဖြစ်သည်။ ဒီအလုပ်ပေးစာအတွက် RAI Toolbox ရဲ့ [notebooks](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) တစ်ခုကိုလေ့လာပြီး သင်ရရှိသောအချက်အလက်များကို စာတမ်း သို့မဟုတ် တင်ပြချက်အဖြစ်တင်ပြပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| -------- | --------- | -------- | ----------------- | +| | Fairlearn ရဲ့ စနစ်များ၊ run လုပ်ထားသော notebook နှင့် run လုပ်ပြီးရရှိသော အကျိုးအမြတ်များကို ဆွေးနွေးထားသော စာတမ်း သို့မဟုတ် powerpoint တင်ပြချက်တစ်ခုကို တင်ပြထားသည် | အကျိုးအမြတ်များမပါရှိသော စာတမ်းတစ်ခုကို တင်ပြထားသည် | စာတမ်းမတင်ပြထားပါ | + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူရင်းဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် ရှုလို့ရပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအမှားများ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/4-techniques-of-ML/README.md b/translations/my/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 00000000..4bf6dd9e --- /dev/null +++ b/translations/my/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,128 @@ + +# စက်ရုပ်သင်ယူမှုနည်းလမ်းများ + +စက်ရုပ်သင်ယူမှု (Machine Learning) မော်ဒယ်များကို တည်ဆောက်ခြင်း၊ အသုံးပြုခြင်းနှင့် ထိန်းသိမ်းခြင်းလုပ်ငန်းစဉ်သည် အခြားသော ဖွံ့ဖြိုးတိုးတက်မှုလုပ်ငန်းစဉ်များနှင့် အတော်လေး ကွဲပြားနေသည်။ ဒီသင်ခန်းစာမှာ အဲဒီလုပ်ငန်းစဉ်ကို ရှင်းလင်းဖော်ပြပြီး သင်သိထားရမယ့် အဓိကနည်းလမ်းများကို ဖော်ပြပေးပါမယ်။ သင်သည်: + +- စက်ရုပ်သင်ယူမှုကို အထွေထွေ အဆင့်မြင့်မှာ နားလည်နိုင်ပါမယ်။ +- 'မော်ဒယ်များ', 'ခန့်မှန်းချက်များ', 'သင်ကြားမှုဒေတာ' စတဲ့ အခြေခံအယူအဆများကို လေ့လာနိုင်ပါမယ်။ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +[](https://youtu.be/4NGM0U2ZSHU "ML for beginners - Techniques of Machine Learning") + +> 🎥 အပေါ်က ပုံကို နှိပ်ပြီး ဒီသင်ခန်းစာကို လေ့လာနိုင်တဲ့ အတိုချုံးဗီဒီယိုကို ကြည့်ပါ။ + +## အကျဉ်းချုပ် + +အထွေထွေ အဆင့်မြင့်မှာ စက်ရုပ်သင်ယူမှု (ML) လုပ်ငန်းစဉ်ကို ဖန်တီးခြင်းသည် အဆင့်အတန်းများစွာ ပါဝင်သည်။ + +1. **မေးခွန်းကို ဆုံးဖြတ်ပါ**။ ML လုပ်ငန်းစဉ်များစွာသည် ရိုးရှင်းသော အခြေအနေ-based ပရိုဂရမ်များ သို့မဟုတ် စည်းကမ်း-based engine များဖြင့် ဖြေရှင်းလို့မရတဲ့ မေးခွန်းတစ်ခုကို မေးခြင်းဖြင့် စတင်သည်။ ဒီမေးခွန်းများသည် ဒေတာအစုအဝေးအပေါ် အခြေခံပြီး ခန့်မှန်းချက်များကို လုပ်ဆောင်ခြင်းနှင့် ဆက်စပ်နေတတ်သည်။ +2. **ဒေတာကို စုဆောင်းပြီး ပြင်ဆင်ပါ**။ မေးခွန်းကို ဖြေရှင်းနိုင်ဖို့ သင့်မှာ ဒေတာလိုအပ်ပါတယ်။ ဒေတာရဲ့ အရည်အသွေးနှင့် အချို့အခါမှာ အရေအတွက်က သင့်မေးခွန်းကို ဘယ်လောက်ကောင်းကောင်း ဖြေရှင်းနိုင်မလဲဆိုတာကို သတ်မှတ်ပေးပါမယ်။ ဒေတာကို မြင်သာအောင် ဖော်ပြခြင်းက ဒီအဆင့်မှာ အရေးကြီးပါတယ်။ ဒီအဆင့်မှာ ဒေတာကို သင်ကြားမှုအုပ်စုနဲ့ စမ်းသပ်မှုအုပ်စုအဖြစ် ခွဲခြားဖွဲ့စည်းခြင်းလည်း ပါဝင်ပါတယ်။ +3. **သင်ကြားမှုနည်းလမ်းကို ရွေးချယ်ပါ**။ မေးခွန်းနှင့် ဒေတာရဲ့ သဘာဝအပေါ် မူတည်ပြီး မော်ဒယ်ကို သင်ကြားဖို့ အကောင်းဆုံးနည်းလမ်းကို ရွေးချယ်ရပါမယ်။ ဒီအပိုင်းမှာ အထူးကျွမ်းကျင်မှုလိုအပ်ပြီး အတော်လေး စမ်းသပ်မှုများ လိုအပ်တတ်ပါတယ်။ +4. **မော်ဒယ်ကို သင်ကြားပါ**။ သင်ကြားမှုဒေတာကို အသုံးပြုပြီး မော်ဒယ်ကို ဒေတာထဲက ပုံစံများကို မှတ်မိနိုင်အောင် သင်ကြားပါမယ်။ မော်ဒယ်သည် အတွင်းပိုင်းအလေးချိန်များကို အသုံးပြုပြီး ဒေတာရဲ့ အချို့အပိုင်းများကို ပိုမိုအရေးထားနိုင်အောင် ပြင်ဆင်နိုင်ပါတယ်။ +5. **မော်ဒယ်ကို အကဲဖြတ်ပါ**။ သင်စုဆောင်းထားတဲ့ ဒေတာထဲက မော်ဒယ်မမြင်ဖူးတဲ့ ဒေတာ (စမ်းသပ်မှုဒေတာ) ကို အသုံးပြုပြီး မော်ဒယ်ရဲ့ လုပ်ဆောင်မှုကို စမ်းသပ်ပါမယ်။ +6. **Parameter tuning**။ မော်ဒယ်ရဲ့ လုပ်ဆောင်မှုအပေါ် မူတည်ပြီး သင်ကြားမှုအတွက် အသုံးပြုတဲ့ algorithm များရဲ့ အပြုအမူကို ထိန်းချုပ်တဲ့ parameter များကို ပြန်လည်ပြင်ဆင်နိုင်ပါတယ်။ +7. **ခန့်မှန်းချက်လုပ်ဆောင်ပါ**။ မော်ဒယ်ရဲ့ တိကျမှုကို စမ်းသပ်ဖို့ အခြားသော input များကို အသုံးပြုပါ။ + +## မေးခွန်းကို ဘာလို့ မေးရမလဲ + +ကွန်ပျူတာများသည် ဒေတာထဲက ဖုံးကွယ်နေတဲ့ ပုံစံများကို ရှာဖွေဖော်ထုတ်နိုင်စွမ်းရှိသည်။ ဒီစွမ်းရည်သည် သတ်မှတ်ထားတဲ့ နယ်ပယ်အတွင်း မေးခွန်းများကို ဖြေရှင်းဖို့ အလွန်အသုံးဝင်ပါတယ်။ + +ဥပမာအားဖြင့် သေဆုံးမှုနှုန်းကို ခန့်မှန်းဖို့ actuarial task တစ်ခုမှာ ဒေတာသိပ္ပံပညာရှင်တစ်ဦးသည် ဆေးလိပ်သောက်သူများနှင့် မသောက်သူများအကြား သေဆုံးမှုနှုန်းအပေါ် စည်းကမ်းများကို လက်ဖြင့်ဖန်တီးနိုင်ပါတယ်။ + +ဒါပေမယ့် အခြားသော variable များစွာ ပါဝင်လာတဲ့အခါမှာတော့ ML မော်ဒယ်တစ်ခုသည် အတိတ်ကျန်းမာရေးမှတ်တမ်းများအပေါ် အခြေခံပြီး အနာဂတ်သေဆုံးမှုနှုန်းကို ခန့်မှန်းဖို့ ပိုမိုထိရောက်နိုင်ပါတယ်။ + +✅ ဒီ [slide deck](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) သည် မိုးလေဝသကို ML အသုံးပြု၍ ခန့်မှန်းခြင်းအပေါ် သမိုင်းအမြင်ကို ဖော်ပြထားသည်။ + +## မော်ဒယ်တည်ဆောက်မှုမတိုင်မီလုပ်ငန်းစဉ်များ + +မော်ဒယ်တစ်ခုကို တည်ဆောက်မတိုင်မီ သင်လုပ်ဆောင်ရမယ့် အလုပ်များစွာ ရှိပါတယ်။ မော်ဒယ်ရဲ့ ခန့်မှန်းချက်များအပေါ် အခြေခံပြီး သင့်မေးခွန်းကို စမ်းသပ်ဖို့ သင့်အနေနဲ့ အချို့သော အစိတ်အပိုင်းများကို သတ်မှတ်ပြီး ဖော်ပြရပါမယ်။ + +### ဒေတာ + +သင့်မေးခွန်းကို တိကျမှုရှိရှိ ဖြေရှင်းနိုင်ဖို့ သင့်မှာ အရည်အသွေးကောင်းမွန်ပြီး သင့်တော်တဲ့ ဒေတာအရေအတွက်လိုအပ်ပါတယ်။ ဒီအချိန်မှာ သင်လုပ်ဆောင်ရမယ့် အရာနှစ်ခုရှိပါတယ်။ + +- **ဒေတာကို စုဆောင်းပါ**။ ဒေတာကို စုဆောင်းတဲ့အခါမှာ အရင်းအမြစ်များ၊ bias ရှိနိုင်မှုများကို သတိထားပြီး documentation လုပ်ပါ။ +- **ဒေတာကို ပြင်ဆင်ပါ**။ ဒေတာကို collate လုပ်ခြင်း၊ normalize လုပ်ခြင်း၊ string ကို number ပြောင်းခြင်း၊ ဒေတာအသစ်ဖန်တီးခြင်း၊ ဒေတာကို ရှင်းလင်းခြင်း၊ randomize လုပ်ခြင်း စတဲ့ အဆင့်များ ပါဝင်ပါတယ်။ + +✅ ဒေတာကို စုဆောင်းပြီး ပြင်ဆင်ပြီးနောက် သင့်မေးခွန်းကို ဖြေရှင်းနိုင်ဖို့ ဒေတာရဲ့ ပုံစံကို စစ်ဆေးပါ။ + +### Features နှင့် Target + +[Feature](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) ဆိုတာ ဒေတာရဲ့ တိုင်းတာနိုင်တဲ့ အကျဉ်းချုပ်ပါ။ Feature variable ကို `X` အဖြစ် code မှာ ကိုယ်စားပြုပါတယ်။ + +Target ဆိုတာ သင့်မေးခွန်းရဲ့ အဖြေကို ကိုယ်စားပြုပါတယ်။ Target variable ကို `y` အဖြစ် code မှာ ကိုယ်စားပြုပါတယ်။ + +### Feature variable ရွေးချယ်ခြင်း + +🎓 **Feature Selection နှင့် Feature Extraction** Feature variable ကို ရွေးချယ်တဲ့အခါ Feature Selection သို့မဟုတ် Feature Extraction လုပ်ဆောင်ရတတ်ပါတယ်။ Feature Extraction သည် အစပိုင်း feature များကို အသုံးပြု၍ feature အသစ်များ ဖန်တီးသည်။ Feature Selection သည် feature များ၏ အစိတ်အပိုင်းတစ်ခုကို ပြန်လည်ပေးသည်။ + +### ဒေတာကို မြင်သာအောင် ဖော်ပြပါ + +Seaborn သို့မဟုတ် MatPlotLib စတဲ့ libraries များကို အသုံးပြုပြီး ဒေတာကို မြင်သာအောင် ဖော်ပြပါ။ ဒေတာကို visualized လုပ်ခြင်းက hidden correlation များကို ရှာဖွေဖော်ထုတ်နိုင်စွမ်းရှိပါတယ်။ + +### ဒေတာကို ခွဲခြားပါ + +သင်ကြားမှုမတိုင်မီ ဒေတာကို training, testing, validating အဖြစ် ခွဲခြားပါ။ + +## မော်ဒယ်တည်ဆောက်ခြင်း + +သင့် training data ကို အသုံးပြုပြီး မော်ဒယ်တစ်ခုကို statistical representation အဖြစ် တည်ဆောက်ပါ။ + +### သင်ကြားမှုနည်းလမ်းကို ဆုံးဖြတ်ပါ + +Scikit-learn documentation ကို လေ့လာပြီး သင့်မော်ဒယ်အတွက် သင့်တော်တဲ့ training method ကို ရွေးချယ်ပါ။ + +### မော်ဒယ်ကို သင်ကြားပါ + +Training data ကို အသုံးပြုပြီး 'model.fit' ကို အသုံးပြုပါ။ + +### မော်ဒယ်ကို အကဲဖြတ်ပါ + +Test data ကို အသုံးပြုပြီး မော်ဒယ်ရဲ့ quality ကို စစ်ဆေးပါ။ + +🎓 **Model fitting** Model fitting သည် မော်ဒယ်ရဲ့ function တစ်ခုသည် မသိတဲ့ ဒေတာကို စမ်းသပ်တဲ့အခါမှာ ရရှိတဲ့ တိကျမှုကို ကိုယ်စားပြုသည်။ + +🎓 **Underfitting** နှင့် **Overfitting** မော်ဒယ်ရဲ့ quality ကို ထိခိုက်စေတတ်သော ပြဿနာများဖြစ်သည်။ + + +> Infographic by [Jen Looper](https://twitter.com/jenlooper) + +## Parameter tuning + +Hyperparameters ကို ပြင်ဆင်ခြင်းဖြင့် မော်ဒယ်ရဲ့ quality ကို တိုးတက်စေပါ။ + +## ခန့်မှန်းချက်လုပ်ဆောင်ခြင်း + +အသစ်သော input များကို အသုံးပြုပြီး မော်ဒယ်ရဲ့ တိကျမှုကို စမ်းသပ်ပါ။ + +ဒီသင်ခန်းစာများတွင် သင်သည် ML engineer အဖြစ် တိုးတက်ဖွံ့ဖြိုးရန် လိုအပ်သော အဆင့်များကို လေ့လာနိုင်ပါမယ်။ + +--- + +## 🚀Challenge + +ML practitioner တစ်ဦးရဲ့ လုပ်ငန်းစဉ်ကို ဖော်ပြတဲ့ flow chart တစ်ခု ရေးဆွဲပါ။ သင့်အနေဖြင့် လက်ရှိမှာ ဘယ်အဆင့်မှာ ရှိနေလဲ? ဘယ်အပိုင်းမှာ အခက်အခဲရှိမလဲ? ဘာတွေကို လွယ်ကူလို့ ထင်ပါသလဲ? + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +Data scientist များရဲ့ နေ့စဉ်လုပ်ငန်းအကြောင်းကို ဆွေးနွေးထားတဲ့ အင်တာဗျူးများကို အွန်လိုင်းမှာ ရှာဖွေပါ။ ဒီမှာ [တစ်ခု](https://www.youtube.com/watch?v=Z3IjgbbCEfs) ရှိပါတယ်။ + +## Assignment + +[Data scientist တစ်ဦးကို အင်တာဗျူးလုပ်ပါ](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူပညာရှင်များမှ လက်တွေ့ဘာသာပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/4-techniques-of-ML/assignment.md b/translations/my/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 00000000..d98aa72a --- /dev/null +++ b/translations/my/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# ဒေတာသိပ္ပံပညာရှင်တစ်ဦးကို မေးမြန်းခြင်း + +## လမ်းညွှန်ချက်များ + +သင့်ကုမ္ပဏီတွင်ဖြစ်စေ၊ အသုံးပြုသူအဖွဲ့တွင်ဖြစ်စေ၊ သင့်မိတ်ဆွေများ သို့မဟုတ် ကျောင်းသားများအနက်မှ တစ်ဦးဖြစ်စေ၊ ဒေတာသိပ္ပံပညာရှင်အဖြစ် အလုပ်လုပ်နေသူတစ်ဦးကို မေးမြန်းပါ။ သူတို့၏ နေ့စဉ်လုပ်ငန်းတာဝန်များအကြောင်းကို ၅၀၀ စကားလုံးအတိုင်းအတာဖြင့် အကျဉ်းချုပ်စာတမ်းရေးပါ။ သူတို့သည် အထူးကျွမ်းကျင်သူများဖြစ်ပါသလား၊ သို့မဟုတ် 'full stack' အဖြစ် အလုပ်လုပ်ပါသလား? + +## အဆင့်သတ်မှတ်ချက် + +| အဆင့်သတ်မှတ်ချက် | ထူးချွန်သောအဆင့် | လုံလောက်သောအဆင့် | တိုးတက်မှုလိုအပ်သောအဆင့် | +| ----------------- | -------------------------------------------------------------------------------- | ------------------------------------------------------------------ | ------------------------- | +| | သတ်မှတ်ထားသော စကားလုံးအရေအတွက်နှင့် ရင်းမြစ်များကို မှတ်သားထားသော စာတမ်းကို .doc ဖိုင်အဖြစ် တင်ပြထားသည် | စာတမ်းသည် ရင်းမြစ်များကို မှတ်သားမှုမလုံလောက်ခြင်း သို့မဟုတ် သတ်မှတ်ထားသော စကားလုံးအရေအတွက်ထက် ပိုမိုတိုတောင်းခြင်း | စာတမ်းမတင်ပြထားခြင်း | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပါယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/1-Introduction/README.md b/translations/my/1-Introduction/README.md new file mode 100644 index 00000000..57cdd8fa --- /dev/null +++ b/translations/my/1-Introduction/README.md @@ -0,0 +1,37 @@ + +# မက်ရှင်လေန်နင်းကို မိတ်ဆက်ခြင်း + +ဒီသင်ခန်းစာအပိုင်းမှာ မက်ရှင်လေန်နင်းနယ်ပယ်ရဲ့ အခြေခံအယူအဆများ၊ ၎င်းကဘာလဲ၊ ၎င်းရဲ့ သမိုင်းကြောင်းနှင့် သုတေသနလုပ်ငန်းများတွင် အသုံးပြုသောနည်းလမ်းများကို သင်လေ့လာရမည်ဖြစ်သည်။ မက်ရှင်လေန်နင်းရဲ့ အသစ်သောကမ္ဘာကို အတူတူလေ့လာကြမယ်! + + +> ဓာတ်ပုံကို Bill Oxford မှ Unsplash တွင် ရိုက်ထားသည် + +### သင်ခန်းစာများ + +1. [မက်ရှင်လေန်နင်းကို မိတ်ဆက်ခြင်း](1-intro-to-ML/README.md) +1. [မက်ရှင်လေန်နင်းနှင့် AI ရဲ့ သမိုင်းကြောင်း](2-history-of-ML/README.md) +1. [တရားမျှတမှုနှင့် မက်ရှင်လေန်နင်း](3-fairness/README.md) +1. [မက်ရှင်လေန်နင်းနည်းလမ်းများ](4-techniques-of-ML/README.md) + +### အကျိုးတူဝိုင်း + +"မက်ရှင်လေန်နင်းကို မိတ်ဆက်ခြင်း" ကို [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) နှင့် [Jen Looper](https://twitter.com/jenlooper) တို့အပါအဝင် အဖွဲ့ဝင်များမှ ♥️ ဖြင့် ရေးသားထားသည်။ + +"မက်ရှင်လေန်နင်းရဲ့ သမိုင်းကြောင်း" ကို [Jen Looper](https://twitter.com/jenlooper) နှင့် [Amy Boyd](https://twitter.com/AmyKateNicho) တို့မှ ♥️ ဖြင့် ရေးသားထားသည်။ + +"တရားမျှတမှုနှင့် မက်ရှင်လေန်နင်း" ကို [Tomomi Imura](https://twitter.com/girliemac) မှ ♥️ ဖြင့် ရေးသားထားသည်။ + +"မက်ရှင်လေန်နင်းနည်းလမ်းများ" ကို [Jen Looper](https://twitter.com/jenlooper) နှင့် [Chris Noring](https://twitter.com/softchris) တို့မှ ♥️ ဖြင့် ရေးသားထားသည်။ + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/1-Tools/README.md b/translations/my/2-Regression/1-Tools/README.md new file mode 100644 index 00000000..a80dfed3 --- /dev/null +++ b/translations/my/2-Regression/1-Tools/README.md @@ -0,0 +1,222 @@ + +# Python နှင့် Scikit-learn ကို အသုံးပြု၍ Regression Models တည်ဆောက်ခြင်း + + + +> Sketchnote by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [ဒီသင်ခန်းစာကို R မှာလည်းရနိုင်ပါတယ်!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## အကျဉ်းချုပ် + +ဒီသင်ခန်းစာလေးများမှာ Regression Models တည်ဆောက်ပုံကို လေ့လာနိုင်ပါမယ်။ Regression Models သည် ဘာအတွက်အသုံးဝင်သလဲဆိုတာကို မကြာမီဆွေးနွေးသွားပါမယ်။ သို့သော် စတင်လုပ်ဆောင်ရန်အတွက် သင့်စက်မှာ လိုအပ်သော Tools များကို အရင်ဆုံး ပြင်ဆင်ထားဖို့ လိုအပ်ပါတယ်။ + +ဒီသင်ခန်းစာမှာ သင်လေ့လာနိုင်မယ့်အရာများမှာ - + +- သင့်ကွန်ပျူတာကို Local Machine Learning Tasks အတွက် ပြင်ဆင်ခြင်း။ +- Jupyter Notebooks ကို အသုံးပြုခြင်း။ +- Scikit-learn ကို အသုံးပြုခြင်း (installation အပါအဝင်)။ +- Linear Regression ကို လက်တွေ့လုပ်ဆောင်ခြင်း။ + +## Installations နှင့် Configurations + +[](https://youtu.be/-DfeD2k2Kj0 "ML for beginners - Machine Learning Models တည်ဆောက်ရန် Tools များကို ပြင်ဆင်ခြင်း") + +> 🎥 အထက်ပါပုံကို Click လုပ်ပြီး ML အတွက် သင့်ကွန်ပျူတာကို Configure လုပ်ပုံကို ကြည့်ပါ။ + +1. **Python ကို Install လုပ်ပါ**။ သင့်ကွန်ပျူတာမှာ [Python](https://www.python.org/downloads/) ကို Install လုပ်ထားရှိရပါမယ်။ Python ကို Data Science နှင့် Machine Learning Tasks များအတွက် အသုံးပြုပါမယ်။ အများစုသော ကွန်ပျူတာစနစ်များမှာ Python ကို အရင်ကတည်းက Install လုပ်ထားပြီးဖြစ်ပါတယ်။ [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) များလည်း ရနိုင်ပြီး၊ အချို့သောအသုံးပြုသူများအတွက် Setup ကို ပိုမိုလွယ်ကူစေပါတယ်။ + + သို့သော် Python ကို အသုံးပြုခြင်းမှာ Version များကွဲပြားမှုရှိနိုင်ပါတယ်။ အချို့သော Tasks များအတွက် Version တစ်ခုလိုအပ်ပြီး၊ အခြား Tasks များအတွက် Version တစ်ခုလိုအပ်နိုင်ပါတယ်။ ဒီအကြောင်းကြောင့် [Virtual Environment](https://docs.python.org/3/library/venv.html) တွင် အလုပ်လုပ်ခြင်းသည် အကျိုးရှိပါတယ်။ + +2. **Visual Studio Code ကို Install လုပ်ပါ**။ သင့်ကွန်ပျူတာမှာ Visual Studio Code ကို Install လုပ်ထားရှိရပါမယ်။ [Visual Studio Code](https://code.visualstudio.com/) ကို Install လုပ်ပုံအဆင့်ဆင့်ကို လိုက်နာပါ။ ဒီသင်ခန်းစာမှာ Python ကို Visual Studio Code မှာ အသုံးပြုမယ်၊ [Visual Studio Code ကို Python Development အတွက် Configure လုပ်ပုံ](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) ကိုလည်း လေ့လာပါ။ + + > Python ကို အသုံးပြုရင်း ကျွမ်းကျင်စေဖို့ ဒီ [Learn modules](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) များကို လေ့လာပါ။ + > + > [](https://youtu.be/yyQM70vi7V8 "Visual Studio Code မှာ Python ကို Setup လုပ်ခြင်း") + > + > 🎥 အထက်ပါပုံကို Click လုပ်ပြီး VS Code မှာ Python ကို အသုံးပြုပုံကို ကြည့်ပါ။ + +3. **Scikit-learn ကို Install လုပ်ပါ**။ [ဒီအညွှန်းများ](https://scikit-learn.org/stable/install.html) ကို လိုက်နာပြီး Install လုပ်ပါ။ Python 3 ကို အသုံးပြုရမယ်ဆိုတာ သေချာစေဖို့ Virtual Environment ကို အသုံးပြုရန် အကြံပြုပါတယ်။ M1 Mac မှာ Library ကို Install လုပ်ရင် အထူးအညွှန်းများရှိပါတယ်။ + +4. **Jupyter Notebook ကို Install လုပ်ပါ**။ [Jupyter package](https://pypi.org/project/jupyter/) ကို Install လုပ်ပါ။ + +## သင့် ML Authoring Environment + +သင် **notebooks** ကို အသုံးပြုပြီး Python Code တွေကို Develop လုပ်ပြီး Machine Learning Models တွေကို တည်ဆောက်ပါမယ်။ ဒီအမျိုးအစားဖိုင်တွေဟာ Data Scientists တွေအတွက် အများဆုံးအသုံးပြုတဲ့ Tools ဖြစ်ပြီး `.ipynb` extension နဲ့ ဖိုင်တွေကို မှတ်သားနိုင်ပါတယ်။ + +Notebooks တွေဟာ Interactive Environment ဖြစ်ပြီး Developer တွေကို Code ရေးခြင်း၊ Notes ထည့်ခြင်း၊ Documentation ရေးခြင်း စတဲ့ အလုပ်တွေကို လုပ်နိုင်စေပါတယ်။ အထူးသဖြင့် Experimental သို့မဟုတ် Research-oriented Projects တွေအတွက် အထောက်အကူဖြစ်ပါတယ်။ + +[](https://youtu.be/7E-jC8FLA2E "ML for beginners - Jupyter Notebooks ကို Setup လုပ်ပြီး Regression Models တည်ဆောက်ခြင်း") + +> 🎥 အထက်ပါပုံကို Click လုပ်ပြီး ဒီအလုပ်ကို လုပ်ဆောင်ပုံကို ကြည့်ပါ။ + +### လက်တွေ့လုပ်ဆောင်မှု - Notebook ကို အသုံးပြုခြင်း + +ဒီ Folder မှာ _notebook.ipynb_ ဖိုင်ကို တွေ့နိုင်ပါမယ်။ + +1. _notebook.ipynb_ ကို Visual Studio Code မှာ ဖွင့်ပါ။ + + Jupyter Server တစ်ခု Python 3+ နဲ့ စတင်ပါမယ်။ Notebook မှာ `run` လို့ရတဲ့ Code Block တွေကို တွေ့နိုင်ပါမယ်။ Code Block တစ်ခုကို Run လုပ်ဖို့ Play Button ပုံစံ Icon ကို ရွေးပါ။ + +2. `md` icon ကို ရွေးပြီး Markdown အနည်းငယ်ထည့်ပါ၊ **# Welcome to your notebook** ဆိုတဲ့ စာသားကို ထည့်ပါ။ + + နောက်တစ်ဆင့်မှာ Python Code ကို ထည့်ပါ။ + +3. Code Block မှာ **print('hello notebook')** ကို ရိုက်ပါ။ +4. Arrow ကို ရွေးပြီး Code ကို Run လုပ်ပါ။ + + Printed Statement ကို တွေ့ရပါမယ် - + + ```output + hello notebook + ``` + + + +သင့် Code ကို Comments တွေနဲ့ ပေါင်းစပ်ပြီး Notebook ကို Self-document လုပ်နိုင်ပါတယ်။ + +✅ Web Developer ရဲ့ အလုပ်လုပ်ပုံနဲ့ Data Scientist ရဲ့ အလုပ်လုပ်ပုံက ဘယ်လိုကွာခြားနေလဲဆိုတာ အနည်းငယ်တွေးကြည့်ပါ။ + +## Scikit-learn ကို အသုံးပြုခြင်း + +Python ကို Local Environment မှာ Setup လုပ်ပြီး၊ Jupyter Notebooks ကို အသုံးပြုရင်း ကျွမ်းကျင်လာပြီးနောက်၊ Scikit-learn ကိုလည်း ကျွမ်းကျင်စေဖို့ လိုအပ်ပါတယ်။ Scikit-learn ကို `sci` (science) လို့ အသံထွက်ပါ။ Scikit-learn မှာ ML Tasks တွေကို လုပ်ဆောင်ဖို့ [အကျယ်အဝန်း API](https://scikit-learn.org/stable/modules/classes.html#api-ref) ရှိပါတယ်။ + +သူတို့ရဲ့ [website](https://scikit-learn.org/stable/getting_started.html) အရ - "Scikit-learn သည် supervised learning နှင့် unsupervised learning ကို ပံ့ပိုးပေးတဲ့ open source machine learning library ဖြစ်ပါတယ်။ Model fitting, data preprocessing, model selection နှင့် evaluation အပါအဝင် အခြားသော Utilities များစွာကိုလည်း ပံ့ပိုးပေးပါတယ်။" + +ဒီသင်ခန်းစာမှာ Scikit-learn နှင့် အခြား Tools များကို အသုံးပြုပြီး 'traditional machine learning' tasks တွေကို လုပ်ဆောင်ပါမယ်။ Neural Networks နှင့် Deep Learning ကို မပါဝင်စေဖို့ ရည်ရွယ်ထားပြီး၊ အဲဒီအကြောင်းအရာတွေကို 'AI for Beginners' curriculum မှာ ပိုမိုလေ့လာနိုင်ပါမယ်။ + +Scikit-learn သည် Models တွေကို တည်ဆောက်ပြီး အသုံးပြုဖို့ အလွယ်ကူဆုံးဖြစ်စေပါတယ်။ Numeric Data ကို အဓိကထားပြီး Learning Tools အဖြစ် အသုံးပြုနိုင်တဲ့ Dataset များစွာပါဝင်ပါတယ်။ Pre-built Models တွေကိုလည်း Students တွေ စမ်းသပ်နိုင်ပါတယ်။ Prepackaged Data ကို Load လုပ်ပြီး Built-in Estimator ကို အသုံးပြုတဲ့ ပထမဆုံး ML Model ကို လေ့လာကြည့်ပါမယ်။ + +## လက်တွေ့လုပ်ဆောင်မှု - ပထမဆုံး Scikit-learn Notebook + +> ဒီ Tutorial ကို Scikit-learn ရဲ့ [linear regression example](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) မှာ အခြေခံပြီး ရေးသားထားပါတယ်။ + +[](https://youtu.be/2xkXL5EUpS0 "ML for beginners - Python မှာ ပထမဆုံး Linear Regression Project") + +> 🎥 အထက်ပါပုံကို Click လုပ်ပြီး ဒီအလုပ်ကို လုပ်ဆောင်ပုံကို ကြည့်ပါ။ + +_notebook.ipynb_ ဖိုင်မှာရှိတဲ့ Cell တွေကို 'trash can' icon ကို နှိပ်ပြီး ရှင်းလင်းပါ။ + +ဒီအပိုင်းမှာ Scikit-learn မှာ Learning အတွက် Built-in ဖြစ်တဲ့ Diabetes Dataset ကို အသုံးပြုပါမယ်။ Diabetic Patients တွေအတွက် Treatment ကို စမ်းသပ်ချင်တယ်လို့ စဉ်းစားပါ။ Machine Learning Models တွေက Variables တွေကို အခြေခံပြီး ဘယ်သူတွေ Treatment ကို ပိုမိုတုံ့ပြန်နိုင်မလဲဆိုတာကို သတ်မှတ်ပေးနိုင်ပါတယ်။ Visualization လုပ်ထားတဲ့ Basic Regression Model တစ်ခုက Variables တွေကို သုံးပြီး Clinical Trials တွေကို စီမံခန့်ခွဲဖို့ အထောက်အကူဖြစ်စေမယ်။ + +✅ Regression Methods များစွာရှိပြီး၊ သင်ရွေးချယ်ရမယ့် Method က သင်လိုချင်တဲ့ အဖြေကို အခြေခံပါတယ်။ လူတစ်ဦးရဲ့ အသက်အရွယ်ကို အခြေခံပြီး အမြင့်ကို ခန့်မှန်းချင်တယ်ဆို Linear Regression ကို အသုံးပြုပါမယ်၊ အကြောင်းက Numeric Value ကို ရှာဖွေနေပါတယ်။ အစားအစာအမျိုးအစားတစ်ခုကို Vegan ဖြစ်/မဖြစ် သတ်မှတ်ချင်တယ်ဆို Logistic Regression ကို အသုံးပြုပါမယ်၊ အကြောင်းက Category Assignment ကို ရှာဖွေနေပါတယ်။ Logistic Regression ကို နောက်ပိုင်းမှာ ပိုမိုလေ့လာနိုင်ပါမယ်။ Data ကို အခြေခံပြီး မေးခွန်းများစွာကို တွေးကြည့်ပြီး၊ ဘယ် Method က ပိုသင့်တော်မလဲဆိုတာ တွေးကြည့်ပါ။ + +အလုပ်ကို စတင်လိုက်ပါ။ + +### Libraries များ Import လုပ်ခြင်း + +ဒီအလုပ်အတွက် Libraries အချို့ကို Import လုပ်ပါမယ် - + +- **matplotlib**. [Graphing Tool](https://matplotlib.org/) အဖြစ် အသုံးဝင်ပြီး Line Plot တစ်ခုကို ဖန်တီးဖို့ အသုံးပြုပါမယ်။ +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) သည် Python မှာ Numeric Data ကို Handle လုပ်ဖို့ အသုံးဝင်တဲ့ Library ဖြစ်ပါတယ်။ +- **sklearn**. [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) Library ဖြစ်ပါတယ်။ + +သင့် Tasks များအတွက် အထောက်အကူဖြစ်စေမယ့် Libraries များကို Import လုပ်ပါ။ + +1. အောက်ပါ Code ကို ရိုက်ပါ - + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + အထက်မှာ `matplotlib`, `numpy` ကို Import လုပ်ပြီး၊ `datasets`, `linear_model` နှင့် `model_selection` ကို `sklearn` မှ Import လုပ်ထားပါတယ်။ `model_selection` ကို Data ကို Training နှင့် Test Sets အဖြစ် ခွဲခြားဖို့ အသုံးပြုပါတယ်။ + +### Diabetes Dataset + +Built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) မှာ Diabetes နှင့် ပတ်သက်တဲ့ Data Samples 442 ခုပါဝင်ပြီး Feature Variables 10 ခုပါဝင်ပါတယ်၊ အချို့မှာ - + +- age: အသက် (နှစ်) +- bmi: Body Mass Index +- bp: ပျမ်းမျှ သွေးပေါင်ချိန် +- s1 tc: T-Cells (အဖြူရောင် သွေးဆဲလ်အမျိုးအစား) + +✅ ဒီ Dataset မှာ Diabetes နှင့် ပတ်သက်တဲ့ Research အတွက် Feature Variable အဖြစ် 'sex' ကိုပါဝင်ထားပါတယ်။ Medical Datasets များစွာမှာ ဒီလို Binary Classification ပါဝင်ပါတယ်။ Population တစ်ခုခုကို Treatment မရနိုင်စေတဲ့ Categorization များအကြောင်း အနည်းငယ်တွေးကြည့်ပါ။ + +အခု X နှင့် y Data ကို Load လုပ်ပါ။ + +> 🎓 ဒီဟာ supervised learning ဖြစ်ပြီး၊ Named 'y' Target လိုအပ်ပါတယ်။ + +Code Cell အသစ်တစ်ခုမှာ `load_diabetes()` ကို ခေါ်ပြီး Diabetes Dataset ကို Load လုပ်ပါ။ Input `return_X_y=True` သည် `X` ကို Data Matrix အဖြစ်၊ `y` ကို Regression Target အဖြစ် Return ပြန်ပေးပါမယ်။ + +1. Data Matrix ရဲ့ Shape နဲ့ ပထမဆုံး Element ကို ပြသဖို့ Print Commands အချို့ကို ထည့်ပါ - + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Response အနေနဲ့ Tuple တစ်ခုကို ပြန်ပေးပါမယ်။ Tuple ရဲ့ ပထမဆုံးနှင့် ဒုတိယတန်ဖိုးကို `X` နှင့် `y` အဖြစ် Assign လုပ်ထားပါတယ်။ [Tuples](https://wikipedia.org/wiki/Tuple) အကြောင်းပိုမိုလေ့လာပါ။ + + ဒီ Data မှာ 442 Items ရှိပြီး 10 Elements ပါဝင်တဲ့ Arrays အဖြစ် Shape ရှိပါတယ် - + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Data နဲ့ Regression Target အကြား ဆက်နွယ်မှုကို အနည်းငယ်တွေးကြည့်ပါ။ Linear Regression သည် Feature X နှင့် Target Variable y အကြား ဆက်နွယ်မှုကို ခန့်မှန်းပေးပါတယ်။ Diabetes Dataset ရဲ့ [Target](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) ကို Documentation မှာ ရှာဖွေပါ။ ဒီ Dataset က ဘာကို ပြသနေသလဲ? + +2. Dataset ရဲ့ တစ်စိတ်တစ်ပိုင်းကို Plot ဖို့ Dataset ရဲ့ 3rd Column ကို ရွေးပါ။ `:` Operator ကို အသုံးပြုပြီး Rows အားလုံးကို ရွေးပြီး၊ Index (2) ကို အသုံးပြုပြီး 3rd Column ကို ရွေးပါ။ Data ကို 2D Array အဖြစ် Reshape လုပ်ဖို့ `reshape(n_rows, n_columns)` ကို အသုံးပြုပါ။ Parameter တစ်ခုမှာ -1 ရှိရင်၊ Dimension ကို အလိုအလျောက်တွက်ချက်ပေးပါမယ်။ + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ Data ရဲ့ Shape ကို အချိန်မရွေး Print လုပ်ပြီး စစ်ဆေးပါ။ + +3. Data ကို Plot လုပ်ဖို့ ပြင်ဆင်ပြီးနောက်၊ ဒီ Dataset မှာ Numbers တွေကို Logical Split လုပ်ဖို့ Machine ကို အသုံးပြုနိုင်ပါမယ်။ ဒီအလုပ်ကို လုပ်ဖို့ Data (X) နှင့် Target (y) ကို Test နှင့် Training Sets အဖြစ် ခွဲခြားဖို့ လိုအပ်ပါတယ်။ Scikit-learn မှာ ဒီအလုပ်ကို လုပ်ဖို့ လွယ်ကူတဲ့ နည်းလမ်းရှိပါတယ်၊ Test Data ကို တစ်ခုခု Point မှာ Split လုပ်နိုင်ပါတယ်။ + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Model ကို Training လုပ်ဖို့ ပြင်ဆင်ပါ! Linear Regression Model ကို Load လုပ်ပြီး `model.fit()` ကို အသုံးပြုပြီး X နှင့် y Training Sets များကို Training လုပ်ပါ။ + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` သည် TensorFlow ကဲ့သို့သော ML Libraries များမှာ တွေ့ရနိုင်တဲ့ Function ဖြစ်ပါတယ်။ + +5. Test Data ကို အသုံးပြုပြီး Prediction တစ်ခုကို ဖန်တီးပါ၊ `predict()` Function ကို အသုံးပြုပါ။ ဒီဟာကို Model ရဲ့ Data Groupings အကြား Line ကို ရေးဆ +✅ ဒီမှာဘာဖြစ်နေတာလဲဆိုတာကိုအနည်းငယ်တွေးကြည့်ပါ။ တစ်ခုတည်းသောတည့်တည့်လိုင်းတစ်ခုဟာ အချက်အလက်အနည်းငယ်များကိုဖြတ်သွားနေပါတယ်၊ ဒါပေမယ့် အတိအကျဘာလုပ်နေတာလဲ? မသိသေးတဲ့ အချက်အလက်တစ်ခုဟာ ဒီလိုင်းနဲ့ပတ်သက်ပြီး y axis ပေါ်မှာဘယ်နေရာမှာရှိမလဲဆိုတာကို သင်ခန့်မှန်းနိုင်ပုံကိုမြင်နိုင်ပါသလား? ဒီမော်ဒယ်ရဲ့ အကျိုးကျေးဇူးကို လက်တွေ့အသုံးချပုံအနေနဲ့ စကားလုံးတွေနဲ့ဖော်ပြကြည့်ပါ။ + +အောင်မြင်ပါတယ်၊ သင့်ရဲ့ ပထမဆုံး linear regression မော်ဒယ်ကို တည်ဆောက်ပြီး၊ အဲဒီနဲ့ ခန့်မှန်းချက်တစ်ခုကိုဖန်တီးပြီး၊ plot ထဲမှာ ပြသနိုင်ခဲ့ပါပြီ! + +--- +## 🚀စိန်ခေါ်မှု + +ဒီ dataset ထဲက အခြား variable တစ်ခုကို plot လုပ်ပါ။ အကြံပြုချက်: ဒီလိုင်းကို ပြင်ဆင်ပါ `X = X[:,2]`။ ဒီ dataset ရဲ့ target ကိုအခြေခံပြီး၊ ဆီးချိုရောဂါရဲ့ တိုးတက်မှုအခြေအနေကို ဘာတွေရှာဖွေနိုင်မလဲ? + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +ဒီသင်ခန်းစာမှာ သင် simple linear regression ကို အသုံးပြုခဲ့ပြီး၊ univariate regression သို့မဟုတ် multiple linear regression မဟုတ်ပါဘူး။ ဒီနည်းလမ်းတွေကြားက ကွာခြားချက်တွေကို အနည်းငယ်ဖတ်ရှုပါ၊ ဒါမှမဟုတ် [ဒီဗီဒီယို](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) ကိုကြည့်ပါ။ + +Regression ရဲ့ အယူအဆကို ပိုမိုနားလည်ရန် ဖတ်ရှုပါ၊ ဒီနည်းလမ်းနဲ့ ဖြေရှင်းနိုင်တဲ့ မေးခွန်းအမျိုးမျိုးကို တွေးကြည့်ပါ။ သင့်နားလည်မှုကို ပိုမိုတိုးတက်စေရန် [ဒီသင်ခန်းစာ](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) ကို လေ့လာပါ။ + +## အလုပ်ပေးစာ + +[A different dataset](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/1-Tools/assignment.md b/translations/my/2-Regression/1-Tools/assignment.md new file mode 100644 index 00000000..23ec6e41 --- /dev/null +++ b/translations/my/2-Regression/1-Tools/assignment.md @@ -0,0 +1,27 @@ + +# Scikit-learn ဖြင့် Regression + +## လမ်းညွှန်ချက်များ + +Scikit-learn မှ [Linnerud dataset](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) ကိုကြည့်ပါ။ ဒီ dataset တွင် [targets](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset) များစွာပါဝင်သည်။ 'ဤ dataset တွင် အလယ်အလတ်အသက်ရှိသော လူပေါင်း ၂၀ ရဲ့ fitness club မှ စုဆောင်းထားသော လေ့ကျင့်ခန်း (data) နှင့် ရုပ်ပိုင်းဆိုင်ရာ (target) အချက်အလက် ၃ ခု ပါဝင်သည်'။ + +သင်၏စကားလုံးများဖြင့်၊ ခါးပတ်အကျယ်နှင့် situps အရေအတွက်အကြား ဆက်နွယ်မှုကို ရှင်းလင်းပြသမည့် Regression model တစ်ခုကို ဘယ်လိုဖန်တီးရမည်ကို ရှင်းပြပါ။ ဒီ dataset ရဲ့ အခြား data points များအတွက်လည်း အတူတူလုပ်ဆောင်ပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သည် | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| ဖော်ပြချက်စာပိုဒ်တင်သွင်းမှု | ရေးသားမှုကောင်းမွန်သောစာပိုဒ်တစ်ခုတင်သွင်းသည် | စာကြောင်းအနည်းငယ်တင်သွင်းသည် | ဖော်ပြချက်မပါဝင်ပါ | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/1-Tools/solution/Julia/README.md b/translations/my/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 00000000..1ce17f13 --- /dev/null +++ b/translations/my/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူပညာရှင်များမှ ဘာသာပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/2-Data/README.md b/translations/my/2-Regression/2-Data/README.md new file mode 100644 index 00000000..8576495e --- /dev/null +++ b/translations/my/2-Regression/2-Data/README.md @@ -0,0 +1,218 @@ + +# Scikit-learn ကို အသုံးပြု၍ Regression Model တည်ဆောက်ခြင်း - ဒေတာကို ပြင်ဆင်ပြီး ရှင်းလင်းဖော်ပြခြင်း + + + +Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [ဒီသင်ခန်းစာကို R မှာလည်းရနိုင်ပါတယ်!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## အကျဉ်းချုပ် + +Scikit-learn ကို အသုံးပြု၍ Machine Learning Model တည်ဆောက်ရန် လိုအပ်သော tools များကို ပြင်ဆင်ပြီးနောက်၊ သင်၏ဒေတာကို မေးခွန်းထုတ်ရန် အဆင်သင့်ဖြစ်ပါပြီ။ ML ဖြေရှင်းချက်များကို အသုံးပြုပြီး ဒေတာနှင့်အလုပ်လုပ်သည့်အခါ၊ သင့်ဒေတာ၏ အခွင့်အလမ်းများကို အကောင်းဆုံးအသုံးချနိုင်ရန် မေးခွန်းကို မှန်ကန်စွာမေးနိုင်ဖို့ အရေးကြီးပါတယ်။ + +ဒီသင်ခန်းစာမှာ သင်လေ့လာရမည့်အရာများမှာ: + +- Model တည်ဆောက်ရန်အတွက် ဒေတာကို ပြင်ဆင်နည်း။ +- Matplotlib ကို အသုံးပြု၍ ဒေတာကို ရှင်းလင်းဖော်ပြနည်း။ + +## သင့်ဒေတာကို မှန်ကန်စွာမေးခွန်းထုတ်ခြင်း + +သင်လိုအပ်သော အဖြေကို သတ်မှတ်သည့် မေးခွန်းသည် သင်အသုံးပြုမည့် ML algorithm အမျိုးအစားကို ဆုံးဖြတ်ပေးပါမည်။ သင်ရရှိမည့် အဖြေ၏ အရည်အသွေးသည် သင့်ဒေတာ၏ သဘာဝပေါ်မူတည်ပါမည်။ + +ဒီသင်ခန်းစာအတွက် [ဒေတာ](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) ကို ကြည့်ပါ။ ဒီ .csv ဖိုင်ကို VS Code မှာ ဖွင့်နိုင်ပါတယ်။ အမြန်ကြည့်လိုက်တာနဲ့ အလွတ်နေရာများ၊ စာသားနှင့် ကိန်းဂဏန်းများရောနှောနေမှုကို တွေ့နိုင်ပါတယ်။ 'Package' ဆိုတဲ့ ထူးဆန်းတဲ့ ကော်လံမှာ 'sacks', 'bins' စတဲ့ အမျိုးမျိုးသော အချက်အလက်တွေ ရှိပါတယ်။ ဒေတာက တကယ်တော့ အတော်လေး ရှုပ်ထွေးနေပါတယ်။ + +[](https://youtu.be/5qGjczWTrDQ "ML for beginners - How to Analyze and Clean a Dataset") + +> 🎥 အထက်ပါပုံကို နှိပ်ပြီး ဒီသင်ခန်းစာအတွက် ဒေတာကို ပြင်ဆင်နည်းကို ကြည့်ပါ။ + +တကယ်တော့ ML model တစ်ခုကို တည်ဆောက်ရန် အဆင်သင့်ဖြစ်နေသော ဒေတာကို ရရှိခြင်းသည် ရှားပါးသောအရာဖြစ်သည်။ ဒီသင်ခန်းစာမှာ သင် Python libraries များကို အသုံးပြု၍ raw dataset ကို ပြင်ဆင်နည်းကို လေ့လာပါမည်။ ဒါ့အပြင် ဒေတာကို ရှင်းလင်းဖော်ပြရန် နည်းလမ်းများကိုလည်း လေ့လာပါမည်။ + +## Case study: 'ဖရုံသီးဈေးကွက်' + +ဒီ folder မှာ [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) ဆိုတဲ့ .csv ဖိုင်ကို `data` folder ရဲ့ root မှာ တွေ့နိုင်ပါတယ်။ ဒီဖိုင်မှာ မြို့အလိုက် အုပ်စုဖွဲ့ထားတဲ့ ဖရုံသီးဈေးကွက်အကြောင်း 1757 လိုင်းရှိပါတယ်။ ဒါဟာ [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) မှ ထုတ်ယူထားတဲ့ raw data ဖြစ်ပြီး အမေရိကန် စိုက်ပျိုးရေးဌာနက ဖြန့်ဝေထားတာဖြစ်ပါတယ်။ + +### ဒေတာကို ပြင်ဆင်ခြင်း + +ဒီဒေတာဟာ public domain မှာ ရှိပါတယ်။ ဒေတာကို USDA website မှာ မြို့အလိုက် ဖိုင်များအနေနဲ့ ဒေါင်းလုဒ်လုပ်နိုင်ပါတယ်။ အလွဲလွဲအချော်ချော် ဖိုင်များကို ရှောင်ရှားရန် မြို့အလိုက် ဒေတာအားလုံးကို spreadsheet တစ်ခုအဖြစ် ပေါင်းစည်းထားပြီး ဒေတာကို အနည်းငယ် ပြင်ဆင်ထားပါတယ်။ အခုတော့ ဒေတာကို နီးကပ်စွာ ကြည့်လိုက်ရအောင်။ + +### ဖရုံသီးဒေတာ - စောစောကနေ သုံးသပ်ချက်များ + +ဒီဒေတာအကြောင်း သင်ဘာတွေ သတိထားမိပါသလဲ? စာသား၊ ကိန်းဂဏန်း၊ အလွတ်နေရာများနှင့် ထူးဆန်းတဲ့ အချက်အလက်များ ရောနှောနေမှုကို သင်ကြည့်ပြီးသားဖြစ်ပါတယ်။ + +Regression နည်းလမ်းကို အသုံးပြု၍ ဒီဒေတာကို ဘယ်လိုမေးခွန်းထုတ်နိုင်မလဲ? "တစ်လအတွင်းရောင်းချသော ဖရုံသီးတစ်လုံး၏ဈေးနှုန်းကို ခန့်မှန်းပါ" ဆိုတဲ့ မေးခွန်းကို မေးနိုင်ပါတယ်။ ဒေတာကို ပြန်ကြည့်လိုက်ရင် ဒီ task အတွက် လိုအပ်သော data structure ကို ဖန်တီးရန် အချို့ပြောင်းလဲမှုများ လိုအပ်ပါသည်။ + +## လေ့ကျင့်ခန်း - ဖရုံသီးဒေတာကို သုံးသပ်ခြင်း + +[Pandas](https://pandas.pydata.org/) ကို အသုံးပြုပါ။ (Pandas ဆိုတာ `Python Data Analysis` ကို ရည်ညွှန်းပါတယ်) ဒေတာကို အဆင်ပြေစွာ ပြင်ဆင်ရန် အထူးအသုံးဝင်တဲ့ tool ဖြစ်ပါတယ်။ + +### ပထမဦးဆုံး၊ နေ့စွဲပျောက်နေမှုကို စစ်ဆေးပါ + +သင်အရင်ဆုံး နေ့စွဲပျောက်နေမှုကို စစ်ဆေးရန် လိုအပ်ပါမည်: + +1. နေ့စွဲများကို လအဖြစ် ပြောင်းပါ (ဒီဟာ US dates ဖြစ်တဲ့အတွက် format က `MM/DD/YYYY` ဖြစ်ပါတယ်)။ +2. လကို အသစ်သော ကော်လံတစ်ခုထဲမှာ ထုတ်ယူပါ။ + +_notebook.ipynb_ ဖိုင်ကို Visual Studio Code မှာ ဖွင့်ပြီး spreadsheet ကို Pandas dataframe အသစ်တစ်ခုထဲ import လုပ်ပါ။ + +1. `head()` function ကို အသုံးပြု၍ ပထမ ၅ ရွေ့ကို ကြည့်ပါ။ + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ နောက်ဆုံး ၅ ရွေ့ကို ကြည့်ရန် ဘယ် function ကို အသုံးပြုမလဲ? + +1. လက်ရှိ dataframe မှာ ပျောက်နေသော ဒေတာရှိမရှိ စစ်ဆေးပါ: + + ```python + pumpkins.isnull().sum() + ``` + + ပျောက်နေသော ဒေတာရှိပါတယ်၊ ဒါပေမယ့် ဒီ task အတွက် အရေးမကြီးလို့ ဖြစ်နိုင်ပါတယ်။ + +1. သင့် dataframe ကို အလုပ်လုပ်ရန် ပိုမိုလွယ်ကူစေရန် `loc` function ကို အသုံးပြု၍ လိုအပ်သော ကော်လံများကိုသာ ရွေးပါ။ `:` ဆိုတဲ့ expression က "အလုံးစုံသော ရွေ့များ" ကို ရည်ညွှန်းပါတယ်။ + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### ဒုတိယ၊ ဖရုံသီး၏ ပျမ်းမျှဈေးနှုန်းကို ဆုံးဖြတ်ပါ + +ဖရုံသီးတစ်လုံး၏ ပျမ်းမျှဈေးနှုန်းကို ဆုံးဖြတ်ရန် ဘယ်ကော်လံများကို ရွေးမလဲ? အကြံပြုချက် - သင့်အတွက် ၃ ကော်လံလိုအပ်ပါမည်။ + +ဖြေရှင်းချက် - `Low Price` နှင့် `High Price` ကော်လံများ၏ ပျမ်းမျှကို ရယူပြီး Price column အသစ်ကို ဖြည့်ပါ၊ နေ့စွဲကော်လံကို လသာသာ ပြောင်းပါ။ အထက်ပါစစ်ဆေးမှုအရ၊ နေ့စွဲများနှင့်ဈေးနှုန်းများအတွက် ပျောက်နေသော ဒေတာမရှိပါ။ + +1. ပျမ်းမျှကိုတွက်ရန် အောက်ပါ code ကို ထည့်ပါ: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ `print(month)` ကို အသုံးပြု၍ သင်စစ်ဆေးလိုသော ဒေတာကို print လုပ်နိုင်ပါတယ်။ + +2. ပြောင်းလဲထားသော ဒေတာကို Pandas dataframe အသစ်တစ်ခုထဲ copy လုပ်ပါ: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + သင့် dataframe ကို print လုပ်ပါက သင် regression model အသစ်တစ်ခုတည်ဆောက်ရန် သန့်ရှင်းပြီး tidy ဖြစ်သော dataset ကို တွေ့ပါမည်။ + +### ဒါပေမယ့်! ဒီမှာ ထူးဆန်းတဲ့အရာတစ်ခုရှိပါတယ် + +`Package` ကော်လံကို ကြည့်ပါက ဖရုံသီးများကို အမျိုးမျိုးသော configuration များဖြင့် ရောင်းချထားသည်ကို တွေ့နိုင်ပါတယ်။ တချို့ကို '1 1/9 bushel' အတိုင်းရောင်းပြီး တချို့ကို '1/2 bushel' အတိုင်းရောင်းထားပါတယ်၊ တချို့ကို တစ်လုံးချင်း၊ တချို့ကို ပေါင်ချင်း၊ တချို့ကို အကျယ်အဝန်းအမျိုးမျိုးရှိသော box ใหญ่များဖြင့် ရောင်းထားပါတယ်။ + +> ဖရုံသီးများကို တိကျစွာချိန်ဆမရလွယ်ကူပါ + +မူရင်းဒေတာကို စူးစမ်းကြည့်ပါက `Unit of Sale` က 'EACH' သို့မဟုတ် 'PER BIN' ဖြစ်သောအခါ `Package` အမျိုးအစားသည် inch, bin, သို့မဟုတ် 'each' ဖြစ်သည်ကို တွေ့နိုင်ပါတယ်။ ဖရုံသီးများကို တိကျစွာချိန်ဆမရလွယ်ကူသောကြောင့် `Package` ကော်လံတွင် 'bushel' စာသားပါသော ဖရုံသီးများကိုသာ ရွေးပါ။ + +1. .csv import အစပိုင်းတွင် filter တစ်ခု ထည့်ပါ: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + ဒေတာကို print လုပ်ပါက သင် bushel ဖြင့် ရောင်းချသော ဖရုံသီး 415 ရွေ့ခန့်သာ ရရှိနေသည်ကို တွေ့နိုင်ပါမည်။ + +### ဒါပေမယ့်! လုပ်စရာတစ်ခုကျန်နေပါတယ် + +Bushel အရေအတွက်သည် row တစ်ခုချင်းစီအလိုက် ကွဲပြားနေသည်ကို သတိထားမိပါသလား? သင် bushel တစ်ခုအတိုင်းဈေးနှုန်းကို ပြသရန် ဈေးနှုန်းကို normalize လုပ်ရန် လိုအပ်ပါသည်။ + +1. new_pumpkins dataframe ဖန်တီးသော block အောက်တွင် အောက်ပါ code ကို ထည့်ပါ: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308) အဆိုအရ bushel ၏ အလေးချိန်သည် ထုတ်ကုန်အမျိုးအစားပေါ်မူတည်ပြီး ကွဲပြားပါသည်။ "ဥပမာအားဖြင့် တမာတီဖရုံသီး bushel တစ်ခုသည် 56 ပေါင်အလေးချိန်ရှိသင့်သည်... အရွက်များနှင့် အပင်များသည် ပိုမိုနေရာယူပြီး အလေးချိန်နည်းပါသည်၊ ထို့ကြောင့် spinach bushel တစ်ခုသည် 20 ပေါင်သာရှိသည်။" ဒါဟာ အတော်ရှုပ်ထွေးပါတယ်! Bushel-to-pound conversion ကို မလုပ်တော့ပါ၊ bushel အတိုင်းဈေးနှုန်းကိုသာ ပြသပါ။ Bushel ၏ သဘာဝကို နားလည်ရန် အရေးကြီးကြောင်းကို ဒီဖရုံသီး bushel များကို လေ့လာခြင်းမှ သက်သေပြနိုင်ပါတယ်။ + +အခုတော့ bushel အတိုင်း standardized ဖြစ်သောဈေးနှုန်းကို သုံးသပ်နိုင်ပါပြီ။ ဒေတာကို print လုပ်ပါက သင် standardized ဖြစ်သော ဒေတာကို တွေ့နိုင်ပါမည်။ + +✅ Half-bushel ဖြင့် ရောင်းချသော ဖရုံသီးများသည် အတော်လေးဈေးကြီးနေသည်ကို သတိထားမိပါသလား? ဘာကြောင့်ဖြစ်နိုင်မလဲ? အကြံပြုချက် - သေးငယ်သော ဖရုံသီးများသည် ကြီးမားသော ဖရုံသီးများထက် ပိုမိုဈေးကြီးပါသည်၊ အကြောင်းကတော့ တစ် bushel အတွင်း သေးငယ်သော ဖရုံသီးများသည် အလုံးအရေအတွက်ပိုများပြီး ကြီးမားသော ဖရုံသီးတစ်လုံး၏ အလွတ်နေရာများကို ယူထားသောကြောင့် ဖြစ်နိုင်ပါသည်။ + +## Visualization Strategies + +Data Scientist တစ်ဦး၏ အလုပ်တစ်ခုမှာ သူတို့အလုပ်လုပ်နေသော ဒေတာ၏ အရည်အသွေးနှင့် သဘာဝကို ဖော်ပြရန် ဖြစ်သည်။ ဒေတာ၏ အမျိုးမျိုးသော aspect များကို ဖော်ပြသော interesting visualizations, plots, graphs, နှင့် charts များကို ဖန်တီးခြင်းဖြင့် ဒေတာ၏ ဆက်နွယ်မှုများနှင့် ရှာဖွေရန်ခက်ခဲသော အပိုင်းများကို ရှင်းလင်းဖော်ပြနိုင်သည်။ + +[](https://youtu.be/SbUkxH6IJo0 "ML for beginners - How to Visualize Data with Matplotlib") + +> 🎥 အထက်ပါပုံကို နှိပ်ပြီး ဒီသင်ခန်းစာအတွက် ဒေတာကို ရှင်းလင်းဖော်ပြနည်းကို ကြည့်ပါ။ + +Visualizations များသည် ML technique အတွက် သင့်လျော်သောနည်းလမ်းကို ဆုံးဖြတ်ရန်လည်း အထောက်အကူပြုနိုင်သည်။ Scatterplot တစ်ခုသည် လိုင်းတစ်ခုလိုမျိုးဖြစ်နေသည်ကို တွေ့ပါက ဒေတာသည် linear regression exercise အတွက် သင့်လျော်သည်ကို ပြသနိုင်သည်။ + +Jupyter notebooks တွင် အလုပ်လုပ်ရန် သင့်လျော်သော data visualization library တစ်ခုမှာ [Matplotlib](https://matplotlib.org/) ဖြစ်သည် (သင်မကြာသေးမီက သင်ခန်းစာတွင်လည်း Matplotlib ကို တွေ့ခဲ့ပါသည်)။ + +> [ဒီ tutorials](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott) တွင် data visualization ကို ပိုမိုလေ့လာပါ။ + +## လေ့ကျင့်ခန်း - Matplotlib ကို စမ်းသပ်ခြင်း + +သင်ဖန်တီးထားသော dataframe အသစ်ကို ပြသရန် အခြေခံ plot များကို ဖန်တီးကြည့်ပါ။ အခြေခံ line plot တစ်ခုက ဘာကို ပြသမလဲ? + +1. ဖိုင်၏ အပေါ်ပိုင်း Pandas import အောက်တွင် Matplotlib ကို import လုပ်ပါ: + + ```python + import matplotlib.pyplot as plt + ``` + +1. notebook အားလုံးကို ပြန်လည် run လုပ်ပါ။ +1. notebook အောက်ဆုံးတွင် box အဖြစ် ဒေတာကို plot လုပ်ရန် cell တစ်ခု ထည့်ပါ: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + ဒီ plot သုံးစွဲရန် အသုံးဝင်ပါသလား? ဘာအကြောင်းကြောင့် အံ့ဩမိပါသလဲ? + + ဒါဟာ အသုံးဝင်တဲ့ plot မဟုတ်ပါဘူး၊ ဒါက သင့်ဒေတာကို တစ်လအတွင်း point များအဖြစ် ပြသထားတာသာ ဖြစ်ပါတယ်။ + +### အသုံးဝင်အောင်လုပ်ပါ + +Charts များကို အသုံးဝင်အောင်လုပ်ရန် ဒေတာကို အုပ်စုဖွဲ့ရန် လိုအပ်ပါသည်။ ဒေတာကို အုပ်စုဖွဲ့ပြီး y axis တွင် လများကို ပြသပြီး ဒေတာသည် distribution ကို ပြသသော plot တစ်ခုကို ဖန်တီးကြည့်ပါ။ + +1. Grouped bar chart ဖန်တီးရန် cell တစ်ခု ထည့်ပါ: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + ဒါဟာ ပိုမိုအသုံးဝင်သော data visualization ဖြစ်ပါတယ်! ဖရုံသီးများ၏ အမြင့်ဆုံးဈေးနှုန်းသည် စက်တင်ဘာနှင့် အောက်တိုဘာတွင် ဖြစ်သည်ကို ပြသနေသည်။ ဒါဟာ သင့်မျှော်လင့်ချက်နှင့် ကိုက်ညီပါသလား? ဘာကြောင့်/ဘာကြောင့်မဟုတ်ပါလဲ? + +--- + +## 🚀Challenge + +Matplotlib မှ ပေးသော visualization အမျိုးအစားများကို စူးစမ်းပါ။ Regression problems အတွက် သင့်လျော်သော အမျိုးအစားများက ဘာတွေလဲ? + +## [Post-lecture quiz](https://ff-quizzes.netlify + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူကူးဘာသာပြန်ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/2-Data/assignment.md b/translations/my/2-Regression/2-Data/assignment.md new file mode 100644 index 00000000..744b01bb --- /dev/null +++ b/translations/my/2-Regression/2-Data/assignment.md @@ -0,0 +1,23 @@ + +# ရှုထောင့်များကို လေ့လာခြင်း + +ဒေတာကို ရှုထောင့်ဖော်ပြရန် အသုံးပြုနိုင်သော စာကြောင်းများ အမျိုးမျိုးရှိသည်။ ဒီသင်ခန်းစာမှာ Pumpkin ဒေတာကို အသုံးပြုပြီး matplotlib နှင့် seaborn ကို အသုံးပြုကာ နမူနာ notebook တွင် ရှုထောင့်များ ဖော်ပြပါ။ ဘယ်စာကြောင်းတွေက အသုံးပြုရလွယ်ကူသလဲ? + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| -------- | --------- | -------- | ----------------- | +| | notebook တစ်ခုကို ရှုထောင့်/ဖော်ပြချက် နှစ်ခုနှင့်တင်သွင်းထားသည် | notebook တစ်ခုကို ရှုထောင့်/ဖော်ပြချက် တစ်ခုနှင့်တင်သွင်းထားသည် | notebook တစ်ခုကို မတင်သွင်းထားပါ | + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတရ အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွဲအချော်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/2-Data/solution/Julia/README.md b/translations/my/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 00000000..cfac64d6 --- /dev/null +++ b/translations/my/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတရ အရင်းအမြစ်အဖြစ် ရှုလေ့လာသင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်မှု ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားယူမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/2-Regression/3-Linear/README.md b/translations/my/2-Regression/3-Linear/README.md new file mode 100644 index 00000000..8ed20c29 --- /dev/null +++ b/translations/my/2-Regression/3-Linear/README.md @@ -0,0 +1,365 @@ + +# Scikit-learn ကို အသုံးပြု၍ Regression မော်ဒယ်တစ်ခု တည်ဆောက်ခြင်း: Regression လုပ်နည်း ၄ မျိုး + + +> Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [ဒီသင်ခန်းစာကို R မှာလည်းရနိုင်ပါတယ်!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### အကျဉ်းချုပ် + +ယခင်အခန်းများတွင် Regression ဆိုတာဘာလဲဆိုတာကို သင် Pumpkin စျေးနှုန်း dataset ကို အသုံးပြု၍ လေ့လာခဲ့ပြီး Matplotlib ကို အသုံးပြု၍ visualization လုပ်ခဲ့ပါသည်။ + +အခုတော့ ML အတွက် Regression ကို ပိုမိုနက်နက်ရှိုင်းရှိုင်း လေ့လာရန် အဆင်သင့်ဖြစ်ပါပြီ။ Visualization က ဒေတာကို နားလည်စေသလို Machine Learning ရဲ့ အဓိကအားသာချက်ကတော့ _မော်ဒယ်များကို လေ့ကျင့်ခြင်း_ ဖြစ်ပါတယ်။ မော်ဒယ်များကို သမိုင်းကြောင်းဒေတာပေါ်မှာ လေ့ကျင့်ပြီး ဒေတာအချင်းချင်း ဆက်နွယ်မှုများကို အလိုအလျောက် ဖမ်းဆီးနိုင်စေပြီး မော်ဒယ်မမြင်ဖူးသေးတဲ့ ဒေတာအသစ်များအတွက် အကျိုးအမြတ်ကို ခန့်မှန်းနိုင်စေပါတယ်။ + +ဒီသင်ခန်းစာမှာ Regression အမျိုးအစား ၂ မျိုးကို ပိုမိုနက်နက်ရှိုင်းရှိုင်း လေ့လာပါမည်။ _အခြေခံ Linear Regression_ နှင့် _Polynomial Regression_ တို့ဖြစ်ပြီး ဒီနည်းလမ်းများရဲ့ သင်္ချာဆိုင်ရာ အခြေခံကိုလည်း လေ့လာပါမည်။ ဒီမော်ဒယ်များက Pumpkin စျေးနှုန်းကို input data အမျိုးမျိုးပေါ်မူတည်ပြီး ခန့်မှန်းနိုင်စေပါမည်။ + +[](https://youtu.be/CRxFT8oTDMg "ML for beginners - Understanding Linear Regression") + +> 🎥 Linear Regression ရဲ့ အကျဉ်းချုပ်ကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။ + +> ဒီသင်ရိုးတစ်ခုလုံးမှာ သင်္ချာအပေါ် အနည်းငယ်သာ သိရှိမှုရှိသည်ဟု သတ်မှတ်ပြီး သင်္ချာကို အခြားနယ်ပယ်မှ ကျောင်းသားများလည်း နားလည်နိုင်စေရန် ရည်ရွယ်ထားပါသည်။ 🧮 မှတ်ချက်များ၊ အကြောင်းပြ callouts၊ ရှင်းလင်းပုံများနှင့် အခြားသင်ယူမှုကိရိယာများကို အသုံးပြုထားသည်။ + +### ကြိုတင်လိုအပ်ချက် + +Pumpkin data ရဲ့ ဖွဲ့စည်းပုံကို ယခုအချိန်မှာ သင်နားလည်ပြီးဖြစ်ရမည်။ ဒီသင်ခန်းစာရဲ့ _notebook.ipynb_ ဖိုင်မှာ preloaded နှင့် pre-cleaned ဖြစ်ပြီး bushel တစ်ခုအတွက် Pumpkin စျေးနှုန်းကို အသစ်သော data frame မှာ ပြထားသည်။ Visual Studio Code ရဲ့ kernels တွင် ဒီ notebooks များကို run လုပ်နိုင်ရမည်။ + +### ပြင်ဆင်မှု + +ဒီဒေတာကို load လုပ်ပြီး အမေးအဖြေများကို ရှာဖွေဖို့ သတိပြုပါ။ + +- Pumpkin ဝယ်ဖို့ အချိန်ကောင်းဆုံးက ဘယ်အချိန်လဲ? +- Miniature pumpkins တစ် case ရဲ့ စျေးနှုန်းကို ဘယ်လောက်ခန့်မှန်းနိုင်မလဲ? +- Half-bushel baskets နဲ့ 1 1/9 bushel box တစ်ခုကို ဘယ်ဟာကို ဝယ်သင့်လဲ? +ဒီဒေတာကို ဆက်လက် လေ့လာကြည့်ရအောင်။ + +ယခင်သင်ခန်းစာမှာ Pandas data frame တစ်ခုကို ဖန်တီးပြီး မူရင်း dataset ရဲ့ အစိတ်အပိုင်းတစ်ခုကို ထည့်သွင်းခဲ့သည်။ Pricing ကို bushel အတိုင်းအတာဖြင့် စံပြုခဲ့သည်။ ဒါပေမယ့် ၄၀၀ ခန့်သော datapoints ကိုသာ ရရှိခဲ့ပြီး ဆောင်းရာသီလများအတွက်သာ ရရှိခဲ့သည်။ + +ဒီသင်ခန်းစာရဲ့ notebook တွင် preloaded data ကို ကြည့်ပါ။ ဒေတာကို preloaded လုပ်ပြီး month data ကို scatterplot တစ်ခုအဖြစ် chart လုပ်ထားသည်။ ဒေတာရဲ့ nature ကို ပိုမိုသေချာစေရန် ပိုမိုသန့်စင်နိုင်မလားဆိုတာ ကြည့်ပါ။ + +## Linear Regression Line တစ်ခု + +Lesson 1 မှာ သင်လေ့လာခဲ့သလို Linear Regression ရဲ့ ရည်ရွယ်ချက်ကတော့ လိုင်းတစ်ခုကို plot လုပ်နိုင်ရန် ဖြစ်သည်။ + +- **Variable ဆက်နွယ်မှုများကို ပြသရန်**။ Variable များအကြား ဆက်နွယ်မှုကို ပြသရန် +- **ခန့်မှန်းချက်များ ပြုလုပ်ရန်**။ Datapoint အသစ်တစ်ခုကို လိုင်းနှင့် ဆက်နွယ်မှုအပေါ် အတိအကျ ခန့်မှန်းရန် + +**Least-Squares Regression** သုံးပြီး ဒီလိုင်းကို ရေးဆွဲသည်။ 'Least-squares' ဆိုတာက Regression လိုင်းကို ဝန်းရံထားသော datapoints များကို square လုပ်ပြီး ထည့်ပေါင်းခြင်းဖြစ်သည်။ အဆုံးသတ်ပေါင်းစုက အနည်းဆုံးဖြစ်ရမည်။ အမှားများနည်းသော `least-squares` ကို ရရှိရန် ဖြစ်သည်။ + +ဒါကို လုပ်ရတဲ့အကြောင်းကတော့ ဒေတာပွိုင့်များအားလုံးမှ cumulative distance အနည်းဆုံးဖြစ်သော လိုင်းတစ်ခုကို မော်ဒယ်ဖန်တီးလိုခြင်း ဖြစ်သည်။ ထို့အပြင် direction ကိုမဟုတ်ဘဲ magnitude ကိုသာ စိုးရိမ်သောကြောင့် term များကို square လုပ်ပြီး ထည့်ပေါင်းသည်။ + +> **🧮 သင်္ချာကို ပြပါ** +> +> ဒီလိုင်းကို _line of best fit_ ဟုခေါ်ပြီး [equation](https://en.wikipedia.org/wiki/Simple_linear_regression) ဖြင့် ဖော်ပြနိုင်သည်။ +> +> ``` +> Y = a + bX +> ``` +> +> `X` က 'explanatory variable' ဖြစ်သည်။ `Y` က 'dependent variable' ဖြစ်သည်။ လိုင်းရဲ့ slope ကို `b` ဟုခေါ်ပြီး y-intercept ကို `a` ဟုခေါ်သည်။ `X = 0` ဖြစ်သောအခါ `Y` ရဲ့တန်ဖိုးကို ရည်ညွှန်းသည်။ +> +> +> +> ပထမဆုံး slope `b` ကိုတွက်ပါ။ Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> Pumpkin data ရဲ့ မူရင်းမေးခွန်းကို ရည်ညွှန်းပါက "month အပေါ်မူတည်ပြီး bushel တစ်ခုအတွက် Pumpkin စျေးနှုန်းကို ခန့်မှန်းပါ" ဆိုသည်မှာ `X` က စျေးနှုန်းကို ရည်ညွှန်းပြီး `Y` က ရောင်းချသောလကို ရည်ညွှန်းသည်။ +> +> +> +> `Y` ရဲ့တန်ဖိုးကိုတွက်ပါ။ $4 ဝန်းကျင်ပေးရမယ်ဆိုရင် April ဖြစ်နေလိမ့်မယ်! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> လိုင်းရဲ့ slope ကိုတွက်ရန် သင်္ချာက intercept ကိုလည်း အခြေခံထားသည်။ `X = 0` ဖြစ်သောအခါ `Y` ရဲ့တည်နေရာကိုလည်း ထည့်သွင်းတွက်ချက်ထားသည်။ +> +> ဒီတန်ဖိုးများရဲ့ လိုင်းကို ဘယ်လိုသတ်မှတ်ရမလဲဆိုတာကို [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) ဝဘ်ဆိုဒ်မှာ ကြည့်နိုင်သည်။ [Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) ကိုလည်း သုံးပြီး တန်ဖိုးများက လိုင်းကို ဘယ်လိုသက်ရောက်မှုရှိသလဲဆိုတာ ကြည့်နိုင်သည်။ + +## Correlation + +နောက်ထပ်နားလည်ရမည့် term တစ်ခုကတော့ **Correlation Coefficient** ဖြစ်သည်။ X နှင့် Y variable များအကြား scatterplot ကို အသုံးပြု၍ Coefficient ကို မြန်မြန်ဆန်ဆန် visualization လုပ်နိုင်သည်။ Datapoints များကို တိကျသောလိုင်းတစ်ခုအတိုင်း scatter လုပ်ထားသော plot တွင် correlation မြင့်မားသည်။ X နှင့် Y အကြား scatter လုပ်ထားသော plot တွင် correlation နည်းပါမည်။ + +Linear Regression မော်ဒယ်က correlation coefficient မြင့်မားသော (၁ နီးစပ်ပြီး ၀ မနီးစပ်သော) Least-Squares Regression method နှင့် regression line ရှိရမည်။ + +✅ ဒီသင်ခန်းစာရဲ့ notebook ကို run လုပ်ပြီး Month နှင့် Price scatterplot ကိုကြည့်ပါ။ Pumpkin ရောင်းချမှုအတွက် Month နှင့် Price data တွေဟာ scatterplot အရ correlation မြင့်မားသလား၊ နိမ့်နားသလားဆိုတာ သင့် visual interpretation အရ သတ်မှတ်ပါ။ `Month` အစား *day of the year* (နှစ်အစမှစ၍ ရက်ပေါင်း) ကို အသုံးပြုပါက အဲဒီ correlation က ပြောင်းလဲသလား? + +အောက်ပါ code မှာ သန့်စင်ပြီး data frame `new_pumpkins` ကို ရရှိထားသည်ဟု သတ်မှတ်ပါမည်။ အဲဒီ data frame က အောက်ပါအတိုင်းဖြစ်သည်။ + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> ဒီ data ကို သန့်စင်ရန် code ကို [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb) တွင် ရရှိနိုင်သည်။ ယခင်သင်ခန်းစာတွင် လုပ်ခဲ့သည့် သန့်စင်ခြင်းအဆင့်များကို ပြုလုပ်ပြီး `DayOfYear` column ကို အောက်ပါ expression ကို အသုံးပြု၍ တွက်ချက်ထားသည်။ + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Linear Regression ရဲ့ သင်္ချာကို နားလည်ပြီးပြီဆိုရင် Pumpkin စျေးနှုန်းများကို ခန့်မှန်းနိုင်ရန် Regression မော်ဒယ်တစ်ခုကို ဖန်တီးကြည့်ရအောင်။ Holiday Pumpkin Patch အတွက် Pumpkin packages များကို optimize လုပ်ရန် ဝယ်ယူသူတစ်ဦးအတွက် ဒီအချက်အလက်များ အသုံးဝင်နိုင်ပါမည်။ + +## Correlation ရှာဖွေခြင်း + +[](https://youtu.be/uoRq-lW2eQo "ML for beginners - Looking for Correlation: The Key to Linear Regression") + +> 🎥 Correlation ရဲ့ အကျဉ်းချုပ်ကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။ + +ယခင်သင်ခန်းစာမှ သင်မြင်ခဲ့သည်မှာ အမျိုးမျိုးသောလများအတွက် အလယ်ပျဉ်စျေးနှုန်းသည် အောက်ပါအတိုင်းဖြစ်သည်။ + + 
+
+ဒါက correlation ရှိနိုင်သည်ဟု အကြံပြုသည်။ Linear Regression မော်ဒယ်ကို `Month` နှင့် `Price` အကြား သို့မဟုတ် `DayOfYear` နှင့် `Price` အကြား ဆက်နွယ်မှုကို ခန့်မှန်းရန် လေ့ကျင့်ကြည့်နိုင်သည်။ အောက်ပါ scatter plot က `DayOfYear` နှင့် `Price` အကြား ဆက်နွယ်မှုကို ပြသည်။
+
+
+
+`corr` function ကို အသုံးပြု၍ correlation ရှိမရှိ ကြည့်ရအောင်။
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+`Month` အပေါ် correlation က -0.15 ဖြစ်ပြီး `DayOfYear` အပေါ် correlation က -0.17 ဖြစ်သည်။ ဒါပေမယ့် အခြားသော ဆက်နွယ်မှုတစ်ခုရှိနိုင်သည်။ Pumpkin အမျိုးအစားများနှင့် ဆက်နွယ်မှုရှိသည်ဟု ထင်ရသည်။ ဒီ hypothesis ကို အတည်ပြုရန် Pumpkin အမျိုးအစားတစ်ခုစီကို အရောင်ကွဲကွဲဖြင့် plot လုပ်ကြည့်ရအောင်။ `scatter` plotting function မှ `ax` parameter ကို အသုံးပြု၍ point အားလုံးကို graph တစ်ခုအပေါ် plot လုပ်နိုင်သည်။
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+ကျွန်ုပ်တို့ရဲ့ စုံစမ်းမှုက variety က စျေးနှုန်းအပေါ် date ထက် ပိုမိုသက်ရောက်မှုရှိသည်ဟု အတည်ပြုသည်။ Bar graph ဖြင့်လည်း မြင်နိုင်သည်။
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+ယခုအချိန်မှာ 'pie type' ဟုခေါ်သော Pumpkin အမျိုးအစားတစ်ခုကိုသာ အာရုံစိုက်ပြီး date ရဲ့ စျေးနှုန်းအပေါ် သက်ရောက်မှုကို ကြည့်ရအောင်။
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+`corr` function ကို အသုံးပြု၍ `Price` နှင့် `DayOfYear` အကြား correlation ကို တွက်ချက်ပါက `-0.27` ရရှိမည် - ဒါက predictive model တစ်ခုကို လေ့ကျင့်ခြင်း make sense ဖြစ်သည်ဟု ဆိုလိုသည်။
+
+> Linear Regression မော်ဒယ်ကို လေ့ကျင့်မည်ဆိုရင် ဒေတာကို သန့်စင်ထားရန် အရေးကြီးသည်။ Linear Regression က missing values များနှင့် အလုပ်မလုပ်သင့်သောကြောင့် အလွတ်နေသော cell များကို ဖယ်ရှားရန် make sense ဖြစ်သည်။
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+အခြားနည်းလမ်းတစ်ခုကတော့ အလွတ်နေသော value များကို column တစ်ခုစီမှ mean value များဖြင့် ဖြည့်ရန် ဖြစ်သည်။
+
+## Simple Linear Regression
+
+[](https://youtu.be/e4c_UP2fSjg "ML for beginners - Linear and Polynomial Regression using Scikit-learn")
+
+> 🎥 Linear Regression နှင့် Polynomial Regression ရဲ့ အကျဉ်းချုပ်ကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။
+
+Linear Regression မော်ဒယ်ကို လေ့ကျင့်ရန် **Scikit-learn** library ကို အသုံးပြုပါမည်။
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+ပထမဆုံး input values (features) နှင့် ရလဒ် output (label) ကို numpy arrays သို့ ခွဲခြားပါ:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Linear Regression package ကို မှန်ကန်စွာ နားလည်စေရန် input data ကို `reshape` ပြုလုပ်ရန် လိုအပ်သည်။ Linear Regression က input အဖြစ် 2D-array ကို မျှော်မှန်းသည်။ အဲဒီ array ရဲ့ row တစ်ခုစီက input features ရဲ့ vector ကို ကိုယ်စားပြုသည်။ ကျွန်ုပ်တို့ရဲ့အခြေအနေမှာ input တစ်ခုသာရှိသောကြောင့် N×1 အရွယ်အစားရှိသော array တစ်ခုလိုအပ်သည်။ N က dataset size ဖြစ်သည်။
+
+ထို့နောက် train dataset နှင့် test dataset များသို့ data ကို ခွဲခြားရန် လိုအပ်သည်။ ဒါက training ပြီးနောက် မော်ဒယ်ကို validate လုပ်နိုင်ရန် ဖြစ်သည်။
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+နောက်ဆုံးမှာ Linear Regression မော်ဒယ်ကို training လုပ်ရန် code ၂ လိုင်းသာ လိုအပ်သည်။ `Linear
+ကျွန်တော်တို့ရဲ့အမှားဟာ ၂ ခုလောက်မှာရှိပြီး၊ ~17% လောက်ဖြစ်ပါတယ်။ အတော်လေးမကောင်းပါဘူး။ မော်ဒယ်ရဲ့အရည်အသွေးကိုပြသနိုင်တဲ့အခြားအချက်တစ်ခုက **coefficient of determination** ဖြစ်ပြီး၊ ဒီလိုရနိုင်ပါတယ်။
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+တန်ဖိုးက 0 ဖြစ်ရင်၊ မော်ဒယ်က input data ကိုမထည့်သွင်းစဉ်းစားဘဲ၊ *အဆိုးဆုံး linear predictor* ဖြစ်ပြီး၊ ရလဒ်ရဲ့ပျမ်းမျှတန်ဖိုးကိုသာပြသပါတယ်။ တန်ဖိုးက 1 ဖြစ်ရင်၊ မျှော်မှန်းထားတဲ့ output အားလုံးကိုတိကျစွာခန့်မှန်းနိုင်ပါတယ်။ ကျွန်တော်တို့ရဲ့အခြေအနေမှာ coefficient က 0.06 လောက်ရှိပြီး၊ အတော်လေးနိမ့်ပါတယ်။
+
+ကျွန်တော်တို့ test data ကို regression line နဲ့အတူ plot လုပ်ပြီး၊ regression ကကျွန်တော်တို့အခြေအနေမှာဘယ်လိုအလုပ်လုပ်သလဲဆိုတာပိုမိုမြင်နိုင်ပါတယ်။
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Polynomial Regression
+
+Linear Regression ရဲ့အခြားအမျိုးအစားတစ်ခုက Polynomial Regression ဖြစ်ပါတယ်။ တစ်ခါတစ်လေ variable တွေကြား linear relationship ရှိနိုင်ပေမယ့် - ဥပမာ၊ ဖရဲသီးရဲ့အရွယ်အစားကြီးလာတာနဲ့အမျှ၊ စျေးနှုန်းမြင့်လာတာ - တစ်ခါတစ်လေ relationship တွေကို plane သို့မဟုတ်တည့်တည့်လိုင်းအဖြစ် plot လုပ်လို့မရနိုင်ပါဘူး။
+
+✅ [ဒီမှာ](https://online.stat.psu.edu/stat501/lesson/9/9.8) Polynomial Regression အသုံးပြုနိုင်တဲ့ data အမျိုးအစားအချို့ကိုကြည့်ပါ။
+
+Date နဲ့ Price ကြားက relationship ကိုထပ်ကြည့်ပါ။ ဒီ scatterplot ကိုတည့်တည့်လိုင်းနဲ့ခန့်မှန်းသင့်တယ်လို့ထင်ပါသလား။ စျေးနှုန်းတွေကအတက်အကျဖြစ်နိုင်တာမဟုတ်လား။ ဒီအခြေအနေမှာ Polynomial Regression ကိုစမ်းကြည့်နိုင်ပါတယ်။
+
+✅ Polynomial တွေက variable တစ်ခုသို့မဟုတ်အများကြီးနဲ့ coefficient တွေပါဝင်နိုင်တဲ့ mathematical expression တွေဖြစ်ပါတယ်။
+
+Polynomial regression က nonlinear data ကိုပိုမိုတည့်တည့်အောင် curve လိုင်းတစ်ခုဖန်တီးပါတယ်။ ကျွန်တော်တို့အခြေအနေမှာ `DayOfYear` variable ကို input data ထဲမှာ squared အဖြစ်ထည့်သွင်းရင်၊ parabolic curve တစ်ခုနဲ့ data ကို fit လုပ်နိုင်ပြီး၊ curve ရဲ့အနိမ့်ဆုံးအချက်ကိုနှစ်တစ်နှစ်အတွင်းတစ်နေရာမှာရရှိနိုင်ပါမယ်။
+
+Scikit-learn မှာ data processing ရဲ့အဆင့်အမျိုးမျိုးကိုပေါင်းစည်းဖို့အတွက်အသုံးဝင်တဲ့ [pipeline API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) ပါဝင်ပါတယ်။ **pipeline** က **estimators** တွေရဲ့ chain ဖြစ်ပါတယ်။ ကျွန်တော်တို့အခြေအနေမှာ၊ မော်ဒယ်ကို polynomial features တွေထည့်သွင်းပြီး၊ regression ကို training လုပ်တဲ့ pipeline တစ်ခုဖန်တီးပါမယ်။
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+`PolynomialFeatures(2)` ကိုအသုံးပြုခြင်းက input data ထဲက second-degree polynomials အားလုံးကိုထည့်သွင်းပါမယ်။ ကျွန်တော်တို့အခြေအနေမှာ `DayOfYear`2 ဖြစ်ပြီး၊ input variable X နဲ့ Y နှစ်ခုရှိရင်၊ X2, XY နဲ့ Y2 ကိုထည့်သွင်းပါမယ်။ ပိုမြင့်တဲ့ degree polynomials တွေကိုအသုံးပြုချင်ရင်လည်းရပါတယ်။
+
+Pipelines တွေကို original `LinearRegression` object နဲ့တူညီတဲ့နည်းလမ်းနဲ့အသုံးပြုနိုင်ပြီး၊ pipeline ကို `fit` လုပ်ပြီး၊ `predict` ကိုအသုံးပြုပြီး prediction results ရနိုင်ပါတယ်။ ဒီမှာ test data နဲ့ approximation curve ကိုပြသထားပါတယ်။
+
+
+
+Polynomial Regression ကိုအသုံးပြုပြီး MSE နည်းပြီး determination မြင့်တက်နိုင်ပေမယ့်၊ အတော်လေးမထူးခြားပါဘူး။ အခြား feature တွေကိုလည်းထည့်သွင်းစဉ်းစားဖို့လိုအပ်ပါတယ်။
+
+> ဖရဲသီးစျေးနှုန်းအနိမ့်ဆုံးက Halloween အနီးမှာတွေ့ရတာကိုဘယ်လိုရှင်းပြနိုင်မလဲ?
+
+🎃 အားလုံးကိုဂုဏ်ပြုပါတယ်၊ pie ဖရဲသီးရဲ့စျေးနှုန်းကိုခန့်မှန်းနိုင်တဲ့မော်ဒယ်တစ်ခုဖန်တီးနိုင်ခဲ့ပါပြီ။ ဖရဲသီးအမျိုးအစားအားလုံးအတွက်တူညီတဲ့နည်းလမ်းကိုအသုံးပြုနိုင်ပေမယ့်၊ အတော်လေးအလုပ်ရှုပ်ပါတယ်။ အခုတော့ဖရဲသီးအမျိုးအစားကိုမော်ဒယ်ထဲမှာထည့်သွင်းစဉ်းစားနည်းကိုလေ့လာကြပါစို့!
+
+## Categorical Features
+
+အကောင်းဆုံးအခြေအနေမှာ၊ ဖရဲသီးအမျိုးအစားအမျိုးမျိုးအတွက်တူညီတဲ့မော်ဒယ်ကိုအသုံးပြုပြီးစျေးနှုန်းကိုခန့်မှန်းနိုင်ချင်ပါတယ်။ သို့သော် `Variety` column က `Month` ကဲ့သို့ numeric value မပါဝင်ပါဘူး။ ဒီလို column တွေကို **categorical** လို့ခေါ်ပါတယ်။
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 အထက်ကပုံကိုနှိပ်ပြီး categorical features အသုံးပြုနည်းအကျဉ်းချုပ်ဗီဒီယိုကိုကြည့်ပါ။
+
+ဒီမှာ variety အပေါ်မူတည်ပြီးပျမ်းမျှစျေးနှုန်းကိုမြင်နိုင်ပါတယ်။
+
+
+
+Variety ကိုစဉ်းစားဖို့အတွက်၊ variety ကို numeric form သို့မဟုတ် **encode** လုပ်ဖို့လိုအပ်ပါတယ်။ encode လုပ်နည်းအမျိုးမျိုးရှိပါတယ်-
+
+* **Numeric encoding** က variety အမျိုးအစားတွေကို table တစ်ခုထဲမှာတည်ဆောက်ပြီး၊ variety နာမည်ကို table ထဲက index နဲ့အစားထိုးပါမယ်။ ဒါဟာ linear regression အတွက်အကောင်းဆုံးနည်းလမ်းမဟုတ်ပါဘူး၊ အကြောင်းက linear regression က index ရဲ့ actual numeric value ကိုယူပြီး၊ coefficient တစ်ခုနဲ့မြှောက်ပြီးရလဒ်ထဲထည့်သွင်းပါတယ်။ ကျွန်တော်တို့အခြေအနေမှာ index နံပါတ်နဲ့စျေးနှုန်းကြားက relationship က non-linear ဖြစ်ပါတယ်၊ indices တွေကိုအတိအကျစီစဉ်ထားတယ်ဆိုရင်တောင်ပါ။
+* **One-hot encoding** က `Variety` column ကို variety တစ်ခုစီအတွက် column ၄ ခုနဲ့အစားထိုးပါမယ်။ တစ်ခုချင်းစီ column မှာ၊ row တစ်ခုဟာအတိအကျ variety တစ်ခုဖြစ်ရင် `1` ပါမယ်၊ မဟုတ်ရင် `0` ပါမယ်။ ဒါက linear regression မှာ variety တစ်ခုချင်းစီအတွက် coefficient ၄ ခုပါဝင်ပြီး၊ အဲဒီ variety အတွက် "starting price" (သို့မဟုတ် "additional price") ကိုတာဝန်ယူပါမယ်။
+
+Variety ကို one-hot encode လုပ်နည်းကိုအောက်မှာပြထားပါတယ်-
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+One-hot encoded variety ကို input အဖြစ်အသုံးပြုပြီး linear regression ကို training လုပ်ဖို့အတွက်၊ `X` နဲ့ `y` data ကိုမှန်ကန်စွာ initialize လုပ်ဖို့လိုအပ်ပါတယ်-
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+အပေါ်မှာ Linear Regression ကို training လုပ်ဖို့အသုံးပြုတဲ့ code နဲ့အတူတူပါပဲ။ စမ်းကြည့်ရင်၊ mean squared error ကအတော်လေးတူတူပါပေမယ့်၊ coefficient of determination (~77%) ကပိုမြင့်တက်ပါတယ်။ ပိုမိုတိကျတဲ့ခန့်မှန်းချက်ရဖို့အတွက်၊ categorical features တွေ၊ နဲ့ numeric features တွေဖြစ်တဲ့ `Month` သို့မဟုတ် `DayOfYear` ကိုထည့်သွင်းစဉ်းစားနိုင်ပါတယ်။ feature တွေကိုတစ်စုတစ်စည်းအဖြစ်ရဖို့ `join` ကိုအသုံးပြုနိုင်ပါတယ်-
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+ဒီမှာ `City` နဲ့ `Package` type ကိုလည်းထည့်သွင်းထားပြီး၊ MSE 2.84 (10%) နဲ့ determination 0.94 ရရှိပါတယ်!
+
+## Putting it all together
+
+အကောင်းဆုံးမော်ဒယ်ကိုဖန်တီးဖို့အတွက်၊ အပေါ်ကဥပမာထဲက combined (one-hot encoded categorical + numeric) data ကို Polynomial Regression နဲ့အတူအသုံးပြုနိုင်ပါတယ်။ အောက်မှာအပြည့်အစုံ code ကိုပြထားပါတယ်-
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+ဒီနည်းလမ်းက determination coefficient 97% နီးပါးနဲ့ MSE=2.23 (~8% prediction error) ရရှိစေပါမယ်။
+
+| Model | MSE | Determination |
+|-------|-----|---------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` Linear | 5.24 (19.7%) | 0.77 |
+| All features Linear | 2.84 (10.5%) | 0.94 |
+| All features Polynomial | 2.23 (8.25%) | 0.97 |
+
+🏆 အားလုံးကိုဂုဏ်ပြုပါတယ်! Regression models ၄ ခုကိုတစ်ခန်းတည်းမှာဖန်တီးပြီး၊ မော်ဒယ်ရဲ့အရည်အသွေးကို 97% အထိတိုးတက်စေခဲ့ပါတယ်။ Regression ရဲ့နောက်ဆုံးအပိုင်းမှာ၊ category တွေကိုသတ်မှတ်ဖို့ Logistic Regression ကိုလေ့လာပါမယ်။
+
+---
+
+## 🚀Challenge
+
+ဒီ notebook ထဲမှာ variable အမျိုးမျိုးကိုစမ်းကြည့်ပြီး၊ correlation နဲ့ model accuracy ကြားကဆက်နွယ်မှုကိုကြည့်ပါ။
+
+## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/)
+
+## Review & Self Study
+
+ဒီခန်းမှာ Linear Regression ကိုလေ့လာခဲ့ပါတယ်။ Regression ရဲ့အရေးကြီးတဲ့အမျိုးအစားအခြားများလည်းရှိပါတယ်။ Stepwise, Ridge, Lasso နဲ့ Elasticnet techniques တွေကိုဖတ်ရှုပါ။ ပိုမိုလေ့လာချင်ရင် [Stanford Statistical Learning course](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning) ကိုလေ့လာပါ။
+
+## Assignment
+
+[Build a Model](assignment.md)
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/3-Linear/assignment.md b/translations/my/2-Regression/3-Linear/assignment.md
new file mode 100644
index 00000000..49b88e02
--- /dev/null
+++ b/translations/my/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,25 @@
+
+# ရှုထောင့်မော်ဒယ်တစ်ခု ဖန်တီးခြင်း
+
+## လမ်းညွှန်ချက်များ
+
+ဒီသင်ခန်းစာမှာ Linear Regression နဲ့ Polynomial Regression နှစ်မျိုးလုံးကို အသုံးပြုပြီး မော်ဒယ်တစ်ခု ဖန်တီးပုံကို ပြသထားပါတယ်။ ဒီအတန်းမှာ သင်ယူခဲ့တဲ့ အတတ်ပညာကို အသုံးပြုပြီး dataset တစ်ခု ရှာပါ၊ ဒါမှမဟုတ် Scikit-learn ရဲ့ built-in sets တစ်ခုကို အသုံးပြုပါ။ မော်ဒယ်အသစ်တစ်ခု ဖန်တီးပြီး သင် notebook မှာ ဘာကြောင့် ဒီနည်းလမ်းကို ရွေးချယ်ခဲ့တာလဲဆိုတာ ရှင်းပြပါ။ မော်ဒယ်ရဲ့ တိကျမှုကို သက်သေပြပါ။ တိကျမှုမရှိပါက ဘာကြောင့်ဆိုတာ ရှင်းပြပါ။
+
+## အဆင့်သတ်မှတ်ချက်
+
+| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော |
+| --------- | ---------------------------------------------------------- | -------------------------- | ------------------------------- |
+| | notebook တစ်ခုကို ပြည့်စုံစွာ ဖော်ပြပြီး ဖြေရှင်းချက်ကို ကောင်းမွန်စွာ မှတ်တမ်းတင်ထားသည် | ဖြေရှင်းချက်မှာ မပြည့်စုံပါ | ဖြေရှင်းချက်မှာ အမှားများ သို့မဟုတ် bug ရှိသည် |
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/3-Linear/solution/Julia/README.md b/translations/my/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 00000000..424c6397
--- /dev/null
+++ b/translations/my/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**အကြောင်းကြားချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတရ အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားယူမှုမှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/4-Logistic/README.md b/translations/my/2-Regression/4-Logistic/README.md
new file mode 100644
index 00000000..23b6313a
--- /dev/null
+++ b/translations/my/2-Regression/4-Logistic/README.md
@@ -0,0 +1,405 @@
+
+# Logistic regression ဖြင့် အမျိုးအစားများခန့်မှန်းခြင်း
+
+
+
+## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/)
+
+> ### [ဒီသင်ခန်းစာကို R မှာလည်းရနိုင်ပါတယ်!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## အကျဉ်းချုပ်
+
+Regression အပေါ် သင်ခန်းစာများ၏ နောက်ဆုံးပိုင်းတွင်, _classic_ ML နည်းလမ်းများထဲမှ တစ်ခုဖြစ်သော Logistic Regression ကို လေ့လာပါမည်။ Binary အမျိုးအစားများကို ခန့်မှန်းရန် ပုံစံများကို ရှာဖွေဖို့ ဒီနည်းလမ်းကို သုံးနိုင်ပါတယ်။ ဥပမာ - ဒီချောကလက်က ချောကလက်လား မဟုတ်ဘူးလား? ဒီရောဂါက ကူးစက်နိုင်လား မဟုတ်ဘူးလား? ဒီဖောက်သည်က ဒီထုတ်ကုန်ကို ရွေးချယ်မလား မဟုတ်ဘူးလား?
+
+ဒီသင်ခန်းစာတွင် သင်လေ့လာရမည့်အရာများမှာ:
+
+- ဒေတာကို မြင်သာစေဖို့ အသစ်သော library
+- Logistic regression နည်းလမ်းများ
+
+✅ ဒီ [Learn module](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott) မှာ ဒီ regression အမျိုးအစားကို ပိုမိုနားလည်စေပါ။
+
+## ကြိုတင်လိုအပ်ချက်
+
+Pumpkin data ကို အသုံးပြုပြီးနောက်, `Color` ဆိုတဲ့ binary အမျိုးအစားကို လုပ်ဆောင်နိုင်မယ်ဆိုတာ နားလည်လာပါပြီ။
+
+အဲဒီအမျိုးအစားကို ခန့်မှန်းဖို့ Logistic regression model တစ်ခု တည်ဆောက်ကြမယ်။ _ပုံမှန်အားဖြင့် ဖရဲသီးရဲ့ အရောင်က ဘယ်လိုဖြစ်နိုင်မလဲ_ (လိမ္မော်ရောင် 🎃 သို့မဟုတ် အဖြူရောင် 👻) ဆိုတာကို ခန့်မှန်းပါမည်။
+
+> Regression အပေါ် သင်ခန်းစာတွင် Binary classification ကို ဘာကြောင့် ထည့်သွင်းပြောဆိုနေရတာလဲ? ဒါဟာ စကားလုံးအသုံးအနှုန်းအဆင်ပြေမှုအတွက်သာဖြစ်ပြီး Logistic regression က [အမှန်တကယ်တော့ classification နည်းလမ်း](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression) ဖြစ်ပါတယ်။ Linear-based classification ဖြစ်ပေမယ့်, ဒေတာကို အခြားနည်းလမ်းများဖြင့် classify လုပ်နည်းကို နောက်သင်ခန်းစာတွင် လေ့လာပါမည်။
+
+## မေးခွန်းကို သတ်မှတ်ပါ
+
+ဒီအတွက်, 'White' သို့မဟုတ် 'Not White' ဆိုတဲ့ binary အနေနဲ့ ဖော်ပြပါမည်။ Dataset မှာ 'striped' ဆိုတဲ့ အမျိုးအစားလည်း ပါဝင်ပေမယ့်, အဲဒီအမျိုးအစားက နည်းနည်းပဲရှိတာကြောင့် မသုံးပါဘူး။ Null values တွေကို ဖယ်ရှားလိုက်တဲ့အခါ, အဲဒီအမျိုးအစားက dataset မှာ မပါတော့ပါဘူး။
+
+> 🎃 စိတ်ဝင်စားစရာကောင်းတဲ့ အချက် - အဖြူရောင်ဖရဲသီးတွေကို 'ghost' ဖရဲသီးတွေ လို့ခေါ်တတ်ကြပါတယ်။ အဲဒီဖရဲသီးတွေကို ပုံဖော်ဖို့ မလွယ်ကူလို့, လိမ္မော်ရောင်ဖရဲသီးတွေလို လူကြိုက်များတာမဟုတ်ပေမယ့်, အလှတရားရှိပါတယ်! ဒါကြောင့်, မေးခွန်းကို 'Ghost' သို့မဟုတ် 'Not Ghost' 👻 လို့ ပြန်ဖော်ပြနိုင်ပါတယ်။
+
+## Logistic regression အကြောင်း
+
+Logistic regression က Linear regression နဲ့ အရေးကြီးတဲ့ အချက်အချို့မှာ ကွဲပြားပါတယ်။
+
+[](https://youtu.be/KpeCT6nEpBY "ML for beginners - Understanding Logistic Regression for Machine Learning Classification")
+
+> 🎥 Logistic regression အကြောင်း အကျဉ်းချုပ်ဗီဒီယိုကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။
+
+### Binary classification
+
+Logistic regression က Linear regression နဲ့ တူညီတဲ့ feature များ မပေးပါဘူး။ Logistic regression က binary အမျိုးအစား ("white or not white") ကို ခန့်မှန်းနိုင်သလို, Linear regression ကတော့ ဆက်လက်တိုးတက်နေတဲ့ အချက်အလက်များကို ခန့်မှန်းနိုင်ပါတယ်။ ဥပမာ - ဖရဲသီးရဲ့ မူလနေရာနဲ့ ခူးဆွတ်ချိန်အပေါ် မူတည်ပြီး _ဈေးနှုန်းဘယ်လောက်တက်မလဲ_ ဆိုတာကို ခန့်မှန်းနိုင်ပါတယ်။
+
+
+> Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### အခြား classification များ
+
+Logistic regression ရဲ့ အခြားအမျိုးအစားများလည်း ရှိပါတယ်၊ Multinomial နဲ့ Ordinal အပါအဝင်:
+
+- **Multinomial** - အမျိုးအစားများစွာ ပါဝင်သောအခါ ("Orange, White, and Striped").
+- **Ordinal** - အမျိုးအစားများကို အစီအစဉ်အလိုက် စီရင်သောအခါ, ဥပမာ - ဖရဲသီးများကို အရွယ်အစား (mini, sm, med, lg, xl, xxl) အလိုက် စီရင်ခြင်း။
+
+
+
+### Variables များ correlation မလိုအပ်ပါ
+
+Linear regression က correlation များရှိတဲ့ variables တွေကို ပိုကောင်းစွာ အလုပ်လုပ်နိုင်ပါတယ်။ Logistic regression ကတော့ ဆန့်ကျင်ဘက်ဖြစ်ပြီး - variables တွေ alignment မလိုအပ်ပါဘူး။ ဒါက correlation များအားနည်းတဲ့ ဒီဒေတာအတွက် အဆင်ပြေပါတယ်။
+
+### သန့်ရှင်းတဲ့ ဒေတာများ များများလိုအပ်ပါတယ်
+
+Logistic regression က ဒေတာများ များများသုံးရင် ပိုမိုတိကျတဲ့ ရလဒ်တွေ ပေးနိုင်ပါတယ်။ ကျွန်တော်တို့ dataset က သေးငယ်တဲ့အတွက်, ဒီ task အတွက် အကောင်းဆုံးမဟုတ်ပါဘူး၊ ဒါကို သတိထားပါ။
+
+[](https://youtu.be/B2X4H9vcXTs "ML for beginners - Data Analysis and Preparation for Logistic Regression")
+
+> 🎥 Linear regression အတွက် ဒေတာကို ပြင်ဆင်ခြင်းအကြောင်း အကျဉ်းချုပ်ဗီဒီယိုကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။
+
+✅ Logistic regression အတွက် သင့်လျော်တဲ့ ဒေတာအမျိုးအစားများကို စဉ်းစားပါ
+
+## လေ့ကျင့်ခန်း - ဒေတာကို tidy လုပ်ပါ
+
+ပထမဦးဆုံး, null values တွေကို ဖယ်ရှားပြီး column အချို့ကိုသာ ရွေးချယ်ပါ:
+
+1. အောက်ပါ code ကို ထည့်ပါ:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ သင့် dataframe အသစ်ကို အမြဲကြည့်ရှုနိုင်ပါတယ်:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Visualization - categorical plot
+
+Starter notebook [starter notebook](../../../../2-Regression/4-Logistic/notebook.ipynb) ကို pumpkin data နဲ့ ပြန်တင်ပြီး, `Color` အပါအဝင် variables အချို့ကို ထိန်းသိမ်းထားတဲ့ dataset ကို သန့်စင်ပြီးဖြစ်ပါပြီ။ Notebook မှာ dataframe ကို visualized လုပ်ဖို့ Seaborn [Seaborn](https://seaborn.pydata.org/index.html) ဆိုတဲ့ library အသစ်ကို အသုံးပြုပါမည်။
+
+Seaborn က ဒေတာကို visualized လုပ်ဖို့ အဆင်ပြေတဲ့ နည်းလမ်းများ ပေးပါတယ်။ ဥပမာ - `Variety` နဲ့ `Color` တို့ရဲ့ distribution ကို categorical plot မှာ နှိုင်းယှဉ်နိုင်ပါတယ်။
+
+1. Pumpkin data `pumpkins` ကို အသုံးပြုပြီး, ဖရဲသီး category (orange or white) တစ်ခုစီအတွက် အရောင် mapping ကို သတ်မှတ်ပြီး `catplot` function ကို အသုံးပြုပါ:
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ ဒေတာကို ကြည့်ရှုခြင်းအားဖြင့်, Color data က Variety နဲ့ ဘယ်လိုဆက်စပ်နေသလဲဆိုတာကို တွေ့နိုင်ပါတယ်။
+
+ ✅ ဒီ categorical plot ကို ကြည့်ပြီး, စိတ်ဝင်စားစရာ အခြေခံအချက်များကို စဉ်းစားပါ
+
+### Data pre-processing: feature and label encoding
+Pumpkins dataset မှာ column အားလုံး string values ပါဝင်ပါတယ်။ Categorical data ကို လူတွေ အလွယ်တကူ နားလည်နိုင်ပေမယ့်, machine learning algorithms တွေကတော့ numbers နဲ့ ပိုကောင်းစွာ အလုပ်လုပ်နိုင်ပါတယ်။ ဒါကြောင့် encoding က data pre-processing အဆင့်မှာ အရေးကြီးတဲ့ အဆင့်ဖြစ်ပါတယ်။ ဒါက categorical data ကို numerical data အဖြစ် ပြောင်းနိုင်စေပြီး, အချက်အလက်မဆုံးရှုံးစေပါဘူး။ ကောင်းမွန်တဲ့ encoding က ကောင်းမွန်တဲ့ model တည်ဆောက်နိုင်စေပါတယ်။
+
+Feature encoding အတွက် အဓိက encoder အမျိုးအစားနှစ်မျိုးရှိပါတယ်:
+
+1. Ordinal encoder: Ordinal variables အတွက် သင့်လျော်ပါတယ်။ Ordinal variables ဆိုတာ logical ordering ရှိတဲ့ categorical variables ဖြစ်ပါတယ်။ ဥပမာ - dataset ရဲ့ `Item Size` column. Ordinal encoder က mapping တစ်ခု ဖန်တီးပြီး, category တစ်ခုစီကို column ရဲ့ အစီအစဉ်အလိုက် နံပါတ်တစ်ခုဖြင့် ကိုယ်စားပြုပါတယ်။
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Categorical encoder: Nominal variables အတွက် သင့်လျော်ပါတယ်။ Nominal variables ဆိုတာ logical ordering မရှိတဲ့ categorical variables ဖြစ်ပါတယ်။ One-hot encoding ဖြစ်ပြီး, category တစ်ခုစီကို binary column ဖြင့် ကိုယ်စားပြုပါတယ်။ Encoded variable က ဖရဲသီးက အဲဒီ Variety ကိုယ်စားပြုရင် 1 ဖြစ်ပြီး, မဟုတ်ရင် 0 ဖြစ်ပါတယ်။
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+ပြီးနောက်, `ColumnTransformer` ကို အသုံးပြုပြီး, encoder များစွာကို တစ်ခုတည်းသောအဆင့်အဖြစ် ပေါင်းစည်းပြီး သင့် columns များကို အကျိုးသက်ရောက်စေပါမည်။
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+Label ကို encode လုပ်ဖို့, scikit-learn ရဲ့ `LabelEncoder` class ကို အသုံးပြုပါမည်။ LabelEncoder က labels တွေကို normalize လုပ်ပြီး, 0 နဲ့ n_classes-1 (ဒီမှာ 0 နဲ့ 1) အကြားရှိတဲ့ values တွေကိုသာ ပါဝင်စေပါတယ်။
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Features နဲ့ label ကို encode လုပ်ပြီးနောက်, `encoded_pumpkins` ဆိုတဲ့ dataframe အသစ်တစ်ခုအဖြစ် ပေါင်းစည်းနိုင်ပါတယ်။
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ `Item Size` column အတွက် ordinal encoder ကို အသုံးပြုခြင်းရဲ့ အကျိုးကျေးဇူးများက ဘာတွေလဲ?
+
+### Variables များအကြား ဆက်နွယ်မှုများကို ချဉ်းကပ်ပါ
+
+Data pre-processing ပြီးနောက်, features နဲ့ label အကြား ဆက်နွယ်မှုများကို ချဉ်းကပ်နိုင်ပါပြီ။ Model က features တွေကို အသုံးပြုပြီး label ကို ခန့်မှန်းနိုင်မယ့် အခြေအနေကို နားလည်ရန်, ဒေတာကို plot လုပ်ခြင်းက အကောင်းဆုံးနည်းလမ်းဖြစ်ပါတယ်။ Seaborn ရဲ့ `catplot` function ကို အသုံးပြုပြီး, `Item Size`, `Variety` နဲ့ `Color` တို့ရဲ့ ဆက်နွယ်မှုကို categorical plot မှာ visualized လုပ်ပါမည်။ Encoded `Item Size` column နဲ့ unencoded `Variety` column ကို အသုံးပြုပါမည်။
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Swarm plot ကို အသုံးပြုပါ
+
+Color က binary category (White or Not) ဖြစ်တဲ့အတွက်, 'a [specialized approach](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) to visualization' လိုအပ်ပါတယ်။ Category နဲ့ အခြား variables တွေကြား ဆက်နွယ်မှုကို visualized လုပ်ဖို့ အခြားနည်းလမ်းများလည်း ရှိပါတယ်။
+
+Seaborn plots ကို အသုံးပြုပြီး, variables တွေကို side-by-side visualized လုပ်နိုင်ပါတယ်။
+
+1. Values တွေ distribution ကို ပြသဖို့ 'swarm' plot ကို စမ်းသုံးပါ:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**သတိထားပါ**: အထက်ပါ code က warning တစ်ခု ဖြစ်စေနိုင်ပါတယ်၊ အကြောင်းကတော့ seaborn က datapoints များစွာကို swarm plot မှာ represent လုပ်ဖို့ မအောင်မြင်တာကြောင့် ဖြစ်ပါတယ်။ Marker size ကို 'size' parameter ဖြင့် လျှော့ချခြင်းက ဖြေရှင်းနည်းတစ်ခုဖြစ်နိုင်ပါတယ်။ သို့သော်, ဒါက plot ရဲ့ readability ကို ထိခိုက်စေနိုင်တာကို သတိထားပါ။
+
+> **🧮 သင်္ချာကို ပြပါ**
+>
+> Logistic regression က 'maximum likelihood' concept ကို [sigmoid functions](https://wikipedia.org/wiki/Sigmoid_function) အသုံးပြုပါတယ်။ 'Sigmoid Function' ဟာ plot မှာ 'S' ပုံစံရှိပါတယ်။ Value တစ်ခုကို 0 နဲ့ 1 အကြား map လုပ်ပါတယ်။ Curve ကို 'logistic curve' လို့လည်း ခေါ်ပါတယ်။ Formula က ဒီလိုပုံစံရှိပါတယ်:
+>
+> 
+>
+> Sigmoid ရဲ့ midpoint က x ရဲ့ 0 point မှာ ရှိပြီး, L က curve ရဲ့ အများဆုံး value ဖြစ်ပါတယ်။ k က curve ရဲ့ steepness ဖြစ်ပါတယ်။ Function ရဲ့ result က 0.5 ထက်ပိုရင်, label ကို binary choice ရဲ့ '1' class အဖြစ် assign လုပ်ပါမည်။ မဟုတ်ရင်, '0' အဖြစ် classify လုပ်ပါမည်။
+
+## Model ကို တည်ဆောက်ပါ
+
+Binary classification တွေကို ရှာဖွေဖို့ model တစ်ခု တည်ဆောက်ခြင်းက Scikit-learn မှာ အလွယ်ကူပါတယ်။
+
+[](https://youtu.be/MmZS2otPrQ8 "ML for beginners - Logistic Regression for classification of data")
+
+> 🎥 Linear regression model တည်ဆောက်ခြင်းအကြောင်း အကျဉ်းချုပ်ဗီဒီယိုကို ကြည့်ရန် အထက်ပါပုံကို နှိပ်ပါ။
+
+1. Classification model မှာ အသုံးပြုလိုတဲ့ variables တွေကို ရွေးချယ်ပြီး, `train_test_split()` ကို ခေါ်ပြီး training နဲ့ test sets ကို ခွဲပါ:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Model ကို training data နဲ့ `fit()` ကို ခေါ်ပြီး train လုပ်ပါ၊ ရလဒ်ကို print လုပ်ပါ:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Model ရဲ့ scoreboard ကို ကြည့်ပါ။ ဒေတာ 1000 rows လောက်ပဲ ရှိတာကို တွေးမိရင်, အဆင်ပြေပါတယ်:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Confusion matrix ဖြင့် ပိုမိုနားလည်မှုရရှိပါ
+
+အထက်ပါ items တွေကို print လုပ်ပြီး, [terms](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) ရဲ့ scoreboard report ကို ရနိုင်ပါတယ်။ သို့သော်, model ကို ပိုမိုနားလည်စေရန်, [confusion matrix](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) ကို အသုံးပြုပါ။
+
+> 🎓 '[confusion matrix](https://wikipedia.org/wiki/Confusion_matrix)' (သို့မဟုတ် 'error matrix') က model ရဲ့ true vs. false positives နဲ့ negatives ကို table အနေနဲ့ ဖော်ပြပြီး, ခန့်မှန်းမှုရဲ့ တိကျမှုကို တိုင်းတာပါတယ်။
+
+1. Confusion matrix ကို အသုံးပြုဖို့, `confusion_matrix()` ကို ခေါ်ပါ:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Model ရဲ့ confusion matrix ကို ကြည့်ပါ:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Scikit-learn မှာ confusion matrices ရဲ့ Rows (axis 0) က actual labels ဖြစ်ပြီး, Columns (axis 1) က predicted labels ဖြစ်ပါတယ်။
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+|
+အကြောင်းအရာများနှင့် Precision နှင့် Recall တို့သည် Confusion Matrix နှင့် ဘယ်လိုဆက်စပ်နေသလဲ? အထက်တွင် ဖော်ပြထားသော Classification Report မှ Precision (0.85) နှင့် Recall (0.67) ကို ပြထားသည်။
+
+Precision = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Recall = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: Confusion Matrix အရ မော်ဒယ်က ဘယ်လိုလုပ်ဆောင်ခဲ့သလဲ?
+A: မဆိုးပါဘူး၊ true negatives များစွာရှိပြီး false negatives အနည်းငယ်လည်းရှိပါတယ်။
+
+Confusion Matrix မှ TP/TN နှင့် FP/FN mapping ကို အသုံးပြု၍ အရင်တွေ့ခဲ့သော အကြောင်းအရာများကို ပြန်လည်သုံးသပ်ကြမယ်။
+
+🎓 Precision: TP/(TP + FP)
+Retrieved ဖြစ်သော instances တွင် Relevant ဖြစ်သော instances ရဲ့ အချိုး (ဥပမာ- label များကို မှန်ကန်စွာ label လုပ်ထားသည်)
+
+🎓 Recall: TP/(TP + FN)
+Relevant ဖြစ်သော instances တွေကို Retrieved လုပ်ထားသော အချိုး (မှန်ကန်စွာ label လုပ်ထားခြင်းဖြစ်စေ၊ မဖြစ်စေ)
+
+🎓 f1-score: (2 * precision * recall)/(precision + recall)
+Precision နှင့် Recall ရဲ့ Weighted Average (အကောင်းဆုံး 1 ဖြစ်ပြီး အဆိုးဆုံး 0 ဖြစ်သည်)
+
+🎓 Support:
+Retrieved လုပ်ထားသော label တစ်ခုချင်းစီရဲ့ ဖြစ်ပေါ်မှုအရေအတွက်
+
+🎓 Accuracy: (TP + TN)/(TP + TN + FP + FN)
+Sample တစ်ခုအတွက် label များကို မှန်ကန်စွာ ခန့်မှန်းထားသော ရာခိုင်နှုန်း
+
+🎓 Macro Avg:
+Label များရဲ့ Imbalance ကို မထည့်သွင်းစဉ်းစားဘဲ Label တစ်ခုချင်းစီအတွက် Unweighted Mean Metrics တွေကို တွက်ချက်ထားခြင်း
+
+🎓 Weighted Avg:
+Label များရဲ့ Imbalance ကို Support (label တစ်ခုချင်းစီရဲ့ true instances အရေအတွက်) ဖြင့် weighting လုပ်ပြီး Mean Metrics တွေကို တွက်ချက်ထားခြင်း
+
+✅ Q: False negatives အရေအတွက်ကို လျှော့ချချင်ရင် မော်ဒယ်ရဲ့ ဘယ် Metric ကို အဓိကကြည့်သင့်သလဲ?
+
+## မော်ဒယ်ရဲ့ ROC Curve ကို Visualize လုပ်ပါ
+
+[](https://youtu.be/GApO575jTA0 "ML for beginners - Analyzing Logistic Regression Performance with ROC Curves")
+
+> 🎥 အထက်ပါပုံကို Click လုပ်ပြီး ROC Curves အကြောင်း ရှင်းလင်းထားသော ဗီဒီယိုကို ကြည့်ပါ
+
+"ROC" Curve ကို ကြည့်ရှုရန် Visualization တစ်ခုကို ပြုလုပ်ကြမယ်။
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Matplotlib ကို အသုံးပြု၍ မော်ဒယ်ရဲ့ [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) (ROC) ကို Plot လုပ်ပါ။ ROC curves ကို Classifier ရဲ့ True vs. False Positives output ကို ကြည့်ရှုရန် အများအားဖြင့် အသုံးပြုသည်။ "ROC curves တွင် Y axis တွင် True Positive Rate ကို feature လုပ်ပြီး X axis တွင် False Positive Rate ကို feature လုပ်သည်။" Curve ရဲ့ steepness နှင့် Midpoint Line နှင့် Curve အကြားရှိနေသော နေရာသည် အရေးကြီးသည်။ Curve က မြန်မြန် Heading Up လုပ်ပြီး Line အပေါ်ကို ရောက်သင့်သည်။ ကျွန်ုပ်တို့ရဲ့ မော်ဒယ်တွင် False Positives များစွာရှိပြီး Line က Heading Up လုပ်ပြီး အပေါ်ကို ရောက်သွားသည်။
+
+
+
+နောက်ဆုံးတွင် Scikit-learn ရဲ့ [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) ကို အသုံးပြု၍ 'Area Under the Curve' (AUC) ကို တွက်ချက်ပါ။
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+ရလဒ်မှာ `0.9749908725812341` ဖြစ်သည်။ AUC သည် 0 မှ 1 အထိ ရှိနိုင်ပြီး Prediction များကို 100% မှန်ကန်စွာ ခန့်မှန်းနိုင်သော မော်ဒယ်သည် AUC 1 ရှိမည်။ ဒီအခါမှာတော့ မော်ဒယ်က _တော်တော်လေးကောင်းပါတယ်_။
+
+အနာဂတ် Classifications သင်ခန်းစာများတွင် မော်ဒယ်ရဲ့ Score များကို တိုးတက်အောင် Iteration လုပ်နည်းကို သင်ယူရမည်။ ဒါပေမယ့် အခုအချိန်မှာ Congratulations! Regression သင်ခန်းစာများကို ပြီးမြောက်စွာ လုပ်ဆောင်နိုင်ပါပြီ!
+
+---
+## 🚀Challenge
+
+Logistic Regression အကြောင်းမှာ သင်ယူစရာများစွာ ရှိနေဆဲပါ။ သို့သော် အကောင်းဆုံး သင်ယူနည်းက စမ်းသပ်ခြင်းဖြစ်သည်။ ဒီအမျိုးအစား Analysis အတွက် သင့်လျော်သော Dataset တစ်ခုကို ရှာဖွေပြီး မော်ဒယ်တစ်ခုကို တည်ဆောက်ပါ။ သင်ဘာတွေ သင်ယူရမလဲ? tip: [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) မှ စိတ်ဝင်စားဖွယ် Dataset များကို စမ်းကြည့်ပါ။
+
+## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/)
+
+## Review & Self Study
+
+Stanford မှ [ဒီစာတမ်း](https://web.stanford.edu/~jurafsky/slp3/5.pdf) ရဲ့ ပထမပိုင်းစာမျက်နှာများကို ဖတ်ပါ။ Logistic Regression ရဲ့ လက်တွေ့အသုံးချမှုများအကြောင်းတွင် စဉ်းစားပါ။ ကျွန်ုပ်တို့ သင်ယူခဲ့သော Regression အမျိုးအစားများအနက် ဘယ်အမျိုးအစားက သင့်လျော်မလဲဆိုတာကို စဉ်းစားပါ။
+
+## Assignment
+
+[Retrying this regression](assignment.md)
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူကောင်းမွန်သော ပရော်ဖက်ရှင်နယ်ဘာသာပြန်ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/4-Logistic/assignment.md b/translations/my/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 00000000..df8cb9b0
--- /dev/null
+++ b/translations/my/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,25 @@
+
+# ပြန်လည်ကြိုးစားခြင်း - Regression
+
+## လမ်းညွှန်ချက်များ
+
+ဒီသင်ခန်းစာမှာ သင်သည် ဖရုံသီးဒေတာ၏ အစိတ်အပိုင်းတစ်ခုကို အသုံးပြုခဲ့သည်။ အခုတော့ မူရင်းဒေတာကို ပြန်သွားပြီး သန့်စင်ထားပြီး စံပြုထားသော ဒေတာအားလုံးကို အသုံးပြု၍ Logistic Regression မော်ဒယ်တစ်ခု တည်ဆောက်ရန် ကြိုးစားပါ။
+
+## အဆင့်သတ်မှတ်ချက်
+
+| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော |
+| ----------- | ----------------------------------------------------------------------- | ------------------------------------------------------------ | ----------------------------------------------------------- |
+| | မော်ဒယ်ကို ကောင်းစွာရှင်းပြထားပြီး ကောင်းစွာအလုပ်လုပ်သော notebook တစ်ခုကို တင်ပြထားသည် | မော်ဒယ်သည် အနည်းဆုံးအလုပ်လုပ်သော notebook တစ်ခုကို တင်ပြထားသည် | မော်ဒယ်သည် အလုပ်မလုပ်သော notebook တစ်ခု သို့မဟုတ် မတင်ပြထားသော |
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/4-Logistic/solution/Julia/README.md b/translations/my/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 00000000..cca42a5e
--- /dev/null
+++ b/translations/my/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/2-Regression/README.md b/translations/my/2-Regression/README.md
new file mode 100644
index 00000000..f39f900b
--- /dev/null
+++ b/translations/my/2-Regression/README.md
@@ -0,0 +1,54 @@
+
+# စက်မှုသင်ယူမှုအတွက် ပြန်လည်ခန့်မှန်းမော်ဒယ်များ
+## ဒေသဆိုင်ရာ ခေါင်းစဉ်: မြောက်အမေရိကာရှိ ဖရုံဈေးနှုန်းများအတွက် ပြန်လည်ခန့်မှန်းမော်ဒယ်များ 🎃
+
+မြောက်အမေရိကာတွင် ဖရုံများကို Halloween အတွက် ကြောက်မက်ဖွယ်မျက်နှာများအဖြစ် ပုံဖော်တတ်ကြသည်။ ဒီစိတ်ဝင်စားဖွယ် ဟင်းသီးဟင်းရွက်များအကြောင်း ပိုမိုလေ့လာကြရအောင်!
+
+
+> ဓာတ်ပုံ - Beth Teutschmann မှ Unsplash တွင် ရရှိသည်
+
+## သင်လေ့လာမည့်အရာများ
+
+[](https://youtu.be/5QnJtDad4iQ "Regression ကိုမိတ်ဆက်ခြင်း - ကြည့်ရန်နှိပ်ပါ!")
+> 🎥 အထက်ပါပုံကိုနှိပ်ပြီး ဒီသင်ခန်းစာအတွက် အကျဉ်းချုပ်ဗီဒီယိုကို ကြည့်ပါ
+
+ဒီအပိုင်းတွင် ပါဝင်သင်ကြားမည့် သင်ခန်းစာများသည် စက်မှုသင်ယူမှုအတွင်း ပြန်လည်ခန့်မှန်းမော်ဒယ်များအကြောင်းကို ဖော်ပြထားသည်။ ပြန်လည်ခန့်မှန်းမော်ဒယ်များသည် အပြောင်းအလဲများအကြား _ဆက်စပ်မှု_ ကို သတ်မှတ်နိုင်စေသည်။ ဒီမော်ဒယ်အမျိုးအစားသည် အရှည်၊ အပူချိန်၊ အသက် စသည့် တန်ဖိုးများကို ခန့်မှန်းနိုင်ပြီး ဒေတာအချက်အလက်များကို ခွဲခြမ်းစိတ်ဖြာသည့်အခါ အပြောင်းအလဲများအကြား ဆက်စပ်မှုများကို ဖော်ထုတ်နိုင်သည်။
+
+ဒီသင်ခန်းစာများစီးရီးတွင် Linear regression နှင့် Logistic regression တို့အကြား ကွာခြားချက်များကို ရှာဖွေပြီး တစ်ခုကို တစ်ခုထက် မည်သည့်အခါမှာ ပိုသင့်တော်မည်ကို သိရှိနိုင်မည်ဖြစ်သည်။
+
+[](https://youtu.be/XA3OaoW86R8 "စက်မှုသင်ယူမှုအတွက် ပြန်လည်ခန့်မှန်းမော်ဒယ်များကို မိတ်ဆက်ခြင်း")
+
+> 🎥 အထက်ပါပုံကိုနှိပ်ပြီး ပြန်လည်ခန့်မှန်းမော်ဒယ်များအကြောင်း အကျဉ်းချုပ်ဗီဒီယိုကို ကြည့်ပါ
+
+ဒီသင်ခန်းစာအုပ်စုတွင် စက်မှုသင်ယူမှုလုပ်ငန်းများကို စတင်ရန် ပြင်ဆင်မည့်အခန်းကဏ္ဍများကို လေ့လာမည်ဖြစ်ပြီး Visual Studio Code ကို notebook များကို စီမံခန့်ခွဲရန် ပြင်ဆင်သည့်နည်းလမ်းများ၊ ဒေတာသိပ္ပံပညာရှင်များအတွက် ပုံမှန်ပတ်ဝန်းကျင်များကို လေ့လာမည်ဖြစ်သည်။ သင်သည် Scikit-learn လိုက်ဘရေးရီးကို ရှာဖွေပြီး ဒီအခန်းတွင် ပြန်လည်ခန့်မှန်းမော်ဒယ်များကို အထူးအာရုံစိုက်ကာ သင်၏ ပထမဆုံးမော်ဒယ်များကို တည်ဆောက်မည်ဖြစ်သည်။
+
+> ပြန်လည်ခန့်မှန်းမော်ဒယ်များနှင့် အလုပ်လုပ်ရန် အထောက်အကူပြုသော နည်းလမ်းများကို လေ့လာရန် အထောက်အကူပြုသော အနည်းဆုံးကုဒ်တစ်ချို့ရှိသည်။ ဒီအလုပ်အတွက် [Azure ML](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) ကို စမ်းကြည့်ပါ
+
+### သင်ခန်းစာများ
+
+1. [အသုံးပြုရမည့် ကိရိယာများ](1-Tools/README.md)
+2. [ဒေတာကို စီမံခန့်ခွဲခြင်း](2-Data/README.md)
+3. [Linear နှင့် Polynomial ပြန်လည်ခန့်မှန်းမှု](3-Linear/README.md)
+4. [Logistic ပြန်လည်ခန့်မှန်းမှု](4-Logistic/README.md)
+
+---
+### အကျိုးတူဆောင်ရွက်သူများ
+
+"ML with regression" ကို [Jen Looper](https://twitter.com/jenlooper) မှ ♥️ ဖြင့် ရေးသားထားသည်
+
+♥️ စမ်းမေးခွန်းအထောက်အကူပြုသူများတွင် [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) နှင့် [Ornella Altunyan](https://twitter.com/ornelladotcom) တို့ ပါဝင်သည်
+
+ဖရုံဒေတာအစုကို [Kaggle တွင်ရှိသော ဒီပရောဂျက်](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) မှ အကြံပြုထားပြီး ဒေတာကို အမေရိကန်စိုက်ပျိုးရေးဌာနမှ ထုတ်ဝေသည့် [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) မှ ရယူထားသည်။ ကျွန်ုပ်တို့သည် အမျိုးအစားအလိုက် အရောင်များကို ပုံမှန်ဖြန့်ဝေမှုအတွက် အချို့အချက်အလက်များ ထည့်သွင်းထားသည်။ ဒီဒေတာသည် Public Domain အတွင်းရှိသည်။
+
+---
+
+**ဝက်ဘ်ဆိုက်မှတ်ချက်**:
+ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူပညာရှင်များမှ ဘာသာပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။
\ No newline at end of file
diff --git a/translations/my/3-Web-App/1-Web-App/README.md b/translations/my/3-Web-App/1-Web-App/README.md
new file mode 100644
index 00000000..85f3e195
--- /dev/null
+++ b/translations/my/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,355 @@
+
+# ML မော်ဒယ်ကို အသုံးပြုရန် Web App တည်ဆောက်ခြင်း
+
+ဒီသင်ခန်းစာမှာ သင်သည် _နောက်ဆုံးရာစုအတွင်း UFO တွေ့ရှိမှုများ_ ဆိုတဲ့ အထူးအဆန်းသော ဒေတာစနစ်ပေါ်မှာ ML မော်ဒယ်ကို လေ့ကျင့်ပါမည်။ ဒေတာများကို NUFORC ရဲ့ ဒေတာဘေ့စ်မှ ရယူထားသည်။
+
+သင်လေ့လာရမည့်အရာများမှာ:
+
+- လေ့ကျင့်ပြီးသော မော်ဒယ်ကို 'pickle' လုပ်နည်း
+- Flask app မှာ မော်ဒယ်ကို အသုံးပြုနည်း
+
+ကျွန်တော်တို့သည် ဒေတာကို သန့်စင်ခြင်းနှင့် မော်ဒယ်ကို လေ့ကျင့်ခြင်းအတွက် notebook များကို ဆက်လက်အသုံးပြုမည်ဖြစ်ပြီး၊ သင်သည် မော်ဒယ်ကို 'အပြင်မှာ' အသုံးပြုခြင်းကို စူးစမ်းခြင်းဖြင့် တစ်ဆင့်အဆင့်တက်နိုင်ပါသည်။ ဒါကိုလုပ်ဖို့ Flask ကို အသုံးပြုပြီး web app တစ်ခုကို တည်ဆောက်ရပါမည်။
+
+## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/)
+
+## App တစ်ခုတည်ဆောက်ခြင်း
+
+Machine learning မော်ဒယ်များကို အသုံးပြုရန် web app များတည်ဆောက်ရန် နည်းလမ်းများစွာရှိသည်။ သင့် web architecture သည် မော်ဒယ်ကို လေ့ကျင့်ပုံကို သက်ရောက်စေနိုင်သည်။ သင်သည် data science group မှ လေ့ကျင့်ထားသော မော်ဒယ်ကို app မှာ အသုံးပြုရန်လိုအပ်သော စီးပွားရေးလုပ်ငန်းတွင် အလုပ်လုပ်နေသည်ဟု စဉ်းစားပါ။
+
+### စဉ်းစားရန်အချက်များ
+
+သင်မေးရမည့်မေးခွန်းများစွာရှိသည်:
+
+- **Web app လား mobile app လား?** သင် mobile app တစ်ခုတည်ဆောက်နေသည်၊ ဒါမှမဟုတ် IoT context မှာ မော်ဒယ်ကို အသုံးပြုရန်လိုအပ်ပါက [TensorFlow Lite](https://www.tensorflow.org/lite/) ကို အသုံးပြုပြီး Android သို့မဟုတ် iOS app မှာ မော်ဒယ်ကို အသုံးပြုနိုင်ပါသည်။
+- **မော်ဒယ်ကို ဘယ်မှာထားမလဲ?** Cloud မှာလား ဒေသတွင်းမှာလား?
+- **Offline support.** App သည် offline မှာ အလုပ်လုပ်ရမလား?
+- **မော်ဒယ်ကို လေ့ကျင့်ရန် ဘယ်နည်းပညာကို အသုံးပြုခဲ့သလဲ?** ရွေးချယ်ထားသော နည်းပညာသည် သင်အသုံးပြုရမည့် tooling ကို သက်ရောက်စေပါမည်။
+ - **TensorFlow ကို အသုံးပြုခြင်း။** TensorFlow ကို အသုံးပြု၍ မော်ဒယ်ကို လေ့ကျင့်နေပါက [TensorFlow.js](https://www.tensorflow.org/js/) ကို အသုံးပြု၍ web app မှာ အသုံးပြုရန် TensorFlow မော်ဒယ်ကို ပြောင်းနိုင်စွမ်းပေးသည်။
+ - **PyTorch ကို အသုံးပြုခြင်း။** [PyTorch](https://pytorch.org/) ကဲ့သို့သော library ကို အသုံးပြု၍ မော်ဒယ်တစ်ခုကို တည်ဆောက်နေပါက [ONNX](https://onnx.ai/) (Open Neural Network Exchange) format ကို JavaScript web app များတွင် အသုံးပြုနိုင်ရန် [Onnx Runtime](https://www.onnxruntime.ai/) ကို အသုံးပြုနိုင်သည်။ ဒီ option ကို Scikit-learn-trained မော်ဒယ်အတွက် နောက်ဆုံးသင်ခန်းစာမှာ စူးစမ်းပါမည်။
+ - **Lobe.ai သို့မဟုတ် Azure Custom Vision ကို အသုံးပြုခြင်း။** [Lobe.ai](https://lobe.ai/) သို့မဟုတ် [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) ကဲ့သို့သော ML SaaS (Software as a Service) စနစ်ကို အသုံးပြု၍ မော်ဒယ်ကို လေ့ကျင့်နေပါက၊ ဒီ software များသည် မော်ဒယ်ကို အမျိုးမျိုးသော platform များအတွက် export လုပ်ရန် နည်းလမ်းများပေးသည်။ Cloud မှာ query လုပ်နိုင်သော bespoke API တစ်ခုတည်ဆောက်ရန်လည်း ရနိုင်သည်။
+
+သင်သည် web browser မှာ မော်ဒယ်ကို ကိုယ်တိုင်လေ့ကျင့်နိုင်သော Flask web app တစ်ခုလုံးကို တည်ဆောက်နိုင်သည်။ JavaScript context မှာ TensorFlow.js ကို အသုံးပြု၍လည်း လုပ်နိုင်ပါသည်။
+
+ကျွန်တော်တို့ရဲ့ ရည်ရွယ်ချက်အရ၊ Python-based notebooks များကို အသုံးပြုနေသောကြောင့် notebook မှ trained မော်ဒယ်ကို Python-built web app မှာ ဖတ်နိုင်သော format သို့ export လုပ်ရန် လိုအပ်သော အဆင့်များကို စူးစမ်းကြည့်ပါမည်။
+
+## Tool
+
+ဒီ task အတွက် သင်သည် Flask နှင့် Pickle ဆိုသော Python မှ run လုပ်သော tool နှစ်ခုလိုအပ်ပါမည်။
+
+✅ [Flask](https://palletsprojects.com/p/flask/) ဆိုတာဘာလဲ? Flask ကို 'micro-framework' ဟု ဖန်တီးသူများက ဖော်ပြထားပြီး Python ကို အသုံးပြု၍ web frameworks ရဲ့ အခြေခံ features များနှင့် web pages တည်ဆောက်ရန် templating engine ကို ပေးသည်။ Flask ကို အသုံးပြု၍ AI web app တစ်ခုတည်ဆောက်ရန် [ဒီ Learn module](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) ကို ကြည့်ပါ။
+
+✅ [Pickle](https://docs.python.org/3/library/pickle.html) ဆိုတာဘာလဲ? Pickle 🥒 သည် Python module တစ်ခုဖြစ်ပြီး Python object structure ကို serialize နှင့် de-serialize လုပ်ပေးသည်။ မော်ဒယ်ကို 'pickle' လုပ်သည်ဆိုတာ မော်ဒယ်ရဲ့ structure ကို web မှာ အသုံးပြုရန် serialize သို့မဟုတ် flatten လုပ်ခြင်းဖြစ်သည်။ သတိထားပါ: pickle သည် intrinsic security မရှိသောကြောင့် 'un-pickle' လုပ်ရန် prompt လုပ်ပါက သတိထားပါ။ Pickled file တွင် `.pkl` suffix ပါသည်။
+
+## လေ့ကျင့်ခန်း - သင့်ဒေတာကို သန့်စင်ပါ
+
+ဒီသင်ခန်းစာမှာ သင်သည် [NUFORC](https://nuforc.org) (The National UFO Reporting Center) မှ စုဆောင်းထားသော 80,000 UFO တွေ့ရှိမှုများ၏ ဒေတာကို အသုံးပြုပါမည်။ ဒီဒေတာမှာ UFO တွေ့ရှိမှုများ၏ စိတ်ဝင်စားဖွယ်ဖော်ပြချက်များပါဝင်သည်၊ ဥပမာ:
+
+- **ရှည်လျားသော ဖော်ပြချက်။** "အလင်းတန်းတစ်ခုက ညဘက် မြက်ခင်းပေါ်ကို ထွန်းလင်းနေပြီး အလင်းတန်းထဲက လူတစ်ယောက် ထွက်လာပြီး Texas Instruments parking lot ကို ပြေးသွားသည်။"
+- **တိုတောင်းသော ဖော်ပြချက်။** "အလင်းတွေက ကျွန်တော်တို့ကို လိုက်ခဲ့တယ်။"
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) spreadsheet တွင် `city`, `state`, `country` (တွေ့ရှိမှုဖြစ်ပွားသောနေရာ), object's `shape`, `latitude` နှင့် `longitude` column များပါဝင်သည်။
+
+ဒီသင်ခန်းစာတွင် ပါဝင်သော [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) မှာ:
+
+1. `pandas`, `matplotlib`, နှင့် `numpy` ကို ယခင်သင်ခန်းစာများတွင်လုပ်ခဲ့သလို import လုပ်ပြီး ufos spreadsheet ကို import လုပ်ပါ။ ဒေတာစနစ်တစ်ခုကို ကြည့်နိုင်သည်:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. ufos ဒေတာကို fresh titles ပါသော dataframe သေးငယ်တစ်ခုသို့ ပြောင်းပါ။ `Country` field ရဲ့ unique values များကို စစ်ဆေးပါ။
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. အခုတော့ null values များကို drop လုပ်ပြီး 1-60 seconds ကြားမှာ ဖြစ်ပွားသော တွေ့ရှိမှုများကိုသာ import လုပ်ခြင်းဖြင့် ကျွန်တော်တို့ကိုလိုအပ်သော ဒေတာပမာဏကို လျှော့ချနိုင်ပါသည်:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Scikit-learn ရဲ့ `LabelEncoder` library ကို import လုပ်ပြီး text values များကို number သို့ ပြောင်းပါ:
+
+ ✅ LabelEncoder သည် ဒေတာကို အက္ခရာစဉ်အတိုင်း encode လုပ်သည်
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ သင့်ဒေတာသည် ဒီလိုပုံစံရှိသင့်သည်:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## လေ့ကျင့်ခန်း - မော်ဒယ်ကို တည်ဆောက်ပါ
+
+အခုတော့ ဒေတာကို လေ့ကျင့်ခြင်းနှင့် စမ်းသပ်ခြင်းအုပ်စုသို့ ခွဲခြားပြီး မော်ဒယ်ကို လေ့ကျင့်ရန် ပြင်ဆင်နိုင်ပါပြီ။
+
+1. သင်လေ့ကျင့်လိုသော feature သုံးခုကို X vector အဖြစ် ရွေးချယ်ပါ၊ y vector သည် `Country` ဖြစ်ပါမည်။ သင်သည် `Seconds`, `Latitude` နှင့် `Longitude` ကို input လုပ်ပြီး country id ကို return လုပ်နိုင်ရန်လိုအပ်သည်။
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Logistic regression ကို အသုံးပြု၍ မော်ဒယ်ကို လေ့ကျင့်ပါ:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Accuracy သည် **(95% ခန့်)** မဆိုးပါဘူး၊ အံ့မခန်းပဲ၊ `Country` နှင့် `Latitude/Longitude` သည် correlation ရှိသောကြောင့်ဖြစ်သည်။
+
+သင်ဖန်တီးထားသော မော်ဒယ်သည် `Latitude` နှင့် `Longitude` မှ `Country` ကို အတိအကျသုံးသပ်နိုင်သည့်အတွက် အလွန်ထူးခြားသော မော်ဒယ်မဟုတ်ပါ၊ ဒါပေမယ့် crude ဒေတာကို သန့်စင်ပြီး export လုပ်ကာ web app မှာ မော်ဒယ်ကို အသုံးပြုရန် လေ့ကျင့်ခြင်းကို လေ့ကျင့်ရန်ကောင်းသော လေ့ကျင့်ခန်းဖြစ်သည်။
+
+## လေ့ကျင့်ခန်း - မော်ဒယ်ကို 'pickle' လုပ်ပါ
+
+အခုတော့ သင့်မော်ဒယ်ကို _pickle_ လုပ်ရန် အချိန်ရောက်ပါပြီ! ```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+မော်ဒယ်သည် **'3'** ကို return လုပ်သည်၊ UK ရဲ့ country code ဖြစ်သည်။ အံ့မခန်း! 👽
+
+## လေ့ကျင့်ခန်း - Flask app တစ်ခုတည်ဆောက်ပါ
+
+အခုတော့ သင့်မော်ဒယ်ကို ခေါ်ပြီး ရလဒ်များကို ပိုမိုကြည့်လို့ကောင်းသောပုံစံဖြင့် ပြသနိုင်သော Flask app တစ်ခုကို တည်ဆောက်နိုင်ပါပြီ။
+
+1. **web-app** folder တစ်ခုကို _notebook.ipynb_ ဖိုင်နှင့် _ufo-model.pkl_ ဖိုင်ရှိရာနေရာအနီးတွင် ဖန်တီးပါ။
+
+1. အဲဒီ folder မှာ **static** folder တစ်ခု (အတွင်းမှာ **css** folder ပါ) နှင့် **templates** folder တစ်ခု ဖန်တီးပါ။ သင့်တွင် အောက်ပါဖိုင်များနှင့် directories ရှိသင့်သည်:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ အပြီးသတ် app ရဲ့ solution folder ကို ကြည့်ပါ
+
+1. _web-app_ folder မှာ ဖန်တီးရမည့် ပထမဆုံးဖိုင်မှာ **requirements.txt** ဖြစ်သည်။ JavaScript app ရဲ့ _package.json_ ကဲ့သို့ requirements.txt ဖိုင်သည် app မှာလိုအပ်သော dependencies များကို ဖော်ပြသည်။ **requirements.txt** မှာ အောက်ပါလိုင်းများထည့်ပါ:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. အခုတော့ _web-app_ folder ကို navigate လုပ်ပြီး ဒီဖိုင်ကို run လုပ်ပါ:
+
+ ```bash
+ cd web-app
+ ```
+
+1. Terminal မှာ `pip install` ကို ရိုက်ပါ၊ _requirements.txt_ မှာ ဖော်ပြထားသော libraries များကို install လုပ်ရန်:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. အခုတော့ app ကို အပြီးသတ်ရန် ဖိုင်သုံးခုကို ဖန်တီးရန် ပြင်ဆင်ထားပါ:
+
+ 1. **app.py** ကို root မှာ ဖန်တီးပါ။
+ 2. **index.html** ကို _templates_ directory မှာ ဖန်တီးပါ။
+ 3. **styles.css** ကို _static/css_ directory မှာ ဖန်တီးပါ။
+
+1. _styles.css_ ဖိုင်ကို အနည်းငယ် styles ဖြင့် တည်ဆောက်ပါ:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. နောက်ဆုံး _index.html_ ဖိုင်ကို တည်ဆောက်ပါ:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + ဒီဖိုင်မှာ templating ကို ကြည့်ပါ။ `{{}}` ကဲ့သို့ app မှပေးမည့် variables များကို 'mustache' syntax ဖြင့် ဖော်ပြထားသည်။ `/predict` route မှာ prediction ကို post လုပ်မည့် form တစ်ခုလည်း ပါဝင်သည်။ + + နောက်ဆုံးတော့ မော်ဒယ်ကို အသုံးပြုခြင်းနှင့် prediction များကို ပြသရန် Python ဖိုင်ကို တည်ဆောက်ရန် ပြင်ဆင်ထားပါ: + +1. `app.py` မှာ အောက်ပါအတိုင်း ထည့်ပါ: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Tip: Flask ကို အသုံးပြု၍ web app ကို run လုပ်နေစဉ် `debug=True` ကို ထည့်ပါက app မှာ ပြောင်းလဲမှုများကို server ကို restart မလုပ်ဘဲ ချက်ချင်းပြောင်းလဲနိုင်သည်။ သတိထားပါ! ဒီ mode ကို production app မှာ enable မလုပ်ပါနှင့်။ + +`python app.py` သို့မဟုတ် `python3 app.py` ကို run လုပ်ပါ - သင့် web server သည် locally မှာ စတင်ပြီး သင့်ရဲ့ UFO တွေ့ရှိမှုများအကြောင်း burning question ကို ဖြေရှင်းရန် short form တစ်ခုကို ဖြည့်နိုင်ပါသည်! + +ဒီလုပ်ဆောင်မှုကိုလုပ်မည်မပြုမီ `app.py` ရဲ့ အပိုင်းများကို ကြည့်ပါ: + +1. ပထမဆုံး dependencies များကို load လုပ်ပြီး app ကို စတင်ပါသည်။ +1. နောက်ဆုံး မော်ဒယ်ကို import လုပ်ပါသည်။ +1. index.html ကို home route မှာ render လုပ်ပါသည်။ + +`/predict` route မှာ form ကို post လုပ်သောအခါ အချက်အလက်များစွာဖြစ်ပျက်သည်: + +1. Form variables များကို စုဆောင်းပြီး numpy array သို့ ပြောင်းပါ။ မော်ဒယ်ထံပို့ပြီး prediction ကို return လုပ်ပါသည်။ +2. Countries များကို readable text အဖြစ် ပြန်လည် render လုပ်ပြီး predicted country code မှာ ပြသရန် index.html သို့ ပြန်ပို့ပါသည်။ + +Flask နှင့် pickled မော်ဒယ်ကို အသုံးပြု၍ မော်ဒယ်ကို ဒီလိုအသုံးပြုခြင်းသည် အလွန်ရိုးရှင်းသည်။ မော်ဒယ်ထံ prediction ရရန် ပို့ရမည့် ဒေတာရဲ့ ပုံစံကို နားလည်ရန်သာ အခက်အခဲရှိသည်။ ဒါဟာ မော်ဒယ်ကို လေ့ကျင့်ပုံပေါ်မူတည်သည်။ ဒီမော်ဒယ်မှာ prediction ရရန် input လုပ်ရမည့် data points သုံးခုရှိသည်။ + +ပရော်ဖက်ရှင်နယ် setting မှာ မော်ဒယ်ကို လေ့ကျင့်သူများနှင့် web သို့မဟုတ် mobile app မှာ မော်ဒယ်ကို အသုံးပြုသူများအကြား ကောင်းမွန်သော ဆက်သွယ်မှုလိုအပ်သည်ကို သင်မြင်နိုင်ပါသည်။ ကျွန်တော်တို့ရဲ့ အခြေအနေမှာတော့ တစ်ယောက်တည်းဖြစ်သည်၊ သင်ပဲ! + +--- + +## 🚀 Challenge + +Notebook မှာ အလုပ်လုပ်ပြီး မော်ဒယ်ကို Flask app သို့ import လုပ်ခြင်းအစား၊ Flask app မှာတင် မော်ဒယ်ကို လေ့ကျင့်နိုင်ပါသည်! သင့် notebook မှ Python code ကို app မှာ data ကို သန့်စင်ပြီးနောက် `train` route မှာ မော်ဒယ်ကို လေ့ကျင့်ရန် ပြောင်းပါ။ ဒီနည်းလမ်းကို လိုက်နာခြင်းရဲ့ အကျိုးကျေးဇူးများနှင့် အနုတ်လက္ခဏာများကို စဉ်းစားပါ။ + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +ML မော်ဒယ်များကို အသုံးပြုရန် web app တစ်ခုတည်ဆောက်ရန် နည်းလမ်းများစွာရှိသည်။ JavaScript သို့မဟုတ် Python ကို အသုံးပြု၍ ML ကို leverage လုပ်ရန် web app တစ်ခုတည်ဆောက်နိုင်သော နည်းလမ်းများကို စဉ်းစားပါ။ Architecture ကို စဉ်းစားပါ: မော်ဒယ်ကို app မှာထားသင့်သလား cloud မှာထားသင့်သလား? Cloud မှာထားပါက ဘယ်လို access လုပ်မလဲ? Applied ML web solution အတွက် architectural model တစ်ခုကို ရေးဆွဲပါ။ + +## Assignment + +[မော်ဒယ်တစ်ခုကို စမ်းကြည့်ပါ](assignment.md) + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူရင်းဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/3-Web-App/1-Web-App/assignment.md b/translations/my/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 00000000..b2d7682f --- /dev/null +++ b/translations/my/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,25 @@ + +# မော်ဒယ်တစ်ခုကို ပြောင်းလဲစမ်းကြည့်ပါ + +## လမ်းညွှန်ချက်များ + +Regression မော်ဒယ်တစ်ခုကို သင်အသုံးပြုပြီး web app တစ်ခုကို တည်ဆောက်ပြီးပြီဆိုရင်၊ Regression သင်ခန်းစာအရင်ပိုင်းက မော်ဒယ်တစ်ခုကို အသုံးပြုပြီး web app ကို ပြန်လုပ်ပါ။ ဒီ app ရဲ့ ပုံစံကို ထိန်းသိမ်းထားနိုင်သလို၊ သို့မဟုတ် သင့်ရဲ့ pumpkin data ကို ပြသနိုင်အောင် ပုံစံအသစ်တစ်ခုအဖြစ် ဒီဇိုင်းပြောင်းလဲနိုင်ပါတယ်။ သင့်မော်ဒယ်ရဲ့ လေ့ကျင့်ပုံစံကို ထင်ဟပ်အောင် input တွေကို ပြောင်းလဲဖို့ သတိထားပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက်များ | ထူးချွန်သောအဆင့် | လုံလောက်သောအဆင့် | တိုးတက်မှုလိုအပ်သောအဆင့် | +| -------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | -------------------------------------- | +| | web app သည် မျှော်မှန်းထားသလို အလုပ်လုပ်ပြီး cloud တွင် တင်ထားသည် | web app တွင် အမှားများရှိပြီး မမျှော်လင့်ထားသော ရလဒ်များကို ပြသသည် | web app သည် မှန်ကန်စွာ အလုပ်မလုပ်ပါ | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မှားယွင်းမှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/3-Web-App/README.md b/translations/my/3-Web-App/README.md new file mode 100644 index 00000000..5daca282 --- /dev/null +++ b/translations/my/3-Web-App/README.md @@ -0,0 +1,35 @@ + +# သင့် ML မော်ဒယ်ကို အသုံးပြုနိုင်ရန် Web App တစ်ခု တည်ဆောက်ပါ + +ဒီသင်ခန်းစာအပိုင်းမှာ သင်သည် လက်တွေ့အသုံးချနိုင်သော ML ခေါင်းစဉ်တစ်ခုကို လေ့လာမည်ဖြစ်ပြီး၊ Scikit-learn မော်ဒယ်ကို ဖိုင်အဖြစ် သိမ်းဆည်းပြီး Web Application အတွင်းမှာ ခန့်မှန်းချက်များ ပြုလုပ်နိုင်ရန် အသုံးပြုနည်းကို သင်ယူမည်ဖြစ်သည်။ မော်ဒယ်ကို သိမ်းဆည်းပြီးနောက်၊ Flask ဖြင့် တည်ဆောက်ထားသော Web App အတွင်း၌ မော်ဒယ်ကို အသုံးပြုနည်းကို သင်ယူမည်ဖြစ်သည်။ သင်သည် UFO တွေ့ကြုံမှုများနှင့် ပတ်သက်သော ဒေတာတစ်ခုကို အသုံးပြု၍ မော်ဒယ်တစ်ခုကို စတင်တည်ဆောက်မည်ဖြစ်သည်။ ထို့နောက် သင်သည် latitude နှင့် longitude တန်ဖိုးများနှင့်အတူ စက္ကန့်အရေအတွက်တစ်ခုကို ထည့်သွင်းပြီး UFO တွေ့ကြုံမှုကို ဘယ်နိုင်ငံမှ သတင်းပို့ခဲ့သည်ကို ခန့်မှန်းနိုင်မည့် Web App တစ်ခုကို တည်ဆောက်မည်ဖြစ်သည်။ + + + +ဓာတ်ပုံ - Michael Herren မှ Unsplash တွင် ရရှိသည်။ + +## သင်ခန်းစာများ + +1. [Web App တစ်ခု တည်ဆောက်ခြင်း](1-Web-App/README.md) + +## အထူးကျေးဇူးတင်စကား + +"Web App တစ်ခု တည်ဆောက်ခြင်း" ကို [Jen Looper](https://twitter.com/jenlooper) မှ ♥️ ဖြင့် ရေးသားထားပါသည်။ + +♥️ စစ်ဆေးမေးခွန်းများကို Rohan Raj မှ ရေးသားထားပါသည်။ + +ဒေတာအစုအဖွဲ့ကို [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings) မှ ရယူထားပါသည်။ + +Web App အဆောက်အဦးကို [ဒီဆောင်းပါး](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) နှင့် [ဒီ repo](https://github.com/abhinavsagar/machine-learning-deployment) မှ Abhinav Sagar ၏ အကြံပြုချက်အချို့အပေါ် အခြေခံ၍ တည်ဆောက်ထားပါသည်။ + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/1-Introduction/README.md b/translations/my/4-Classification/1-Introduction/README.md new file mode 100644 index 00000000..4a97dbd9 --- /dev/null +++ b/translations/my/4-Classification/1-Introduction/README.md @@ -0,0 +1,309 @@ + +# အမျိုးအစားခွဲခြားမှုကိုမိတ်ဆက်ခြင်း + +ဒီသင်ခန်းစာလေးခုမှာ သင်သည် အခြေခံစက်ရုပ်သင်ယူမှု၏ အရေးပါသောအချက်တစ်ခုဖြစ်သော _အမျိုးအစားခွဲခြားမှု_ ကိုလေ့လာမည်ဖြစ်သည်။ အာရှနှင့်အိန္ဒိယ၏ အံ့ဩဖွယ်အစားအစာများနှင့်ပတ်သက်သောဒေတာအချက်အလက်များကို အသုံးပြု၍ အမျိုးအစားခွဲခြားမှုအယ်လဂိုရစ်သမ်များကို အသုံးပြုခြင်းကို လေ့လာမည်ဖြစ်သည်။ အစားအသောက်အတွက်ဆာလောင်နေတယ်လို့မျှော်လင့်ပါတယ်! + + + +> ဒီသင်ခန်းစာတွေမှာ အာရှအစားအစာတွေကို ကျေးဇူးတင်ပါ။ ပုံကို [Jen Looper](https://twitter.com/jenlooper) မှဖန်တီးထားသည်။ + +အမျိုးအစားခွဲခြားမှုသည် [supervised learning](https://wikipedia.org/wiki/Supervised_learning) ၏ အမျိုးအစားတစ်ခုဖြစ်ပြီး regression နည်းလမ်းများနှင့် ဆင်တူသောအချက်များစွာပါရှိသည်။ စက်ရုပ်သင်ယူမှုသည် ဒေတာအချက်အလက်များကို အသုံးပြု၍ တန်ဖိုးများ သို့မဟုတ် အမည်များကို ခန့်မှန်းခြင်းနှင့်ပတ်သက်သည်ဆိုပါက အမျိုးအစားခွဲခြားမှုသည် အဓိကအားဖြင့် _binary classification_ နှင့် _multiclass classification_ ဆိုသောအုပ်စုနှစ်ခုအတွင်းတွင်ပါဝင်သည်။ + +[](https://youtu.be/eg8DJYwdMyg "Introduction to classification") + +> 🎥 အထက်ပါပုံကိုနှိပ်ပြီးဗီဒီယိုကြည့်ပါ။ MIT မှ John Guttag သည် အမျိုးအစားခွဲခြားမှုကိုမိတ်ဆက်သည်။ + +သတိထားပါ: + +- **Linear regression** သည် အပြောင်းအလဲများအကြားဆက်နွယ်မှုများကို ခန့်မှန်းရန်နှင့် အချက်အလက်အသစ်တစ်ခုသည် အဲဒီလိုင်းနှင့်ဆက်နွယ်မှုအတွင်းမှာ ရောက်ရှိမည့်နေရာကို မှန်ကန်စွာခန့်မှန်းရန် ကူညီပေးသည်။ ဥပမာအားဖြင့် _ဖွံ့ဖြိုးမှုအချိန်အလိုက် ဖရဲသီး၏စျေးနှုန်းကို ခန့်မှန်းနိုင်သည်_။ +- **Logistic regression** သည် "binary categories" ကို ရှာဖွေရာတွင် ကူညီပေးသည်။ ဥပမာအားဖြင့် _ဤစျေးနှုန်းတွင် ဖရဲသီးသည် လိမ္မော်ရောင်ဖြစ်မည်လား၊ မဖြစ်မည်လား_? + +အမျိုးအစားခွဲခြားမှုသည် အချက်အလက်တစ်ခု၏ label သို့မဟုတ် class ကို သတ်မှတ်ရန် အခြားနည်းလမ်းများကို သတ်မှတ်ရန် အယ်လဂိုရစ်သမ်များကို အသုံးပြုသည်။ အစားအစာဒေတာကို အသုံးပြု၍ အဖွဲ့အစည်းတစ်ခု၏ အစိတ်အပိုင်းများကို ကြည့်ရှုခြင်းဖြင့် အစားအစာ၏မူလအမျိုးအစားကို သတ်မှတ်နိုင်မည်လားဆိုတာကို လေ့လာကြည့်ပါ။ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [ဒီသင်ခန်းစာကို R မှာလည်းရနိုင်ပါတယ်!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### မိတ်ဆက် + +အမျိုးအစားခွဲခြားမှုသည် စက်ရုပ်သင်ယူမှုသုတေသနရှင်နှင့် ဒေတာသိပ္ပံပညာရှင်၏ အခြေခံလုပ်ငန်းများထဲမှတစ်ခုဖြစ်သည်။ binary value ("ဤအီးမေးလ်သည် spam ဖြစ်ပါသလား၊ မဖြစ်ပါသလား") ကို အခြေခံ၍ အမျိုးအစားခွဲခြားမှုမှစ၍ computer vision ကိုအသုံးပြု၍ ရုပ်ပုံခွဲခြားမှုနှင့် segmentation အထိ၊ ဒေတာကို အမျိုးအစားများအလိုက်ခွဲခြားရန်နှင့် မေးခွန်းများမေးရန် အမြဲအသုံးဝင်သည်။ + +သိပ္ပံပညာဆန်သောနည်းလမ်းဖြင့် ပြောရမည်ဆိုပါက သင်၏အမျိုးအစားခွဲခြားမှုနည်းလမ်းသည် input variables နှင့် output variables အကြားဆက်နွယ်မှုကို map လုပ်ရန် ခန့်မှန်းမှုမော်ဒယ်တစ်ခုကို ဖန်တီးပေးသည်။ + + + +> Binary vs. multiclass problems အမျိုးအစားခွဲခြားမှုအယ်လဂိုရစ်သမ်များကို ကိုင်တွယ်ရန်။ Infographic by [Jen Looper](https://twitter.com/jenlooper) + +ဒေတာကို သန့်စင်ခြင်း၊ visualization ပြုလုပ်ခြင်းနှင့် ML tasks များအတွက် ပြင်ဆင်ခြင်းလုပ်ငန်းစဉ်ကို စတင်မတိုင်မီ စက်ရုပ်သင်ယူမှုကို အသုံးပြု၍ ဒေတာကို အမျိုးအစားခွဲခြားရန် နည်းလမ်းများအကြောင်းကို နည်းနည်းလေ့လာကြည့်ပါ။ + +[statistics](https://wikipedia.org/wiki/Statistical_classification) မှ ဆင်းသက်လာသော classic machine learning ကို အသုံးပြု၍ classification သည် `smoker`, `weight`, နှင့် `age` ကဲ့သို့သော features များကို အသုံးပြု၍ _X ရောဂါဖြစ်ပွားနိုင်မှု_ ကို သတ်မှတ်ပေးသည်။ သင်မကြာသေးမီက လုပ်ဆောင်ခဲ့သော regression လေ့ကျင့်ခန်းများနှင့် ဆင်တူသော supervised learning နည်းလမ်းတစ်ခုအဖြစ် သင်၏ဒေတာသည် label လုပ်ထားပြီး ML အယ်လဂိုရစ်သမ်များသည် အဲဒီ label များကို အသုံးပြု၍ ဒေတာအချက်အလက်များ၏ အမျိုးအစားများ (သို့မဟုတ် 'features') ကို ခွဲခြားရန်နှင့် အုပ်စု သို့မဟုတ် ရလဒ်တစ်ခုသို့ သတ်မှတ်ရန် ကူညီပေးသည်။ + +✅ အစားအစာများနှင့်ပတ်သက်သောဒေတာအချက်အလက်တစ်ခုကို စိတ်ကူးကြည့်ပါ။ multiclass မော်ဒယ်သည် ဘာကိုဖြေရှင်းနိုင်မည်လဲ? binary မော်ဒယ်သည် ဘာကိုဖြေရှင်းနိုင်မည်လဲ? ဥပမာအားဖြင့် အစားအစာတစ်ခုသည် fenugreek ကို အသုံးပြုမည်လားမသုံးမည်လားဆိုတာကို သတ်မှတ်နိုင်မည်လား? သို့မဟုတ် star anise, artichokes, cauliflower, နှင့် horseradish တို့ပါဝင်သော grocery bag တစ်ခုကို ပေးလှူခဲ့ပါက အိန္ဒိယအစားအစာတစ်မျိုးကို ဖန်တီးနိုင်မည်လား? + +[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets") + +> 🎥 အထက်ပါပုံကိုနှိပ်ပြီးဗီဒီယိုကြည့်ပါ။ 'Chopped' ဆိုသောရုပ်ရှင်၏ အဓိကအကြောင်းအရာမှာ 'mystery basket' ဖြစ်ပြီး ချက်ပြုတ်သူများသည် အလွတ်ရွေးချယ်ထားသောအစားအစာများကို အသုံးပြု၍ အစားအစာတစ်မျိုးကို ပြုလုပ်ရမည်။ ML မော်ဒယ်တစ်ခုက အကူအညီပေးနိုင်မည်ဖြစ်သည်။ + +## Hello 'classifier' + +ဤအစားအစာဒေတာအချက်အလက်ကို သင်မေးလိုသောမေးခွန်းသည် **multiclass question** ဖြစ်သည်။ အကြောင်းမှာ အမျိုးအစားများစွာရှိပြီး အစားအစာအစုတစ်ခုသည် အဲဒီအမျိုးအစားများထဲမှ မည်သည့်အမျိုးအစားနှင့် ကိုက်ညီမည်လဲဆိုတာကို သတ်မှတ်ရန်လိုအပ်သည်။ + +Scikit-learn သည် အမျိုးအစားခွဲခြားရန် သင်လိုအပ်သောပြဿနာအမျိုးအစားပေါ်မူတည်၍ အမျိုးမျိုးသောအယ်လဂိုရစ်သမ်များကို ပေးသည်။ နောက်ထပ်သင်ခန်းစာနှစ်ခုတွင် သင်သည် အယ်လဂိုရစ်သမ်များအကြောင်းကို လေ့လာမည်ဖြစ်သည်။ + +## လေ့ကျင့်ခန်း - သင်၏ဒေတာကို သန့်စင်ပြီး balance လုပ်ပါ + +ဤပရောဂျက်ကို စတင်မတိုင်မီ ပထမဦးဆုံးလုပ်ဆောင်ရမည့်အလုပ်မှာ သင်၏ဒေတာကို သန့်စင်ပြီး **balance** လုပ်ခြင်းဖြစ်သည်။ ဤဖိုလ်ဒါ၏ root တွင်ရှိသော blank _notebook.ipynb_ ဖိုင်ကို စတင်ပါ။ + +ပထမဦးဆုံး install လုပ်ရမည့်အရာမှာ [imblearn](https://imbalanced-learn.org/stable/) ဖြစ်သည်။ ၎င်းသည် Scikit-learn package တစ်ခုဖြစ်ပြီး ဒေတာကို ပိုမို balance လုပ်ရန် ကူညီပေးမည် (ဤအလုပ်ကို နည်းနည်းအကြောင်းသိရှိမည်)။ + +1. `imblearn` ကို install လုပ်ရန် `pip install` ကို အောက်ပါအတိုင်း run လုပ်ပါ: + + ```python + pip install imblearn + ``` + +1. သင်၏ဒေတာကို import လုပ်ရန်လိုအပ်သော packages များကို import လုပ်ပြီး visualize လုပ်ပါ၊ `imblearn` မှ `SMOTE` ကိုလည်း import လုပ်ပါ။ + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + ယခု သင်သည် ဒေတာကို import လုပ်ရန် ပြင်ဆင်ပြီးဖြစ်သည်။ + +1. နောက်တစ်ခုလုပ်ဆောင်ရမည့်အလုပ်မှာ ဒေတာကို import လုပ်ခြင်းဖြစ်သည်: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + `read_csv()` ကို အသုံးပြု၍ _cusines.csv_ ဆိုသော csv ဖိုင်၏ content ကို ဖတ်ပြီး `df` variable ထဲသို့ ထည့်သွင်းပါ။ + +1. ဒေတာ၏ shape ကို စစ်ဆေးပါ: + + ```python + df.head() + ``` + + ပထမဦးဆုံး rows ၅ ခုသည် အောက်ပါအတိုင်းဖြစ်သည်: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. ဤဒေတာအကြောင်းကို `info()` ကိုခေါ်၍ သိရှိပါ: + + ```python + df.info() + ``` + + သင်၏ output သည် အောက်ပါအတိုင်းဖြစ်သည်: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## လေ့ကျင့်ခန်း - အစားအစာအမျိုးအစားများကိုလေ့လာခြင်း + +ယခုအလုပ်သည် ပိုမိုစိတ်ဝင်စားဖွယ်ဖြစ်လာသည်။ ဒေတာ၏ distribution ကို အမျိုးအစားအလိုက် ရှာဖွေကြည့်ပါ။ + +1. `barh()` ကိုခေါ်၍ ဒေတာကို bars အဖြစ် plot လုပ်ပါ: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + အမျိုးအစားများသည် အကန့်အသတ်ရှိသော်လည်း ဒေတာ၏ distribution သည် မညီမျှပါ။ သင်သည် အဲဒီကို ပြင်ဆင်နိုင်သည်! ပြင်ဆင်မတိုင်မီ နည်းနည်းလေ့လာပါ။ + +1. အမျိုးအစားအလိုက် ရရှိနိုင်သောဒေတာပမာဏကို ရှာဖွေပြီး print ထုတ်ပါ: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + output သည် အောက်ပါအတိုင်းဖြစ်သည်: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## အစားအစာပစ္စည်းများကိုရှာဖွေခြင်း + +ယခု သင်သည် ဒေတာကို နက်ရှိုင်းစွာရှာဖွေပြီး အမျိုးအစားအလိုက် အစားအစာပစ္စည်းများကို သိရှိနိုင်သည်။ အမျိုးအစားများအကြား ရှုပ်ထွေးမှုကို ဖြစ်စေသော ထပ်တူဖြစ်သောဒေတာများကို ဖယ်ရှားရန်လိုအပ်သည်၊ ထို့ကြောင့်ဤပြဿနာအကြောင်းကို လေ့လာကြည့်ပါ။ + +1. Python တွင် `create_ingredient()` ဆိုသော function တစ်ခုကို ဖန်တီးပါ။ ဤ function သည် မအသုံးဝင်သော column တစ်ခုကို drop လုပ်ပြီး အစားအစာပစ္စည်းများကို count အလိုက် sort လုပ်ပါမည်: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + ယခု သင်သည် function ကို အသုံးပြု၍ အမျိုးအစားအလိုက် အစားအစာပစ္စည်းများ၏ ထိပ်ဆုံး ၁၀ ခုကို သိရှိနိုင်သည်။ + +1. `create_ingredient()` ကိုခေါ်ပြီး `barh()` ကိုခေါ်၍ plot လုပ်ပါ: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. ဂျပန်ဒေတာအတွက်လည်း အလားတူလုပ်ဆောင်ပါ: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. ယခုတစ်ခါ တရုတ်အစားအစာပစ္စည်းများအတွက်: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. အိန္ဒိယအစားအစာပစ္စည်းများကို plot လုပ်ပါ: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. နောက်ဆုံးတွင် ကိုရီးယားအစားအစာပစ္စည်းများကို plot လုပ်ပါ: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. အမျိုးအစားများအကြား ရှုပ်ထွေးမှုကို ဖြစ်စေသော အစားအစာပစ္စည်းများကို drop လုပ်ပါ။ + + အားလုံး rice, garlic, နှင့် ginger ကိုချစ်ကြသည်! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## ဒေတာကို balance လုပ်ပါ + +ယခု သင်သည် ဒေတာကို သန့်စင်ပြီးဖြစ်သည်၊ [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Synthetic Minority Over-sampling Technique" - ကို အသုံးပြု၍ balance လုပ်ပါ။ + +1. `fit_resample()` ကိုခေါ်ပါ၊ ဤနည်းလမ်းသည် interpolation ဖြင့် sample အသစ်များကို ဖန်တီးပေးသည်။ + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + သင်၏ဒေတာကို balance လုပ်ခြင်းဖြင့် classification လုပ်ရာတွင် ပိုမိုကောင်းမွန်သောရလဒ်များရရှိမည်ဖြစ်သည်။ binary classification ကိုစဉ်းစားပါ။ သင်၏ဒေတာအများစုသည် class တစ်ခုဖြစ်ပါက ML မော်ဒယ်သည် အဲဒီ class ကို ပိုမိုခန့်မှန်းမည်ဖြစ်သည်၊ အကြောင်းမှာ အဲဒီ class အတွက် ဒေတာများပိုမိုရှိသောကြောင့်ဖြစ်သည်။ ဒေတာကို balance လုပ်ခြင်းသည် skewed data များကို ဖယ်ရှားပြီး ဤမညီမျှမှုကို ဖြေရှင်းပေးသည်။ + +1. ယခု သင်သည် label များ၏ numbers ကို ingredient အလိုက် စစ်ဆေးနိုင်သည်: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + သင်၏ output သည် အောက်ပါအတိုင်းဖြစ်သည်: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + ဒေတာသည် သန့်စင်ပြီး balance လုပ်ထားပြီး အရသာရှိသောအခြေအနေတွင်ရှိသည်! + +1. နောက်ဆုံးအဆင့်မှာ label များနှင့် features များပါဝင်သော balanced data ကို အသစ်သော dataframe ထဲသို့ သိမ်းဆည်းပြီး ဖိုင်အဖြစ် export လုပ်ရန်ဖြစ်သည်: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. `transformed_df.head()` နှင့် `transformed_df.info()` ကို အသုံးပြု၍ ဒေတာကို နောက်တစ်ကြိမ်ကြည့်ပါ။ ဤဒေတာကို အနာဂတ်သင်ခန်းစာများတွင် အသုံးပြုရန်အတွက် copy တစ်ခု save လုပ်ပါ: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + ဤအသစ်သော CSV ကို ယခု root data folder တွင်တွေ့နိုင်ပါသည်။ + +--- + +## 🚀Challenge + +ဤသင်ခန်းစာတွင် စိတ်ဝင်စားဖွယ်ဒေတာအချက်အလက်များစွာပါဝင်သည်။ `data` folder များကို ရှာဖွေကြည့်ပြီး binary classification သို့မဟုတ် multi-class classification အတွက် သင့်လျော်သောဒေတာအချက်အလက်များပါဝင်ပါသလားဆိုတာကို စစ်ဆေးပါ။ ဤဒေတာအချက်အလက်များကို သင်မေးလိုသောမေးခွန်းများက ဘာတွေလဲ? + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +SMOTE ၏ API ကိုလေ့လာပါ။ ၎င်းကို အသုံးပြုရန်အကောင်း + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မှန်ကန်မှုမရှိသောအချက်များ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူသားပညာရှင်များမှ ဘာသာပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/1-Introduction/assignment.md b/translations/my/4-Classification/1-Introduction/assignment.md new file mode 100644 index 00000000..5f817631 --- /dev/null +++ b/translations/my/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# အမျိုးအစားခွဲခြားမှုနည်းလမ်းများကိုလေ့လာပါ + +## လမ်းညွှန်ချက်များ + +[Scikit-learn documentation](https://scikit-learn.org/stable/supervised_learning.html) တွင် ဒေတာများကိုအမျိုးအစားခွဲခြားရန်နည်းလမ်းများစွာကိုတွေ့နိုင်ပါသည်။ ဒီစာရွက်စာတမ်းများကိုရှာဖွေကြည့်ပါ: သင့်ရည်မှန်းချက်မှာ အမျိုးအစားခွဲခြားမှုနည်းလမ်းများကိုရှာဖွေပြီး ဒီသင်ခန်းစာတွင်ပါဝင်သောဒေတာတစ်ခု၊ ဒေတာအပေါ်မေးခွန်းတစ်ခု၊ နှင့် အမျိုးအစားခွဲခြားမှုနည်းလမ်းတစ်ခုကိုတူညီစေဖို့ဖြစ်သည်။ စာရင်းဇယားတစ်ခု သို့မဟုတ် .doc ဖိုင်တွင်ဇယားတစ်ခုဖန်တီးပြီး ဒေတာသည် အမျိုးအစားခွဲခြားမှုအယ်လဂိုရစ်သို့မည်သို့အလုပ်လုပ်မည်ကိုရှင်းပြပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| စံနှုန်း | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သည် | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | အယ်လဂိုရစ် ၅ ခုနှင့်အမျိုးအစားခွဲခြားမှုနည်းလမ်းကိုအကျဉ်းချုပ်ထားသောစာရွက်စာတမ်းတစ်ခုကိုတင်ပြသည်။ အကျဉ်းချုပ်သည်ကောင်းမွန်ပြီးအသေးစိတ်ပါဝင်သည်။ | အယ်လဂိုရစ် ၃ ခုနှင့်အမျိုးအစားခွဲခြားမှုနည်းလမ်းကိုအကျဉ်းချုပ်ထားသောစာရွက်စာတမ်းတစ်ခုကိုတင်ပြသည်။ အကျဉ်းချုပ်သည်ကောင်းမွန်ပြီးအသေးစိတ်ပါဝင်သည်။ | အယ်လဂိုရစ် ၃ ခုအောက်နှင့်အမျိုးအစားခွဲခြားမှုနည်းလမ်းကိုအကျဉ်းချုပ်ထားသောစာရွက်စာတမ်းတစ်ခုကိုတင်ပြသည်။ အကျဉ်းချုပ်သည်ကောင်းမွန်ခြင်းမရှိဘဲအသေးစိတ်ပါဝင်ခြင်းမရှိပါ။ | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူလဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူသားပညာရှင်များမှ ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/1-Introduction/solution/Julia/README.md b/translations/my/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..361f3682 --- /dev/null +++ b/translations/my/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသောအချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ဆိုမှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/2-Classifiers-1/README.md b/translations/my/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 00000000..18795b16 --- /dev/null +++ b/translations/my/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,253 @@ + +# Cuisine classifiers 1 + +ဒီသင်ခန်းစာမှာ မိမိအရင်သင်ခန်းစာမှာ သိမ်းဆည်းထားတဲ့ အစားအစာအမျိုးအစားများနှင့်ပတ်သက်သော အချက်အလက်များကို အသုံးပြုပါမည်။ + +ဒီအချက်အလက်များကို အသုံးပြုပြီး _ပစ္စည်းများအုပ်စုအပေါ်မူတည်၍ အမျိုးသားအစားအစာကို ခန့်မှန်းနိုင်ရန်_ အမျိုးမျိုးသော classifiers များကို အသုံးပြုပါမည်။ ဒီလုပ်ငန်းစဉ်တွင် classification tasks များအတွက် algorithm များကို ဘယ်လိုအသုံးချနိုင်သည်ဆိုတာကို ပိုမိုလေ့လာနိုင်ပါမည်။ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) +# ပြင်ဆင်မှု + +[Lesson 1](../1-Introduction/README.md) ကို ပြီးမြောက်ထားသည်ဟု ခန့်မှန်းပါက, _cleaned_cuisines.csv_ ဖိုင်ကို `/data` folder ရဲ့ root မှာ ရှိနေဖို့ သေချာပါစေ။ + +## လေ့ကျင့်ခန်း - အမျိုးသားအစားအစာကို ခန့်မှန်းပါ + +1. ဒီသင်ခန်းစာရဲ့ _notebook.ipynb_ folder မှာ Pandas library နဲ့အတူ ဖိုင်ကို import လုပ်ပါ: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + အချက်အလက်တွေက ဒီလိုပုံစံနဲ့ ရှိပါမယ်: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. အခြား libraries များကို import လုပ်ပါ: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. X နဲ့ y coordinates ကို training အတွက် dataframes နှစ်ခုအဖြစ် ခွဲပါ။ `cuisine` ကို labels dataframe အဖြစ် သတ်မှတ်ပါ: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + ဒါဟာ ဒီလိုပုံစံနဲ့ ရှိပါမယ်: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. `Unnamed: 0` column နဲ့ `cuisine` column ကို `drop()` ကိုခေါ်ပြီး ဖယ်ရှားပါ။ ကျန်တဲ့ data ကို trainable features အဖြစ် သိမ်းဆည်းပါ: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Features တွေက ဒီလိုပုံစံနဲ့ ရှိပါမယ်: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +အခုတော့ မိမိရဲ့ model ကို training လုပ်ဖို့ အဆင်သင့်ဖြစ်ပါပြီ! + +## Classifier ရွေးချယ်ခြင်း + +အချက်အလက်တွေကို training လုပ်ဖို့ အဆင်သင့်ဖြစ်ပြီးနောက်, မိမိလုပ်ငန်းစဉ်အတွက် algorithm ကို ရွေးချယ်ရပါမည်။ + +Scikit-learn က classification ကို Supervised Learning အဖြစ် grouping လုပ်ပြီး, အဲဒီ category မှာ classification လုပ်နိုင်တဲ့ နည်းလမ်းများစွာကို တွေ့နိုင်ပါမည်။ [အမျိုးမျိုးသောနည်းလမ်းများ](https://scikit-learn.org/stable/supervised_learning.html) ကို ပထမဆုံးကြည့်တဲ့အခါ အတော်လေးရှုပ်ထွေးစေပါသည်။ အောက်ပါနည်းလမ်းများသည် classification techniques များပါဝင်သည်: + +- Linear Models +- Support Vector Machines +- Stochastic Gradient Descent +- Nearest Neighbors +- Gaussian Processes +- Decision Trees +- Ensemble methods (voting Classifier) +- Multiclass and multioutput algorithms (multiclass and multilabel classification, multiclass-multioutput classification) + +> [neural networks](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification) ကို data classification အတွက် အသုံးပြုနိုင်သော်လည်း, ဒီသင်ခန်းစာရဲ့ အကျိုးအာနိသင်အတွင်းမှာ မပါဝင်ပါ။ + +### ဘယ် classifier ကို သုံးမလဲ? + +ဒါဆို, ဘယ် classifier ကို သုံးသင့်သလဲ? အများအားဖြင့်, အမျိုးမျိုးကို run လုပ်ပြီး ရလဒ်ကောင်းတစ်ခုကို ရှာဖွေခြင်းသည် စမ်းသပ်မှုတစ်ခုဖြစ်သည်။ Scikit-learn က [side-by-side comparison](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html) ကို dataset တစ်ခုမှာ ပြုလုပ်ပြီး, KNeighbors, SVC နှစ်မျိုး, GaussianProcessClassifier, DecisionTreeClassifier, RandomForestClassifier, MLPClassifier, AdaBoostClassifier, GaussianNB နဲ့ QuadraticDiscrinationAnalysis တို့ကို visualized ရလဒ်များဖြင့် နှိုင်းယှဉ်ပြထားသည်: + + +> Scikit-learn ရဲ့ documentation မှ Plots + +> AutoML က ဒီပြဿနာကို cloud မှာ comparison များ run လုပ်ခြင်းဖြင့် အလွယ်တကူ ဖြေရှင်းပေးပြီး, မိမိ data အတွက် algorithm အကောင်းဆုံးကို ရွေးချယ်နိုင်စေသည်။ [ဒီမှာ](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) စမ်းသပ်ကြည့်ပါ။ + +### ပိုမိုကောင်းမွန်တဲ့နည်းလမ်း + +အကြံပေးမှုများကို လိုက်နာခြင်းသည် wild guessing လုပ်ခြင်းထက် ပိုမိုကောင်းမွန်ပါသည်။ [ML Cheat sheet](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott) ကို download လုပ်ပြီး, multiclass problem အတွက် ရွေးချယ်စရာများကို ရှာဖွေကြည့်ပါ: + + +> Microsoft's Algorithm Cheat Sheet ရဲ့ multiclass classification options ကို ဖော်ပြထားသော အပိုင်း + +✅ Cheat sheet ကို download လုပ်ပြီး, print ထုတ်ထားပြီး မိမိရဲ့ နံရံမှာ တင်ထားပါ! + +### Reasoning + +မိမိရဲ့ constraints တွေကို အခြေခံပြီး အမျိုးမျိုးသောနည်းလမ်းများကို reasoning လုပ်ကြည့်ပါ: + +- **Neural networks မလိုအပ်ပါ**။ မိမိရဲ့ clean ဖြစ်တဲ့ dataset နဲ့ local notebooks မှာ training လုပ်နေတဲ့အခြေအနေကြောင့်, neural networks က ဒီ task အတွက် မလိုအပ်ပါ။ +- **Two-class classifier မလိုအပ်ပါ**။ Two-class classifier ကို မသုံးသင့်ပါ, ဒါကြောင့် one-vs-all ကို မသုံးပါ။ +- **Decision tree သို့မဟုတ် logistic regression သုံးနိုင်ပါ**။ Decision tree သို့မဟုတ် logistic regression ကို multiclass data အတွက် အသုံးပြုနိုင်ပါသည်။ +- **Multiclass Boosted Decision Trees က အခြားပြဿနာကို ဖြေရှင်းသည်**။ Multiclass boosted decision tree က nonparametric tasks များအတွက် အကောင်းဆုံးဖြစ်ပြီး, ranking များကို ဖန်တီးရန်အတွက် အသုံးပြုသည်, ဒါကြောင့် ဒီ task အတွက် မသင့်တော်ပါ။ + +### Scikit-learn ကို အသုံးပြုခြင်း + +Scikit-learn ကို အသုံးပြုပြီး data ကို analysis လုပ်ပါမည်။ သို့သော်, Scikit-learn မှာ logistic regression ကို အသုံးပြုနိုင်တဲ့ နည်းလမ်းများစွာ ရှိပါသည်။ [parameters to pass](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression) ကို ကြည့်ပါ။ + +အဓိကအားဖြင့် `multi_class` နဲ့ `solver` ဆိုတဲ့ parameters နှစ်ခုကို သတ်မှတ်ရန်လိုအပ်ပါသည်။ Scikit-learn ကို logistic regression လုပ်ရန် တောင်းဆိုတဲ့အခါ, `multi_class` value က behavior တစ်ခုကို သတ်မှတ်ပေးပါသည်။ Solver ရဲ့ value က algorithm ကို သတ်မှတ်ပေးပါသည်။ Solvers အားလုံးကို `multi_class` values အားလုံးနဲ့ pair လုပ်လို့ မရပါ။ + +Docs အရ, multiclass case မှာ training algorithm: + +- **one-vs-rest (OvR) scheme ကို အသုံးပြုသည်**, အကယ်၍ `multi_class` option ကို `ovr` အဖြစ် သတ်မှတ်ထားပါက +- **cross-entropy loss ကို အသုံးပြုသည်**, အကယ်၍ `multi_class` option ကို `multinomial` အဖြစ် သတ်မှတ်ထားပါက။ (လက်ရှိမှာ `multinomial` option ကို ‘lbfgs’, ‘sag’, ‘saga’ နဲ့ ‘newton-cg’ solvers တွေကသာ support လုပ်ပါသည်။) + +> 🎓 'scheme' ဆိုတာက 'ovr' (one-vs-rest) သို့မဟုတ် 'multinomial' ဖြစ်နိုင်ပါသည်။ Logistic regression ကို binary classification အတွက် design လုပ်ထားသော်လည်း, ဒီ schemes တွေက multiclass classification tasks များကို ပိုမိုကောင်းမွန်စွာ handle လုပ်နိုင်စေပါသည်။ [source](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 'solver' ကို "optimization problem အတွက် အသုံးပြုမည့် algorithm" အဖြစ် သတ်မှတ်ထားသည်။ [source](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn က solvers တွေက data structure မျိုးစုံရဲ့ ပြဿနာများကို handle လုပ်ပုံကို ရှင်းပြထားသော table ကို ပေးထားပါသည်: + + + +## လေ့ကျင့်ခန်း - data ကို ခွဲခြားပါ + +မိမိအရင်သင်ခန်းစာမှာ logistic regression ကို လေ့လာထားပြီးဖြစ်သောကြောင့်, training trial အတွက် logistic regression ကို အဓိကထားပါမည်။ +`train_test_split()` ကို ခေါ်ပြီး data ကို training group နဲ့ testing group အဖြစ် ခွဲပါ: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## လေ့ကျင့်ခန်း - logistic regression ကို အသုံးပြုပါ + +Multiclass case ကို အသုံးပြုနေသောကြောင့်, မိမိသုံးမည့် _scheme_ နဲ့ _solver_ ကို ရွေးချယ်ရန်လိုအပ်ပါသည်။ LogisticRegression ကို multi_class setting နဲ့ **liblinear** solver ကို သတ်မှတ်ပြီး training လုပ်ပါ။ + +1. multi_class ကို `ovr` အဖြစ် သတ်မှတ်ပြီး solver ကို `liblinear` အဖြစ် သတ်မှတ်ထားသော logistic regression ကို ဖန်တီးပါ: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ `lbfgs` က default အဖြစ် သတ်မှတ်ထားသော solver ဖြစ်ပြီး, အဲဒီ solver ကို စမ်းသပ်ကြည့်ပါ +> မှတ်ချက်၊ သင့်ဒေတာကိုလိုအပ်သောအခါချောမောစေရန် Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) function ကိုအသုံးပြုပါ။ +အတိအကျမှုသည် **80%** အထက်မှာကောင်းမွန်ပါသည်။ + +1. ဒီမော်ဒယ်ကို စမ်းသပ်ရန်အတွက် ဒေတာတစ်တန်း (#50) ကို စမ်းကြည့်နိုင်သည်- + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + ရလဒ်ကို ပုံနှိပ်ထားသည်- + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ အခြားတန်းနံပါတ်ကို စမ်းကြည့်ပြီး ရလဒ်များကို စစ်ဆေးပါ။ + +1. နက်နက်ရှိုင်းရှိုင်း စစ်ဆေးလိုပါက ဒီခန့်မှန်းမှု၏ အတိအကျမှုကို စစ်ဆေးနိုင်သည်- + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + ရလဒ်ကို ပုံနှိပ်ထားသည် - အိန္ဒိယအစားအစာဟာ အကောင်းဆုံးခန့်မှန်းချက်ဖြစ်ပြီး အလားအလာကောင်းများပါသည်- + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ မော်ဒယ်က အိန္ဒိယအစားအစာဖြစ်တယ်လို့ အတော်လေးသေချာနေတာကို ရှင်းပြနိုင်ပါသလား? + +1. Regression သင်ခန်းစာများတွင် လုပ်ခဲ့သလို Classification Report ကို ပုံနှိပ်ပြီး အသေးစိတ်ကို ရယူပါ- + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀စိန်ခေါ်မှု + +ဒီသင်ခန်းစာမှာ သင်ရဲ့ သန့်စင်ထားသော ဒေတာကို အသုံးပြုပြီး အစားအစာအမျိုးအစားကို ခန့်မှန်းနိုင်တဲ့ Machine Learning မော်ဒယ်တစ်ခုကို တည်ဆောက်ခဲ့ပါတယ်။ Scikit-learn မှာ ဒေတာကို ခွဲခြားဖို့ ရရှိနိုင်တဲ့ အမျိုးမျိုးသော ရွေးချယ်မှုများကို ဖတ်ရှုရန် အချိန်ယူပါ။ 'solver' ဆိုတဲ့ အယူအဆကို နက်နက်ရှိုင်းရှိုင်း လေ့လာပြီး မော်ဒယ်အတွင်းမှာ ဘာတွေဖြစ်ပျက်နေလဲဆိုတာကို နားလည်ပါ။ + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +Logistic Regression ရဲ့ သင်္ချာဆိုင်ရာ အခြေခံကို နက်နက်ရှိုင်းရှိုင်း လေ့လာရန် [ဒီသင်ခန်းစာ](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) ကို ဖတ်ရှုပါ။ +## အလုပ်ပေးစာ + +[Solvers ကို လေ့လာပါ](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူကောင်းမွန်သော ပရော်ဖက်ရှင်နယ်ဘာသာပြန်ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/2-Classifiers-1/assignment.md b/translations/my/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 00000000..ebd4891d --- /dev/null +++ b/translations/my/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,24 @@ + +# ဆော့လ်ဗာများကိုလေ့လာပါ +## လမ်းညွှန်ချက်များ + +ဒီသင်ခန်းစာမှာ မိမိတို့အတန်းထဲမှာ သင်ကြားခဲ့တဲ့ အမျိုးမျိုးသော ဆော့လ်ဗာများအကြောင်းကို သင်လေ့လာခဲ့ပါတယ်။ အဲဒီဆော့လ်ဗာတွေဟာ အယ်လဂိုရစ်သမ်တွေနဲ့ စက်ရုပ်သင်ယူမှုလုပ်ငန်းစဉ်တွေကို တွဲဖက်ပြီး တိကျတဲ့မော်ဒယ်တစ်ခုကို ဖန်တီးပေးနိုင်ပါတယ်။ သင်ခန်းစာမှာ ဖော်ပြထားတဲ့ ဆော့လ်ဗာများကို တစ်ခုချင်းစီ လေ့လာပြီး နှစ်ခုကို ရွေးပါ။ မိမိစကားနဲ့ အဲဒီနှစ်ခုကို နှိုင်းယှဉ်ပြီး ကွာခြားချက်တွေကို ရှင်းပြပါ။ သူတို့က ဘယ်လိုပြဿနာမျိုးကို ဖြေရှင်းပေးနိုင်သလဲ? အမျိုးမျိုးသော ဒေတာဖွဲ့စည်းမှုတွေနဲ့ ဘယ်လိုအလုပ်လုပ်သလဲ? တစ်ခုကို တစ်ခုထက် ဘာကြောင့် ရွေးချယ်မလဲ? + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | ဆော့လ်ဗာနှစ်ခုကို စဉ်ဆက်မပြတ်နှိုင်းယှဉ်ထားသော အပိုဒ်နှစ်ခုပါဝင်သော .doc ဖိုင်တစ်ခုကို တင်ပြထားသည် | ဆော့လ်ဗာတစ်ခုသာ ဖော်ပြထားသော အပိုဒ်တစ်ခုပါဝင်သော .doc ဖိုင်တစ်ခုကို တင်ပြထားသည် | လုပ်ငန်းတာဝန်မပြီးစီးသေးပါ | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/my/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 00000000..a07845c7 --- /dev/null +++ b/translations/my/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် ပရော်ဖက်ရှင်နယ် လူသားဘာသာပြန်ကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/3-Classifiers-2/README.md b/translations/my/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 00000000..ad3d6d91 --- /dev/null +++ b/translations/my/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,249 @@ + +# Cuisine classifiers 2 + +ဒီ classification သင်ခန်းစာအပိုင်း (၂) မှာ သင် numeric data ကို classify လုပ်နိုင်တဲ့ နည်းလမ်းတွေကို ပိုမိုလေ့လာနိုင်မှာဖြစ်ပါတယ်။ အပြင်မှာ classifier တစ်ခုကို ရွေးချယ်တဲ့အခါမှာ ဖြစ်နိုင်တဲ့ အကျိုးဆက်တွေကိုလည်း သင်လေ့လာနိုင်ပါမယ်။ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +### ကြိုတင်လိုအပ်ချက် + +သင်ဟာ အရင် lessons တွေကိုပြီးစီးထားပြီး `data` folder ထဲမှာ _cleaned_cuisines.csv_ ဆိုတဲ့ cleaned dataset ကိုရှိထားတယ်လို့ ယူဆပါတယ်။ ဒီ dataset ဟာ lessons (၄) ခုပါဝင်တဲ့ folder ရဲ့ root မှာရှိပါတယ်။ + +### ပြင်ဆင်မှု + +သင့် _notebook.ipynb_ ဖိုင်ကို cleaned dataset နဲ့ loaded လုပ်ပြီး model တည်ဆောက်မှုအတွက် X နဲ့ y dataframes အဖြစ် ခွဲထားပါတယ်။ + +## Classification map + +အရင် lessons မှာ Microsoft ရဲ့ cheat sheet ကို အသုံးပြုပြီး data ကို classify လုပ်နိုင်တဲ့ နည်းလမ်းတွေကို သင်လေ့လာခဲ့ပါတယ်။ Scikit-learn မှာ cheat sheet တစ်ခုလည်းရှိပြီး၊ အဲဒီ cheat sheet က သင့် estimators (classifier ကိုခေါ်တဲ့အခြားအမည်) ကို ပိုမိုကျဉ်းကျဉ်းစစ်နိုင်အောင် ကူညီပေးနိုင်ပါတယ်။ + + +> Tip: [visit this map online](https://scikit-learn.org/stable/tutorial/machine_learning_map/) နှင့် path ကို click လုပ်ပြီး documentation ကိုဖတ်ပါ။ + +### အစီအစဉ် + +ဒီ map ဟာ သင့် data ကို ရှင်းလင်းစွာနားလည်ပြီးတဲ့အခါမှာ အလွန်အသုံးဝင်ပါတယ်။ သင့် data ကို 'လမ်း' တစ်ခုလိုဖြတ်သန်းပြီး ဆုံးဖြတ်ချက်ကို ရယူနိုင်ပါတယ်။ + +- ကျွန်တော်တို့မှာ >50 samples ရှိပါတယ် +- ကျွန်တော်တို့ category တစ်ခုကို predict လုပ်ချင်ပါတယ် +- ကျွန်တော်တို့မှာ labeled data ရှိပါတယ် +- ကျွန်တော်တို့မှာ 100K samples ထက်နည်းပါတယ် +- ✨ Linear SVC ကို ရွေးချယ်နိုင်ပါတယ် +- အဲဒါမအောင်မြင်ရင်၊ ကျွန်တော်တို့မှာ numeric data ရှိတဲ့အတွက် + - ✨ KNeighbors Classifier ကို စမ်းကြည့်နိုင်ပါတယ် + - အဲဒါမအောင်မြင်ရင် ✨ SVC နဲ့ ✨ Ensemble Classifiers ကို စမ်းကြည့်ပါ + +ဒီလမ်းကြောင်းဟာ အလွန်အသုံးဝင်ပါတယ်။ + +## လေ့ကျင့်မှု - data ကို ခွဲခြားပါ + +ဒီလမ်းကြောင်းကိုလိုက်ပြီး အသုံးပြုရန် libraries တချို့ကို import လုပ်ရပါမယ်။ + +1. လိုအပ်တဲ့ libraries တွေကို Import လုပ်ပါ: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. သင့် training data နဲ့ test data ကို ခွဲခြားပါ: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC classifier + +Support-Vector clustering (SVC) ဟာ Support-Vector machines ML techniques မျိုးရိုးရဲ့ အစိတ်အပိုင်းတစ်ခုဖြစ်ပါတယ် (အောက်မှာပိုမိုလေ့လာနိုင်ပါတယ်)။ ဒီနည်းလမ်းမှာ label တွေကို cluster လုပ်ဖို့ 'kernel' ကိုရွေးချယ်နိုင်ပါတယ်။ 'C' parameter ဟာ 'regularization' ကိုဆိုလိုပြီး parameters တွေ၏ အကျိုးသက်ရောက်မှုကို ထိန်းညှိပေးပါတယ်။ Kernel ဟာ [အမျိုးမျိုး](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC) ရှိနိုင်ပြီး၊ ဒီမှာ 'linear' ကို set လုပ်ထားပါတယ်။ Probability ဟာ 'false' အဖြစ် default ဖြစ်ပြီး၊ ဒီမှာ 'true' ကို set လုပ်ထားပါတယ်။ Random state ကို '0' အဖြစ် set လုပ်ထားပြီး data ကို shuffle လုပ်ကာ probabilities ရယူထားပါတယ်။ + +### လေ့ကျင့်မှု - Linear SVC ကို အသုံးပြုပါ + +Classifiers array တစ်ခုကို စတင်ဖန်တီးပါ။ စမ်းသပ်မှုအတိုင်း ဒီ array ကို တိုးချဲ့သွားပါမယ်။ + +1. Linear SVC ကို စတင်ပါ: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Linear SVC ကို အသုံးပြုပြီး model ကို train လုပ်ပြီး report ကို print ထုတ်ပါ: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + ရလဒ်က အတော်လည်းကောင်းပါတယ်: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors classifier + +K-Neighbors ဟာ ML methods "neighbors" မျိုးရိုးရဲ့ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး supervised နဲ့ unsupervised learning နှစ်မျိုးလုံးမှာ အသုံးပြုနိုင်ပါတယ်။ ဒီနည်းလမ်းမှာ point အရေအတွက်ကို predefined လုပ်ပြီး၊ generalized labels တွေကို predict လုပ်နိုင်ဖို့ data တွေကို အဲဒီ point တွေကို စုစည်းထားပါတယ်။ + +### လေ့ကျင့်မှု - K-Neighbors classifier ကို အသုံးပြုပါ + +အရင် classifier က data နဲ့ အတော်လည်းကောင်းပါတယ်၊ ဒါပေမယ့် accuracy ပိုမိုကောင်းနိုင်မလား စမ်းကြည့်ပါ။ K-Neighbors classifier ကို စမ်းသပ်ပါ။ + +1. Linear SVC item အပြီးမှာ comma ထည့်ပြီး classifier array ကို တိုးချဲ့ပါ: + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + ရလဒ်က နည်းနည်းပိုမိုဆိုးပါတယ်: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) ကိုလေ့လာပါ + +## Support Vector Classifier + +Support-Vector classifiers ဟာ [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) မျိုးရိုးရဲ့ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး classification နဲ့ regression tasks တွေမှာ အသုံးပြုနိုင်ပါတယ်။ SVMs ဟာ "training examples တွေကို အာကာသထဲမှာ point အဖြစ် map လုပ်ပြီး" category နှစ်ခုကြားအကွာအဝေးကို maximize လုပ်ပါတယ်။ နောက်ထပ် data တွေကို အဲဒီအာကာသထဲ map လုပ်ပြီး category ကို predict လုပ်နိုင်ပါတယ်။ + +### လေ့ကျင့်မှု - Support Vector Classifier ကို အသုံးပြုပါ + +Support Vector Classifier ကို အသုံးပြုပြီး accuracy ပိုမိုကောင်းနိုင်မလား စမ်းကြည့်ပါ။ + +1. K-Neighbors item အပြီးမှာ comma ထည့်ပြီး ဒီ line ကို ထည့်ပါ: + + ```python + 'SVC': SVC(), + ``` + + ရလဒ်က အတော်လည်းကောင်းပါတယ်! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) ကိုလေ့လာပါ + +## Ensemble Classifiers + +အရင် test က အတော်လည်းကောင်းပါတယ်၊ ဒါပေမယ့် လမ်းကြောင်းကို အဆုံးထိလိုက်ကြည့်ပါ။ 'Ensemble Classifiers' ကို စမ်းသပ်ကြည့်ပါ၊ အထူးသဖြင့် Random Forest နဲ့ AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +ရလဒ်က အတော်လည်းကောင်းပါတယ်၊ အထူးသဖြင့် Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ [Ensemble Classifiers](https://scikit-learn.org/stable/modules/ensemble.html) ကိုလေ့လာပါ + +Machine Learning ရဲ့ ဒီနည်းလမ်းဟာ "base estimators အများအပြားရဲ့ prediction တွေကို ပေါင်းစပ်ပြီး" model quality ကို တိုးတက်စေပါတယ်။ ကျွန်တော်တို့ရဲ့ ဥပမာမှာ Random Trees နဲ့ AdaBoost ကို အသုံးပြုထားပါတယ်။ + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest) ဟာ averaging method ဖြစ်ပြီး၊ 'decision trees' တွေကို 'forest' တစ်ခုအဖြစ် တည်ဆောက်ကာ randomness ကို ထည့်သွင်းပြီး overfitting ကိုရှောင်ရှားပါတယ်။ n_estimators parameter ကို trees အရေအတွက်အဖြစ် set လုပ်ထားပါတယ်။ + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) ဟာ dataset ကို classifier တစ်ခုနဲ့ fit လုပ်ပြီး၊ အဲဒီ classifier ကို dataset အပေါ်မှာ ထပ်မံ fit လုပ်ပါတယ်။ အမှားဖြစ်တဲ့ items တွေ၏ weight ကို အာရုံစိုက်ပြီး၊ နောက်ထပ် classifier အတွက် fit ကို ပြင်ဆင်ပေးပါတယ်။ + +--- + +## 🚀Challenge + +ဒီ techniques တစ်ခုချင်းစီမှာ parameters အများအပြားရှိပြီး၊ default parameters တွေကို tweak လုပ်နိုင်ပါတယ်။ တစ်ခုချင်းစီရဲ့ default parameters တွေကို လေ့လာပြီး၊ parameters တွေကို tweak လုပ်ရင် model quality အပေါ် ဘယ်လိုသက်ရောက်မှုရှိမလဲ စဉ်းစားပါ။ + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +ဒီ lessons တွေမှာ jargon အများကြီးပါဝင်ပါတယ်၊ [ဒီစာရင်း](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) ကိုကြည့်ပြီး terminology အသုံးဝင်တဲ့အရာတွေကို ပြန်လည်သုံးသပ်ပါ။ + +## Assignment + +[Parameter play](assignment.md) + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါရှိနိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာရှိသော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအမှားများ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/3-Classifiers-2/assignment.md b/translations/my/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 00000000..e4e69567 --- /dev/null +++ b/translations/my/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,25 @@ + +# ပါရာမီတာများနှင့် ကစားခြင်း + +## လမ်းညွှန်ချက်များ + +ဒီ Classifiers တွေကို အသုံးပြုတဲ့အခါမှာ Default အနေနဲ့ သတ်မှတ်ထားတဲ့ ပါရာမီတာတွေ အများကြီးရှိပါတယ်။ VS Code ရဲ့ Intellisense က ဒီပါရာမီတာတွေကို ရှာဖွေဖို့ အကူအညီပေးနိုင်ပါတယ်။ ဒီသင်ခန်းစာမှာ ML Classification Techniques တစ်ခုကို ရွေးပြီး ပါရာမီတာတန်ဖိုးတွေကို အမျိုးမျိုး ပြောင်းလဲပြီး မော်ဒယ်တွေကို ပြန်လည်လေ့ကျင့်ပါ။ မော်ဒယ်ရဲ့ အရည်အသွေးကို တိုးတက်စေတဲ့ ပြောင်းလဲမှုတွေ၊ အရည်အသွေးကို ကျဆင်းစေတဲ့ ပြောင်းလဲမှုတွေကို ရှင်းလင်းဖော်ပြထားတဲ့ Notebook တစ်ခု တည်ဆောက်ပါ။ သင့်အဖြေမှာ အသေးစိတ်ဖော်ပြပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Classifier တစ်ခုကို အပြည့်အစုံ တည်ဆောက်ပြီး ပါရာမီတာတွေကို ပြောင်းလဲမှုများကို Textbox တွေမှာ ရှင်းလင်းဖော်ပြထားသည် | Notebook တစ်ခုကို အစိတ်အပိုင်းတစ်ချို့သာ တင်ပြထားသည် သို့မဟုတ် ရှင်းလင်းမှုမလုံလောက်သည် | Notebook မှာ အမှားများ သို့မဟုတ် အဆင်မပြေမှုများရှိသည် | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/my/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 00000000..46e442a8 --- /dev/null +++ b/translations/my/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါရှိနိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူရင်းဘာသာစကားဖြင့် အာဏာတရားရှိသော အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွတ်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/4-Applied/README.md b/translations/my/4-Classification/4-Applied/README.md new file mode 100644 index 00000000..48bfa51b --- /dev/null +++ b/translations/my/4-Classification/4-Applied/README.md @@ -0,0 +1,327 @@ + +# အစားအစာအမျိုးအစား အကြံပေးဝက်ဘ်အက်ပ် တည်ဆောက်ခြင်း + +ဒီသင်ခန်းစာမှာ သင်ဟာ အတိတ်သင်ခန်းစာတွေမှာ သင်ယူခဲ့တဲ့နည်းလမ်းတွေကို အသုံးပြုပြီး အစားအစာအမျိုးအစားဒေတာစနစ်ကို အသုံးပြုကာ အမျိုးအစားခွဲခြားမော်ဒယ်တစ်ခု တည်ဆောက်ပါမယ်။ ထို့အပြင် Onnx ရဲ့ web runtime ကို အသုံးပြုကာ သိမ်းဆည်းထားတဲ့မော်ဒယ်ကို အသုံးပြုနိုင်တဲ့ ဝက်ဘ်အက်ပ်လေးတစ်ခုကိုလည်း တည်ဆောက်ပါမယ်။ + +Machine Learning ရဲ့ အကျိုးရှိတဲ့ လက်တွေ့အသုံးချမှုတစ်ခုက အကြံပေးစနစ်တွေ တည်ဆောက်ခြင်းဖြစ်ပြီး ဒီနေ့မှာ သင်အဲဒီလမ်းကြောင်းကို စတင်နိုင်ပါပြီ! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 အပေါ်ကပုံကို နှိပ်ပြီး ဗီဒီယိုကြည့်ပါ: Jen Looper က အစားအစာအမျိုးအစားဒေတာကို အသုံးပြုကာ ဝက်ဘ်အက်ပ်တစ်ခု တည်ဆောက်နေသည် + +## [သင်ခန်းစာမတိုင်မီ မေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +ဒီသင်ခန်းစာမှာ သင်လေ့လာရမယ့်အရာတွေက: + +- မော်ဒယ်တစ်ခုကို တည်ဆောက်ပြီး Onnx မော်ဒယ်အဖြစ် သိမ်းဆည်းနည်း +- Netron ကို အသုံးပြုကာ မော်ဒယ်ကို စစ်ဆေးနည်း +- မော်ဒယ်ကို ဝက်ဘ်အက်ပ်မှာ အသုံးပြုကာ အတိအကျခန့်မှန်းနည်း + +## မော်ဒယ်ကို တည်ဆောက်ပါ + +Applied ML စနစ်တွေကို တည်ဆောက်ခြင်းဟာ ဒီနည်းပညာတွေကို သင့်လုပ်ငန်းစနစ်တွေမှာ အသုံးချဖို့ အရေးကြီးတဲ့အပိုင်းတစ်ခုဖြစ်ပါတယ်။ Onnx ကို အသုံးပြုကာ သင့်ဝက်ဘ်အက်ပ်တွေမှာ မော်ဒယ်တွေကို အသုံးပြုနိုင်ပါတယ် (လိုအပ်ပါက offline context မှာလည်း အသုံးပြုနိုင်ပါတယ်)။ + +[အတိတ်သင်ခန်းစာ](../../3-Web-App/1-Web-App/README.md) မှာ သင်ဟာ UFO တွေကို ရှာဖွေတဲ့ Regression မော်ဒယ်တစ်ခုကို တည်ဆောက်ပြီး "pickle" လုပ်ကာ Flask app မှာ အသုံးပြုခဲ့ပါတယ်။ ဒီ architecture ဟာ သိထားသင့်တဲ့ အသုံးဝင်တဲ့နည်းလမ်းတစ်ခုဖြစ်ပေမယ့် Python အပြည့်အစုံ stack app ဖြစ်ပြီး သင့်လိုအပ်ချက်တွေမှာ JavaScript application ကို အသုံးပြုဖို့လိုအပ်နိုင်ပါတယ်။ + +ဒီသင်ခန်းစာမှာ JavaScript-based စနစ်တစ်ခုကို အတိအကျခန့်မှန်းဖို့ တည်ဆောက်နိုင်ပါတယ်။ ဒါပေမယ့် အရင်ဆုံး မော်ဒယ်တစ်ခုကို လေ့ကျင့်ပြီး Onnx နဲ့ အသုံးပြုနိုင်ဖို့ ပြောင်းလဲရပါမယ်။ + +## လေ့ကျင့်မှု - အမျိုးအစားခွဲခြားမော်ဒယ်ကို လေ့ကျင့်ပါ + +အရင်ဆုံး သင်အသုံးပြုခဲ့တဲ့ အစားအစာအမျိုးအစားဒေတာစနစ်ကို အသုံးပြုကာ အမျိုးအစားခွဲခြားမော်ဒယ်တစ်ခုကို လေ့ကျင့်ပါ။ + +1. အသုံးဝင်တဲ့ library တွေကို အရင် Import လုပ်ပါ: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + '[skl2onnx](https://onnx.ai/sklearn-onnx/)' ကို သင့် Scikit-learn မော်ဒယ်ကို Onnx format ပြောင်းဖို့ အထောက်အကူပြုပါမယ်။ + +1. အတိတ်သင်ခန်းစာတွေမှာ လုပ်ခဲ့သလို `read_csv()` ကို အသုံးပြုကာ သင့်ဒေတာကို အလုပ်လုပ်ပါ: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. မလိုအပ်တဲ့ အတန်းနှစ်ခုကို ဖယ်ရှားပြီး ကျန်ရှိတဲ့ဒေတာကို 'X' အဖြစ် သိမ်းဆည်းပါ: + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Label တွေကို 'y' အဖြစ် သိမ်းဆည်းပါ: + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### လေ့ကျင့်မှုစနစ်ကို စတင်ပါ + +'SVC' library ကို အသုံးပြုပါမယ်၊ accuracy ကောင်းပါတယ်။ + +1. Scikit-learn မှ သင့် library တွေကို Import လုပ်ပါ: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. လေ့ကျင့်မှုနှင့် စမ်းသပ်မှု set တွေကို ခွဲခြားပါ: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. အတိတ်သင်ခန်းစာမှာ လုပ်ခဲ့သလို SVC Classification မော်ဒယ်တစ်ခုကို တည်ဆောက်ပါ: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. အခုတော့ သင့်မော်ဒယ်ကို စမ်းသပ်ပြီး `predict()` ကို ခေါ်ပါ: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Classification report ကို print ထုတ်ပြီး မော်ဒယ်ရဲ့ အရည်အသွေးကို စစ်ဆေးပါ: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + အရင်မြင်ခဲ့သလို accuracy ကောင်းပါတယ်: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### သင့်မော်ဒယ်ကို Onnx format ပြောင်းပါ + +Tensor နံပါတ်ကို သင့်တော်အောင် ပြောင်းလဲပါ။ ဒီဒေတာစနစ်မှာ 380 ခုသော အစားအစာပါဝင်ပြီး `FloatTensorType` မှာ အဲဒီနံပါတ်ကို မှတ်သားရပါမယ်။ + +1. Tensor နံပါတ် 380 ကို အသုံးပြုကာ ပြောင်းပါ: + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. **model.onnx** အဖြစ် ဖိုင်အနေနဲ့ သိမ်းဆည်းပါ: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > မှတ်ချက် - သင့် conversion script မှာ [options](https://onnx.ai/sklearn-onnx/parameterized.html) တွေကို pass လုပ်နိုင်ပါတယ်။ ဒီအခါမှာ 'nocl' ကို True အဖြစ်၊ 'zipmap' ကို False အဖြစ် pass လုပ်ထားပါတယ်။ Classification မော်ဒယ်ဖြစ်တဲ့အတွက် ZipMap ကို ဖယ်ရှားနိုင်ပါတယ် (မလိုအပ်ပါဘူး)။ `nocl` ဟာ မော်ဒယ်မှာ class အချက်အလက်ကို ထည့်သွင်းခြင်းကို ရည်ညွှန်းပါတယ်။ `nocl` ကို 'True' အဖြစ် သတ်မှတ်ခြင်းအားဖြင့် မော်ဒယ်ရဲ့အရွယ်အစားကို လျှော့ချနိုင်ပါတယ်။ + +Notebook အားလုံးကို run လုပ်ပြီး Onnx မော်ဒယ်တစ်ခုကို တည်ဆောက်ကာ ဒီ folder မှာ သိမ်းဆည်းပါ။ + +## သင့်မော်ဒယ်ကို ကြည့်ပါ + +Onnx မော်ဒယ်တွေဟာ Visual Studio Code မှာ မမြင်နိုင်ပါဘူး၊ ဒါပေမယ့် မော်ဒယ်တစ်ခုကို visualization လုပ်ဖို့ အခမဲ့ software ကောင်းတစ်ခုရှိပါတယ်။ [Netron](https://github.com/lutzroeder/Netron) ကို download လုပ်ပြီး သင့် model.onnx ဖိုင်ကို ဖွင့်ပါ။ 380 inputs နဲ့ classifier ပါဝင်တဲ့ သင့်မော်ဒယ်ကို ရိုးရှင်းစွာ visualization လုပ်နိုင်ပါတယ်: + + + +Netron ဟာ သင့်မော်ဒယ်တွေကို ကြည့်ရှုဖို့ အထောက်အကူပြုတဲ့ tool တစ်ခုဖြစ်ပါတယ်။ + +## အကြံပေးဝက်ဘ်အက်ပ် တည်ဆောက်ပါ + +သင့်မော်ဒယ်ကို ဝက်ဘ်အက်ပ်မှာ တိုက်ရိုက်အသုံးပြုနိုင်ပါတယ်။ ဒီ architecture ဟာ local မှာ run လုပ်နိုင်ပြီး offline မှာလည်း အသုံးပြုနိုင်ပါတယ်။ သင့် `model.onnx` ဖိုင်ကို သိမ်းဆည်းထားတဲ့ folder မှာ `index.html` ဖိုင်တစ်ခုကို စတင်ဖန်တီးပါ။ + +1. ဒီဖိုင် _index.html_ မှာ အောက်ပါ markup ကို ထည့်ပါ: + + ```html + + + + + + ... + + + ``` + +1. `body` tag တွေထဲမှာ အစားအစာအချို့ကို ပြသတဲ့ checkbox တွေကို ထည့်ပါ: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Checkbox တစ်ခုစီကို value သတ်မှတ်ထားပါတယ်။ ဒါဟာ dataset အရ အစားအစာရဲ့ index ကို ရည်ညွှန်းပါတယ်။ ဥပမာ - Apple ဟာ alphabetic စဉ်အရ column 5 မှာရှိပြီး value ဟာ '4' ဖြစ်ပါတယ် (0 မှ စတင်ရေတွက်ပါတယ်)။ [ingredients spreadsheet](../../../../4-Classification/data/ingredient_indexes.csv) ကို ကြည့်ပြီး အစားအစာတစ်ခုရဲ့ index ကို ရှာဖွေပါ။ + + index.html ဖိုင်မှာ ဆက်လက်လုပ်ဆောင်ပြီး script block ကို နောက်ဆုံး `` tag ရဲ့ အောက်မှာ ထည့်ပါ။ + +1. အရင်ဆုံး [Onnx Runtime](https://www.onnxruntime.ai/) ကို Import လုပ်ပါ: + + ```html + + ``` + + > Onnx Runtime ကို အသုံးပြုကာ သင့် Onnx မော်ဒယ်တွေကို hardware platform အမျိုးမျိုးမှာ run လုပ်နိုင်ပါတယ်၊ optimization တွေကိုလည်း ပါဝင်ပါတယ်။ + +1. Runtime ကို အသုံးပြုပါ: + + ```html + + ``` + +ဒီ code မှာ အောက်ပါအရာတွေကို လုပ်ဆောင်ထားပါတယ်: + +1. 380 ခုသော value (1 or 0) တွေကို သတ်မှတ်ပြီး မော်ဒယ်ကို inference အတွက် ပို့ရန် array တစ်ခုကို ဖန်တီးထားပါတယ်။ +2. Checkbox array တစ်ခုကို ဖန်တီးပြီး `init` function မှာ checkbox တွေ checked ဖြစ်/မဖြစ်ကို စစ်ဆေးထားပါတယ်။ +3. `testCheckboxes` function ကို ဖန်တီးပြီး checkbox checked ဖြစ်/မဖြစ်ကို စစ်ဆေးထားပါတယ်။ +4. Button ကို နှိပ်တဲ့အခါ `startInference` function ကို အသုံးပြုကာ inference စတင်ပါ။ +5. Inference routine မှာ: + 1. မော်ဒယ်ကို asynchronous load လုပ်ခြင်း + 2. Tensor structure ကို ဖန်တီးပြီး မော်ဒယ်ကို ပို့ခြင်း + 3. `float_input` input ကို feeds အဖြစ် ဖန်တီးခြင်း (Netron မှာ အဲဒီနာမည်ကို စစ်ဆေးနိုင်ပါတယ်) + 4. Feed တွေကို မော်ဒယ်ကို ပို့ပြီး အဖြေကို စောင့်ဆိုင်းခြင်း + +## သင့်အက်ပ်ကို စမ်းသပ်ပါ + +Visual Studio Code မှာ terminal session ကို ဖွင့်ပြီး သင့် index.html ဖိုင်ရှိတဲ့ folder မှာ `http-server` ကို run လုပ်ပါ။ localhost ကို ဖွင့်ပြီး သင့်ဝက်ဘ်အက်ပ်ကို ကြည့်ရှုနိုင်ပါတယ်။ အစားအစာအမျိုးအစားကို အကြံပေးမှုအတွက် စမ်းသပ်ပါ: + + + +အောင်မြင်ပါတယ်၊ သင့်အစားအစာအမျိုးအစားအကြံပေးဝက်ဘ်အက်ပ်ကို တည်ဆောက်ပြီး ပြီးဆုံးပါပြီ။ ဒီစနစ်ကို ဆက်လက်တိုးချဲ့ဖို့ အချိန်ယူပါ! + +## 🚀စိန်ခေါ်မှု + +သင့်ဝက်ဘ်အက်ပ်ဟာ အလွန်ရိုးရှင်းပါတယ်၊ [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) ဒေတာမှ အစားအစာနဲ့ index တွေကို အသုံးပြုကာ ဆက်လက်တိုးချဲ့ပါ။ ဘယ်အစားအစာအရသာပေါင်းစပ်မှုတွေက အမျိုးသားအစားအစာကို ဖန်တီးနိုင်မလဲ? + +## [သင်ခန်းစာပြီးနောက် မေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +## ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +ဒီသင်ခန်းစာမှာ အစားအစာအမျိုးအစားအကြံပေးစနစ်တစ်ခုကို တည်ဆောက်ခြင်းရဲ့ အသုံးဝင်မှုကို အနည်းငယ်သာ ထိတွေ့ခဲ့ပါတယ်။ ဒီ ML application နယ်ပယ်ဟာ ဥပမာများစွာပါဝင်တဲ့ နယ်ပယ်တစ်ခုဖြစ်ပါတယ်။ ဒီစနစ်တွေကို ဘယ်လိုတည်ဆောက်ကြောင်းကို ဆက်လက်ဖတ်ရှုပါ: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## လုပ်ငန်းတာဝန် + +[အကြံပေးစနစ်အသစ်တစ်ခု တည်ဆောက်ပါ](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်ကြောင်း သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသောအချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပြန်ဆိုမှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/4-Applied/assignment.md b/translations/my/4-Classification/4-Applied/assignment.md new file mode 100644 index 00000000..f4424337 --- /dev/null +++ b/translations/my/4-Classification/4-Applied/assignment.md @@ -0,0 +1,25 @@ + +# အကြံပြုမှုစနစ် တည်ဆောက်ခြင်း + +## လမ်းညွှန်ချက်များ + +ဒီသင်ခန်းစာတွင် သင်လုပ်ဆောင်ခဲ့သော လေ့ကျင့်ခန်းများအရ၊ Onnx Runtime နှင့် ပြောင်းလဲထားသော Onnx မော်ဒယ်ကို အသုံးပြု၍ JavaScript အခြေခံထားသော ဝက်ဘ်အက်ပ်တစ်ခုကို တည်ဆောက်နိုင်ပုံကို သင်သိရှိပြီးဖြစ်သည်။ ဒီသင်ခန်းစာများမှ ဒေတာများ သို့မဟုတ် အခြားနေရာမှ ရရှိသော ဒေတာများကို အသုံးပြု၍ အကြံပြုမှုစနစ်အသစ်တစ်ခုကို စမ်းသပ်တည်ဆောက်ပါ (အရင်းအမြစ်ကို အားလုံးကိုယ်တိုင်မှတ်သားပေးပါ။)။ သင်သည် လူပုဂ္ဂိုလ်၏ ပုဂ္ဂိုလ်ရေးဂုဏ်သတ္တိများအပေါ် အခြေခံ၍ အိမ်မွေးတိရစ္ဆာန်အကြံပြုမှုစနစ်တစ်ခု သို့မဟုတ် လူတစ်ဦး၏ စိတ်နေအခြေအနေအပေါ် အခြေခံ၍ ဂီတအမျိုးအစားအကြံပြုမှုစနစ်တစ်ခုကို ဖန်တီးနိုင်ပါသည်။ ဖန်တီးမှုအရည်အချင်းကို ပြသပါ! + +## အဆင့်သတ်မှတ်ချက် + +| အဆင့်သတ်မှတ်ချက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| ----------------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | ဝက်ဘ်အက်ပ်နှင့် နိုက်ဘွတ်စ်ကို တင်ပြထားပြီး၊ နှစ်ခုစလုံး စာရွက်စာတမ်းပြည့်စုံပြီး လည်ပတ်နေသည် | တစ်ခုခုပျောက်နေသည် သို့မဟုတ် အချို့အပိုင်းတွင် အခက်အခဲရှိသည် | နှစ်ခုစလုံးပျောက်နေသည် သို့မဟုတ် အခက်အခဲများရှိသည် | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဆောင်ရွက်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/4-Classification/README.md b/translations/my/4-Classification/README.md new file mode 100644 index 00000000..ffe5b7ab --- /dev/null +++ b/translations/my/4-Classification/README.md @@ -0,0 +1,41 @@ + +# အမျိုးအစားခွဲခြားမှုနှင့် စတင်မိတ်ဆက်ခြင်း + +## ဒေသဆိုင်ရာ ခေါင်းစဉ်: အာရှနှင့် အိန္ဒိယအစားအစာများ 🍜 + +အာရှနှင့် အိန္ဒိယတွင် အစားအစာရိုးရာများသည် အလွန်စုံလင်ပြီး အရသာရှိလှပါသည်! ဒေသဆိုင်ရာအစားအစာများ၏ ပါဝင်ပစ္စည်းများကို နားလည်ရန်အတွက် ဒေတာများကို လေ့လာကြမည်။ + + +> ဓာတ်ပုံကို Lisheng Chang မှ Unsplash တွင် ရိုက်ထားသည် + +## သင်လေ့လာမည့်အရာများ + +ဤအပိုင်းတွင် သင်၏ Regression လေ့လာမှုကို အခြေခံပြီး ဒေတာကို ပိုမိုနားလည်စေရန် အသုံးပြုနိုင်သော အခြားအမျိုးအစားခွဲခြားမှုများကို လေ့လာမည်ဖြစ်သည်။ + +> အမျိုးအစားခွဲခြားမှုမော်ဒယ်များနှင့် အလုပ်လုပ်ခြင်းကို လေ့လာရန် အထောက်အကူပြုသော low-code tools များရှိသည်။ ဤအလုပ်အတွက် [Azure ML](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) ကို စမ်းသုံးကြည့်ပါ။ + +## သင်ခန်းစာများ + +1. [အမျိုးအစားခွဲခြားမှုနှင့် မိတ်ဆက်ခြင်း](1-Introduction/README.md) +2. [အခြားအမျိုးအစားခွဲခြားမှုများ](2-Classifiers-1/README.md) +3. [နောက်ထပ်အမျိုးအစားခွဲခြားမှုများ](3-Classifiers-2/README.md) +4. [Applied ML: ဝက်ဘ်အက်ပ်တည်ဆောက်ခြင်း](4-Applied/README.md) + +## အကျိုးတူ + +"အမျိုးအစားခွဲခြားမှုနှင့် စတင်မိတ်ဆက်ခြင်း" ကို [Cassie Breviu](https://www.twitter.com/cassiebreviu) နှင့် [Jen Looper](https://www.twitter.com/jenlooper) တို့မှ ♥️ ဖြင့် ရေးသားခဲ့သည်။ + +အရသာရှိသော အစားအစာဒေတာကို [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines) မှ ရယူထားပါသည်။ + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သိရှိပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/1-Visualize/README.md b/translations/my/5-Clustering/1-Visualize/README.md new file mode 100644 index 00000000..a8df08cb --- /dev/null +++ b/translations/my/5-Clustering/1-Visualize/README.md @@ -0,0 +1,332 @@ + +# Clustering ကိုမိတ်ဆက်ခြင်း + +Clustering သည် [Unsupervised Learning](https://wikipedia.org/wiki/Unsupervised_learning) အမျိုးအစားတစ်ခုဖြစ်ပြီး၊ dataset တွင် label မပါရှိခြင်း သို့မဟုတ် input များကို predefined output များနှင့်မတူညီခြင်းကိုယူဆသည်။ Clustering သည် unlabeled data များကိုစီစဉ်ရန်အတွက် အမျိုးမျိုးသော algorithm များကိုအသုံးပြုပြီး၊ data တွင်တွေ့ရှိသော pattern များအပေါ်အခြေခံ၍ အုပ်စုများကိုဖော်ထုတ်ပေးသည်။ + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 အထက်ပါပုံကိုနှိပ်ပြီး video ကိုကြည့်ပါ။ Clustering ဖြင့် machine learning ကိုလေ့လာနေစဉ်၊ Nigerian Dance Hall သီချင်းများကိုခံစားပါ - PSquare ၏ 2014 ခုနှစ်မှ highly rated သီချင်းတစ်ပုဒ်ဖြစ်သည်။ + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +### မိတ်ဆက် + +[Clustering](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) သည် data exploration အတွက် အလွန်အသုံးဝင်သည်။ Nigerian audience များ၏ music စားသုံးပုံစံများတွင် trend များနှင့် pattern များကိုဖော်ထုတ်နိုင်မလားဆိုတာကြည့်ကြမယ်။ + +✅ Clustering ၏အသုံးဝင်မှုများအကြောင်းကိုအချိန်တစ်မိနစ်ယူပြီးစဉ်းစားပါ။ အမှန်တစ်ရားတွင် Clustering သည် သင်အဝတ်လျှော်ပုံတစ်ပုံကိုယူပြီး မိသားစုဝင်များ၏အဝတ်အစားများကိုစီစဉ်သောအခါဖြစ်ပေါ်သည် 🧦👕👖🩲။ Data science တွင် Clustering သည် user ၏စိတ်ကြိုက်များကိုခွဲခြားရန် သို့မဟုတ် unlabeled dataset တစ်ခု၏လက္ခဏာများကိုသတ်မှတ်ရန်အခါဖြစ်ပေါ်သည်။ Clustering သည် chaos ကိုအဓိပ္ပါယ်ရှိစေရာအတွက် အကူအညီပေးသည်၊ ဥပမာ - sock drawer တစ်ခုလိုပါပဲ။ + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 အထက်ပါပုံကိုနှိပ်ပြီး video ကိုကြည့်ပါ။ MIT ၏ John Guttag မှ Clustering ကိုမိတ်ဆက်သည်။ + +အလုပ်အကိုင် setting တွင် Clustering ကို market segmentation သတ်မှတ်ရန်၊ ဥပမာ - ဘယ်အသက်အရွယ်အုပ်စုများက ဘယ်ပစ္စည်းများကိုဝယ်လဲဆိုတာသတ်မှတ်ရန် အသုံးပြုနိုင်သည်။ အခြားအသုံးပြုမှုတစ်ခုကတော့ anomaly detection ဖြစ်ပြီး၊ ဥပမာ - credit card transaction dataset မှ fraud ကိုဖော်ထုတ်ရန်ဖြစ်သည်။ သို့မဟုတ် medical scan များအစုအပေါ်တွင် tumor များကိုသတ်မှတ်ရန် Clustering ကိုအသုံးပြုနိုင်သည်။ + +✅ Banking, e-commerce, သို့မဟုတ် business setting တစ်ခုတွင် Clustering ကို 'in the wild' တွေ့ရှိဖူးလားဆိုတာကိုအချိန်တစ်မိနစ်ယူပြီးစဉ်းစားပါ။ + +> 🎓 စိတ်ဝင်စားဖွယ်ကောင်းသည်မှာ၊ Cluster analysis သည် 1930 ခုနှစ်များတွင် Anthropology နှင့် Psychology ကဏ္ဍများတွင်မူလစတင်ခဲ့သည်။ အဲဒီအချိန်မှာဘယ်လိုအသုံးပြုခဲ့မလဲဆိုတာကိုစဉ်းစားနိုင်မလား? + +အခြားနည်းလမ်းတစ်ခုကတော့ search result များကို grouping လုပ်ရန်ဖြစ်သည် - shopping link များ၊ image များ သို့မဟုတ် review များဖြင့် grouping လုပ်ခြင်း။ Clustering သည် dataset ကြီးတစ်ခုကိုလျှော့ချပြီး၊ granular analysis ပိုမိုလုပ်ဆောင်လိုသောအခါ အသုံးဝင်သည်။ ထို့ကြောင့်၊ အခြား model များကိုတည်ဆောက်မီ data အကြောင်းကိုလေ့လာရန်အတွက် technique တစ်ခုအဖြစ်အသုံးပြုနိုင်သည်။ + +✅ Data ကို cluster များအတွင်းစီစဉ်ပြီးနောက်၊ Cluster Id တစ်ခုကိုပေးအပ်ပြီး၊ dataset privacy ကိုထိန်းသိမ်းရန်အတွက် technique တစ်ခုအဖြစ်အသုံးဝင်သည်။ Data point ကိုပိုမိုဖော်ထုတ်နိုင်သော identifiable data များမဟုတ်ဘဲ Cluster Id ဖြင့်ရည်ညွှန်းနိုင်သည်။ Cluster Id ကိုအသုံးပြုရန်အခြားအကြောင်းရင်းများကိုစဉ်းစားနိုင်မလား? + +Clustering technique များအကြောင်းကို [Learn module](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) တွင်ပိုမိုနက်နက်ရှိုင်းရှိုင်းလေ့လာပါ။ + +## Clustering ကိုစတင်အသုံးပြုခြင်း + +[Scikit-learn မှာ](https://scikit-learn.org/stable/modules/clustering.html) Clustering ကိုလုပ်ဆောင်ရန်အတွက် နည်းလမ်းများစွာရှိသည်။ သင်ရွေးချယ်မည့်အမျိုးအစားသည် သင့် use case အပေါ်မူတည်သည်။ Documentation အရ၊ နည်းလမ်းတစ်ခုစီမှာ အမျိုးမျိုးသောအကျိုးကျေးဇူးများရှိသည်။ Scikit-learn မှ support ပြုသောနည်းလမ်းများနှင့်၎င်းတို့၏သင့်လျော်သော use case များကိုရိုးရှင်းသောဇယားအဖြစ်ဖော်ပြထားသည်။ + +| နည်းလမ်းအမည် | Use case | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | general purpose, inductive | +| Affinity propagation | many, uneven clusters, inductive | +| Mean-shift | many, uneven clusters, inductive | +| Spectral clustering | few, even clusters, transductive | +| Ward hierarchical clustering | many, constrained clusters, transductive | +| Agglomerative clustering | many, constrained, non Euclidean distances, transductive | +| DBSCAN | non-flat geometry, uneven clusters, transductive | +| OPTICS | non-flat geometry, uneven clusters with variable density, transductive | +| Gaussian mixtures | flat geometry, inductive | +| BIRCH | large dataset with outliers, inductive | + +> 🎓 Cluster များကိုဖန်တီးပုံသည် data point များကိုအုပ်စုများအတွင်းစုစည်းပုံနှင့်အလွန်ဆက်စပ်နေသည်။ Vocabulary အချို့ကိုရှင်းလင်းကြည့်ရအောင်: +> +> 🎓 ['Transductive' vs. 'inductive'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Transductive inference သည် observed training case များမှတစ်ဆင့် specific test case များကို map လုပ်ခြင်းဖြစ်သည်။ Inductive inference သည် training case များမှတစ်ဆင့် general rule များကို map လုပ်ပြီး၊ test case များတွင်သာအသုံးပြုခြင်းဖြစ်သည်။ +> +> ဥပမာ - သင့် dataset တွင် label တစ်စိတ်တစ်ပိုင်းသာပါရှိသည်။ အချို့သည် 'records'၊ အချို့သည် 'cds'၊ အချို့သည် blank ဖြစ်သည်။ Blank များအတွက် label များပေးရန်သင့်တာဝန်ဖြစ်သည်။ Inductive approach ကိုရွေးချယ်ပါက၊ 'records' နှင့် 'cds' ကိုရှာဖွေသော model တစ်ခုကို train လုပ်ပြီး၊ unlabeled data တွင် label များကိုအသုံးပြုမည်။ ဤနည်းလမ်းသည် 'cassettes' ဖြစ်သောအရာများကို classify လုပ်ရန်အခက်အခဲရှိမည်။ Transductive approach သည် unknown data ကိုပိုမိုထိရောက်စွာကိုင်တွယ်နိုင်သည်၊ အရာများကိုအုပ်စုများအတွင်းစုစည်းပြီး၊ အုပ်စုတစ်ခုကို label ပေးသည်။ ဤကိစ္စတွင် cluster များသည် 'round musical things' နှင့် 'square musical things' ကိုဖော်ပြနိုင်သည်။ +> +> 🎓 ['Non-flat' vs. 'flat' geometry](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Mathematical terminology မှရရှိသော၊ non-flat vs. flat geometry သည် point များအကြားအကွာအဝေးကို 'flat' ([Euclidean](https://wikipedia.org/wiki/Euclidean_geometry)) သို့မဟုတ် 'non-flat' (non-Euclidean) geometrical နည်းလမ်းများဖြင့်တိုင်းတာခြင်းကိုရည်ညွှန်းသည်။ +> +>'Flat' သည် Euclidean geometry ကိုရည်ညွှန်းပြီး၊ 'non-flat' သည် non-Euclidean geometry ကိုရည်ညွှန်းသည်။ Geometry သည် machine learning နှင့်ဘာကြောင့်ဆက်စပ်နေရသလဲ? Mathematics အပေါ်အခြေခံထားသောနယ်ပယ်နှစ်ခုအဖြစ်၊ cluster များအတွင်း point များအကြားအကွာအဝေးကိုတိုင်းတာရန်နည်းလမ်းတစ်ခုရှိရမည်။ [Euclidean distances](https://wikipedia.org/wiki/Euclidean_distance) သည် point နှစ်ခုအကြား line segment ၏အရှည်ကိုတိုင်းတာခြင်းဖြစ်သည်။ [Non-Euclidean distances](https://wikipedia.org/wiki/Non-Euclidean_geometry) သည် curve အတိုင်းတာခြင်းဖြစ်သည်။ သင့် data ကို visualization လုပ်ပါက၊ plane ပေါ်တွင်မရှိသည့်အခါ၊ specialized algorithm တစ်ခုကိုအသုံးပြုရန်လိုအပ်နိုင်သည်။ +> + +> Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Distances'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Cluster များကို၎င်းတို့၏ distance matrix ဖြင့်သတ်မှတ်သည်၊ ဥပမာ - point များအကြားအကွာအဝေးများ။ ဤအကွာအဝေးကိုအနည်းငယ်နည်းလမ်းများဖြင့်တိုင်းတာနိုင်သည်။ Euclidean cluster များကို point value များ၏ပျမ်းမျှတန်ဖိုးဖြင့်သတ်မှတ်ပြီး၊ 'centroid' သို့မဟုတ် center point ပါရှိသည်။ အကွာအဝေးများကို၎င်း centroid အထိအကွာအဝေးဖြင့်တိုင်းတာသည်။ Non-Euclidean distance များသည် 'clustroid' များကိုရည်ညွှန်းသည်၊ အခြား point များနှင့်အနီးဆုံး point ဖြစ်သည်။ Clustroid များကိုအမျိုးမျိုးသောနည်းလမ်းများဖြင့်သတ်မှတ်နိုင်သည်။ +> +> 🎓 ['Constrained'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Constrained Clustering](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) သည် unsupervised method တွင် 'semi-supervised' learning ကိုမိတ်ဆက်သည်။ Point များအကြားဆက်နွယ်မှုများကို 'cannot link' သို့မဟုတ် 'must-link' အဖြစ် flag လုပ်ပြီး၊ dataset အပေါ် rule များကိုအတင်းအဓမ္မသတ်မှတ်သည်။ +> +>ဥပမာ - Algorithm တစ်ခုကို unlabeled သို့မဟုတ် semi-labelled data အပေါ်တွင်လွတ်လပ်စွာအသုံးပြုပါက၊ ဖန်တီးသော cluster များသည်အရည်အသွေးမကောင်းနိုင်သည်။ အထက်ပါဥပမာတွင် cluster များသည် 'round music things' နှင့် 'square music things' နှင့် 'triangular things' နှင့် 'cookies' ကို grouping လုပ်နိုင်သည်။ Constraint များ သို့မဟုတ် rule များ ("item သည် plastic ဖြင့်ပြုလုပ်ထားရမည်"၊ "item သည် music ထုတ်လုပ်နိုင်ရမည်") ပေးခြင်းဖြင့် algorithm ကိုပိုမိုကောင်းမွန်သောရွေးချယ်မှုများလုပ်ဆောင်ရန်အကူအညီပေးနိုင်သည်။ +> +> 🎓 'Density' +> +> 'Noisy' data သည် 'dense' ဟုခေါ်သည်။ Cluster တစ်ခုစီတွင် point များအကြားအကွာအဝေးများသည် ပိုမိုသိပ်သည့် သို့မဟုတ် 'crowded' ဖြစ်နိုင်ပြီး၊ ဤ data ကိုသင့် data nature အပေါ်မူတည်၍ clustering method သင့်လျော်သောနည်းလမ်းဖြင့် analysis လုပ်ရန်လိုအပ်သည်။ [ဤဆောင်းပါး](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) သည် noisy dataset တစ်ခုကို uneven cluster density ဖြင့် K-Means clustering နှင့် HDBSCAN algorithm များကိုအသုံးပြု၍ explore လုပ်ခြင်း၏ကွာခြားချက်ကိုဖော်ပြသည်။ + +## Clustering algorithm များ + +Clustering algorithm များ 100 ကျော်ရှိပြီး၊ ၎င်းတို့၏အသုံးပြုမှုသည် data nature အပေါ်မူတည်သည်။ အဓိက algorithm များအချို့ကိုဆွေးနွေးကြည့်ရအောင်: + +- **Hierarchical clustering**. Object တစ်ခုကိုအနီးဆုံး object နှင့်အကွာအဝေးအပေါ်အခြေခံ၍ classify လုပ်ပါက၊ cluster များကို၎င်းတို့၏အဖွဲ့ဝင်များ၏အကွာအဝေးအပေါ်အခြေခံ၍ဖွဲ့စည်းသည်။ Scikit-learn ၏ agglomerative clustering သည် hierarchical ဖြစ်သည်။ + +  + > Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Centroid clustering**. ဤလူကြိုက်များ algorithm သည် 'k' သို့မဟုတ် ဖွဲ့စည်းရန် cluster အရေအတွက်ကိုရွေးချယ်ရန်လိုအပ်ပြီး၊ algorithm သည် cluster ၏ center point ကိုသတ်မှတ်ပြီး၊ data ကို၎င်း point အနီးတွင်စုစည်းသည်။ [K-means clustering](https://wikipedia.org/wiki/K-means_clustering) သည် centroid clustering ၏လူကြိုက်များသော version ဖြစ်သည်။ Center ကို nearest mean ဖြင့်သတ်မှတ်ပြီး၊ cluster မှ squared distance ကိုလျှော့ချသည်။ + +  + > Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Distribution-based clustering**. Statistical modeling အပေါ်အခြေခံပြီး၊ distribution-based clustering သည် data point တစ်ခုသည် cluster တစ်ခုနှင့်ဆက်စပ်မှုရှိနိုင်သော probability ကိုသတ်မှတ်ပြီး၊ ၎င်းအတိုင်း assign လုပ်သည်။ Gaussian mixture method များသည်ဤအမျိုးအစားတွင်ပါဝင်သည်။ + +- **Density-based clustering**. Data point များကို၎င်းတို့၏ density အပေါ်အခြေခံ၍ cluster များအတွင်း assign လုပ်သည်၊ ၎င်းတို့အုပ်စုအနီးတွင်စုစည်းခြင်းဖြစ်သည်။ အုပ်စုမှဝေးသော data point များကို outlier သို့မဟုတ် noise ဟုယူဆသည်။ DBSCAN, Mean-shift နှင့် OPTICS သည်ဤအမျိုးအစားတွင်ပါဝင်သည်။ + +- **Grid-based clustering**. Multi-dimensional dataset များအတွက် grid တစ်ခုကိုဖန်တီးပြီး၊ data ကို grid ၏ cell များအတွင်းခွဲခြားခြင်းဖြင့် cluster များဖန်တီးသည်။ + +## လေ့ကျင့်ခန်း - သင့် data ကို cluster လုပ်ပါ + +Clustering သည် visualization မှတစ်ဆင့်အလွန်အကောင်းဆုံးအကူအညီရရှိသည်၊ ထို့ကြောင့် သင့် music data ကို visualize လုပ်ခြင်းဖြင့်စတင်ကြည့်ရအောင်။ ဤလေ့ကျင့်ခန်းသည် data nature အပေါ်အခြေခံ၍ clustering method မည်သို့အသုံးပြုရမည်ကိုဆုံးဖြတ်ရန်အကူအညီပေးမည်။ + +1. [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) ဖိုင်ကို folder အတွင်းဖွင့်ပါ။ + +1. Data visualization ကောင်းစွာလုပ်ရန် `Seaborn` package ကို import လုပ်ပါ။ + + ```python + !pip install seaborn + ``` + +1. [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv) မှ song +| 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | +| 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | +| 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Dataframe အကြောင်းကို သိရှိရန် `info()` ကိုခေါ်ပါ: + + ```python + df.info() + ``` + + အထွေထွေ output က ဒီလိုပုံစံနဲ့ပါလိမ့်မယ်: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Null values ရှိမရှိ double-check လုပ်ပါ၊ `isnull()` ကိုခေါ်ပြီး sum ကို 0 ဖြစ်ကြောင်းအတည်ပြုပါ: + + ```python + df.isnull().sum() + ``` + + အဆင်ပြေပါတယ်: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Data ကို ဖော်ပြပါ: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% | 2014 | 199305 | 0 | 0.681 | 0.089525 | 0.669 | 0 | 0.07565 | -6.29875 | 0.0591 | 102.96125 | 4 | + | 50% | 2016 | 218509 | 13 | 0.761 | 0.2205 | 0.7845 | 0.000004 | 0.1035 | -4.5585 | 0.09795 | 112.7145 | 4 | + | 75% | 2017 | 242098.5 | 31 | 0.8295 | 0.403 | 0.87575 | 0.000234 | 0.164 | -3.331 | 0.177 | 125.03925 | 4 | + | max | 2020 | 511738 | 73 | 0.966 | 0.954 | 0.995 | 0.91 | 0.811 | 0.582 | 0.514 | 206.007 | 5 | + +> 🤔 Clustering သည် labeled data မလိုအပ်သော unsupervised method ဖြစ်သည့်အတွက် label data ကို ဖော်ပြနေခြင်းက ဘာကြောင့်လဲ? Data exploration အဆင့်တွင် အသုံးဝင်နိုင်သော်လည်း clustering algorithms အတွက် မလိုအပ်ပါ။ Column headers ကို ဖယ်ရှားပြီး column number ဖြင့် data ကို ရည်ညွှန်းနိုင်ပါတယ်။ + +Data ရဲ့ အထွေထွေတန်ဖိုးတွေကို ကြည့်ပါ။ Popularity က '0' ဖြစ်နိုင်ပြီး အဲဒါက songs တွေ ranking မရှိကြောင်းပြသပါတယ်။ အဲဒါတွေကို ခဏလေးမှာ ဖယ်ရှားလိုက်ပါမယ်။ + +1. Barplot ကို အသုံးပြုပြီး အများဆုံး popular genres တွေကို ရှာပါ: + + ```python + import seaborn as sns + + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top[:5].index,y=top[:5].values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +  + +✅ Top values ပိုများစေချင်ရင် `[:5]` ကို value ပိုကြီးတဲ့အရာနဲ့ ပြောင်းပါ၊ ဒါမှမဟုတ် ဖယ်ရှားပြီး အားလုံးကို ကြည့်ပါ။ + +Note, top genre ကို 'Missing' လို့ ဖော်ပြထားရင် Spotify က အဲဒါကို classify မလုပ်တာဖြစ်ပါတယ်၊ ဒါကြောင့် ဖယ်ရှားလိုက်ပါ။ + +1. Missing data ကို ဖယ်ရှားပါ: + + ```python + df = df[df['artist_top_genre'] != 'Missing'] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + + အခုတော့ genres တွေကို ပြန်စစ်ပါ: + +  + +1. Top three genres တွေ dataset ကို အဓိကထားပြီး `afro dancehall`, `afropop`, `nigerian pop` တွေကို စုစည်းပါ၊ Popularity value 0 ဖြစ်တဲ့အရာတွေကို ဖယ်ရှားပါ (အဲဒါက dataset မှာ popularity classification မရှိတာဖြစ်ပြီး noise အဖြစ် သတ်မှတ်နိုင်ပါတယ်): + + ```python + df = df[(df['artist_top_genre'] == 'afro dancehall') | (df['artist_top_genre'] == 'afropop') | (df['artist_top_genre'] == 'nigerian pop')] + df = df[(df['popularity'] > 0)] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +1. Data တွေ correlation ရှိမရှိ စစ်ဆေးပါ: + + ```python + corrmat = df.corr(numeric_only=True) + f, ax = plt.subplots(figsize=(12, 9)) + sns.heatmap(corrmat, vmax=.8, square=True) + ``` + +  + + `energy` နဲ့ `loudness` အကြား correlation က အားကောင်းပါတယ်၊ ဒါက အံ့ဩစရာမဟုတ်ပါဘူး၊ အကြမ်း music တွေက အများအားဖြင့် energetic ဖြစ်တတ်ပါတယ်။ အခြား correlation တွေက အားနည်းပါတယ်။ Clustering algorithm က ဒီ data ကို ဘယ်လိုသုံးနိုင်မလဲ စိတ်ဝင်စားစရာပါ။ + + > 🎓 Correlation က causation ကို မပြသနိုင်ပါ! Correlation ရှိကြောင်း သက်သေရှိသော်လည်း causation ရှိကြောင်း သက်သေမရှိပါ။ [အလွဲလွဲ correlation တွေ](https://tylervigen.com/spurious-correlations) ကို ဖော်ပြတဲ့ website က ဒီအချက်ကို အထောက်အထားပေးပါတယ်။ + +Dataset မှာ song popularity နဲ့ danceability အကြား convergence ရှိပါသလား? FacetGrid က genre မရွေး concentric circles တွေ alignment ရှိကြောင်း ပြသပါတယ်။ Nigerian tastes တွေ danceability ရဲ့ အတိအကျတန်းမှာ converge ဖြစ်နိုင်ပါသလား? + +✅ အခြား datapoints (energy, loudness, speechiness) နဲ့ အခြား genres တွေကို စမ်းကြည့်ပါ။ ဘာတွေ ရှာဖွေနိုင်မလဲ? `df.describe()` table ကို ကြည့်ပြီး data points ရဲ့ general spread ကို သိပါ။ + +### လေ့ကျင့်ခန်း - data distribution + +Top three genres တွေ popularity နဲ့ danceability perception အတွက် significantly ကွဲပြားမှု ရှိပါသလား? + +1. Top three genres data distribution ကို popularity နဲ့ danceability အတွက် x axis နဲ့ y axis အတူတူကြည့်ပါ: + + ```python + sns.set_theme(style="ticks") + + g = sns.jointplot( + data=df, + x="popularity", y="danceability", hue="artist_top_genre", + kind="kde", + ) + ``` + + Concentric circles တွေ general point of convergence အနီးမှာ distribution ကို ပြသပါတယ်။ + + > 🎓 KDE (Kernel Density Estimate) graph ကို အသုံးပြုထားပြီး continuous probability density curve ဖြင့် data ကို ဖော်ပြထားပါတယ်။ ဒါက multiple distributions တွေကို အဓိကထားပြီး data ကို အဓိပ္ပါယ်ဖော်ပြနိုင်စေပါတယ်။ + + အထွေထွေအားဖြင့် genres သုံးခုက popularity နဲ့ danceability အတွက် loosely alignment ရှိပါတယ်။ Clustering algorithm အတွက် ဒီ alignment data ကို သတ်မှတ်ရမှာ စိန်ခေါ်မှုဖြစ်ပါမယ်: + +  + +1. Scatter plot တစ်ခု ဖန်တီးပါ: + + ```python + sns.FacetGrid(df, hue="artist_top_genre", height=5) \ + .map(plt.scatter, "popularity", "danceability") \ + .add_legend() + ``` + + အတူတူ axis တွေ scatterplot က convergence pattern ကို ပြသပါတယ်။ + +  + +Clustering အတွက် scatterplots ကို အသုံးပြုပြီး data clusters တွေကို ဖော်ပြနိုင်ပါတယ်၊ ဒါကြောင့် visualization အမျိုးအစားကို ကျွမ်းကျင်စွာ အသုံးပြုနိုင်ဖို့ အရေးကြီးပါတယ်။ နောက် lesson မှာ filtered data ကို k-means clustering နဲ့ သုံးပြီး interesting overlap တွေကို ရှာဖွေပါမယ်။ + +--- + +## 🚀Challenge + +နောက် lesson အတွက် ပြင်ဆင်ရန်၊ production environment မှာ အသုံးပြုနိုင်တဲ့ clustering algorithms အမျိုးမျိုးအကြောင်း chart တစ်ခု ဖန်တီးပါ။ Clustering က ဘယ်လိုပြဿနာတွေကို ဖြေရှင်းဖို့ ကြိုးစားနေလဲ? + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +Clustering algorithms ကို အသုံးပြုမီ dataset ရဲ့ nature ကို နားလည်ထားတာ အရေးကြီးပါတယ်။ ဒီအကြောင်းကို [ဒီမှာ](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) ဖတ်ရှုပါ။ + +[ဒီ article](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) က clustering algorithms အမျိုးမျိုးရဲ့ behavior ကို data shapes အမျိုးမျိုးနဲ့ ဖော်ပြထားပါတယ်။ + +## Assignment + +[Clustering visualization အခြားအမျိုးအစားတွေကို ရှာဖွေပါ](assignment.md) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူကောင်းမွန်သော ပရော်ဖက်ရှင်နယ်ဘာသာပြန်ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/1-Visualize/assignment.md b/translations/my/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 00000000..06aa07eb --- /dev/null +++ b/translations/my/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,25 @@ + +# အုပ်စုဖွဲ့ခြင်းအတွက် အခြားဗီဇွယ်လိုက်ဇေးရှင်းများကို သုတေသနလုပ်ပါ + +## လမ်းညွှန်ချက်များ + +ဒီသင်ခန်းစာမှာ သင်ဟာ သင့်ဒေတာကို အုပ်စုဖွဲ့ရန် ပြင်ဆင်နေစဉ်မှာ ဒေတာကို ပုံဖော်ရန် အသုံးပြုနိုင်တဲ့ ဗီဇွယ်လိုက်ဇေးရှင်းနည်းလမ်းများကို လေ့လာခဲ့ပါတယ်။ အထူးသဖြင့် Scatterplots တွေဟာ အုပ်စုဖွဲ့ထားတဲ့ အရာများကို ရှာဖွေဖို့ အထောက်အကူဖြစ်ပါတယ်။ Scatterplots ဖန်တီးဖို့ အခြားနည်းလမ်းများနဲ့ အခြား libraries တွေကို သုတေသနလုပ်ပြီး သင့်ရဲ့ notebook မှာ မှတ်တမ်းတင်ပါ။ ဒီသင်ခန်းစာက ဒေတာ၊ အခြားသင်ခန်းစာများက ဒေတာ၊ ဒါမှမဟုတ် သင့်ကိုယ်တိုင် ရှာဖွေတဲ့ ဒေတာကို အသုံးပြုနိုင်ပါတယ် (သို့သော် သင့် notebook မှာ ဒေတာရင်းမြစ်ကို မှတ်တမ်းတင်ပေးပါ။) Scatterplots အသုံးပြုပြီး ဒေတာတစ်ချို့ကို ပုံဖော်ပါ၊ သင့်ရဲ့ ရှာဖွေတွေ့ရှိချက်များကို ရှင်းပြပါ။ + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သော | +| -------- | -------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | Scatterplots ၅ ခုကို မှတ်တမ်းပြုထားပြီး notebook တစ်ခုကို တင်ပြထားသည် | Scatterplots ၅ ခုအောက်ကို မှတ်တမ်းပြုထားပြီး documentation မလုံလောက်သော notebook တစ်ခုကို တင်ပြထားသည် | မပြီးစီးသော notebook တစ်ခုကို တင်ပြထားသည် | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသောအချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ အတည်ပြုထားသော ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/my/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 00000000..e9f7e29a --- /dev/null +++ b/translations/my/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ပညာရှင်များ၏ ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/2-K-Means/README.md b/translations/my/5-Clustering/2-K-Means/README.md new file mode 100644 index 00000000..4364de99 --- /dev/null +++ b/translations/my/5-Clustering/2-K-Means/README.md @@ -0,0 +1,261 @@ + +# K-Means clustering + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +ဒီသင်ခန်းစာမှာ Scikit-learn နဲ့ နိုင်ဂျီးရီးယားဂီတဒေတာစနစ်ကို အသုံးပြုပြီး cluster တွေဖန်တီးနည်းကို သင်ယူပါမယ်။ K-Means Clustering ရဲ့ အခြေခံကို လေ့လာပါမယ်။ အရင်သင်ခန်းစာမှာ သင်ယူခဲ့သလို၊ cluster တွေကို အလုပ်လုပ်စေဖို့ နည်းလမ်းများစွာရှိပြီး သင့်ဒေတာပေါ်မူတည်ပြီး သင့်လျော်တဲ့နည်းလမ်းကို ရွေးချယ်ရပါမယ်။ K-Means က အများဆုံးအသုံးပြုတဲ့ clustering နည်းလမ်းဖြစ်တဲ့အတွက် အခုနည်းလမ်းကို စမ်းကြည့်ပါမယ်။ စလိုက်ကြစို့! + +သင်လေ့လာရမယ့်အကြောင်းအရာများ: + +- Silhouette scoring +- Elbow method +- Inertia +- Variance + +## Introduction + +[K-Means Clustering](https://wikipedia.org/wiki/K-means_clustering) က signal processing နယ်ပယ်ကနေ ဆင်းသက်လာတဲ့ နည်းလမ်းတစ်ခုဖြစ်ပါတယ်။ ဒါကို 'k' cluster တွေထဲမှာ observation တွေကို အသုံးပြုပြီး ဒေတာအုပ်စုတွေကို ခွဲခြားဖို့ အသုံးပြုပါတယ်။ observation တစ်ခုစီက cluster ရဲ့ center point (mean) နီးစပ်ဆုံးနေရာကို group ဖွဲ့ဖို့ အလုပ်လုပ်ပါတယ်။ + +ဒီ cluster တွေကို [Voronoi diagrams](https://wikipedia.org/wiki/Voronoi_diagram) အနေနဲ့ visualization လုပ်နိုင်ပါတယ်။ Voronoi diagram တွေမှာ point (seed) နဲ့ region တွေပါဝင်ပါတယ်။ + + + +> infographic by [Jen Looper](https://twitter.com/jenlooper) + +K-Means clustering process [သုံးအဆင့်ဖြင့် အလုပ်လုပ်ပါတယ်](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Algorithm က dataset ထဲကနေ k-number center points ကို ရွေးချယ်ပါတယ်။ အဲဒီနောက် loop လုပ်ပါတယ်: + 1. Sample တစ်ခုစီကို နီးစပ်ဆုံး centroid ကို assign လုပ်ပါတယ်။ + 2. အရင် centroid တွေကို assign လုပ်ထားတဲ့ sample တွေကို mean value အနေနဲ့ အသစ်သော centroid တွေဖန်တီးပါတယ်။ + 3. အဟောင်း centroid နဲ့ အသစ် centroid တွေကြားက အကွာအဝေးကိုတွက်ပြီး centroid တွေတည်ငြိမ်တဲ့အထိ ထပ်လုပ်ပါတယ်။ + +K-Means ရဲ့ အားနည်းချက်တစ်ခုက 'k' (centroid အရေအတွက်) ကို သတ်မှတ်ဖို့လိုပါတယ်။ ကံကောင်းစွာ 'elbow method' က 'k' ရဲ့ စတင်အရေအတွက်ကို ခန့်မှန်းဖို့ ကူညီပေးပါတယ်။ အခုလိုလုပ်ကြည့်ပါမယ်။ + +## Prerequisite + +ဒီသင်ခန်းစာရဲ့ [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) ဖိုင်မှာ အရင်သင်ခန်းစာမှာလုပ်ခဲ့တဲ့ data import နဲ့ preliminary cleaning ပါဝင်ပါတယ်။ + +## Exercise - preparation + +သီချင်းဒေတာကို ပြန်ကြည့်ပါ။ + +1. Column တစ်ခုစီအတွက် `boxplot()` ကိုခေါ်ပြီး boxplot တစ်ခုဖန်တီးပါ: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + ဒီဒေတာက noise အနည်းငယ်ပါဝင်ပါတယ်။ Column တစ်ခုစီကို boxplot အနေနဲ့ကြည့်ပြီး outlier တွေကိုတွေ့နိုင်ပါတယ်။ + +  + +ဒေတာထဲက outlier တွေကို ဖယ်ရှားနိုင်ပေမယ့် ဒေတာအရေအတွက်က နည်းသွားနိုင်ပါတယ်။ + +1. Clustering exercise အတွက် သုံးမယ့် column တွေကို ရွေးချယ်ပါ။ အတူတူ range ရှိတဲ့ column တွေကို ရွေးပြီး `artist_top_genre` column ကို numeric data အနေနဲ့ encode လုပ်ပါ: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Cluster အရေအတွက်ကို ရွေးချယ်ဖို့လိုပါတယ်။ Dataset ထဲက သီချင်းအမျိုးအစား 3 ခုရှိတာကိုသိပြီးသားဖြစ်တဲ့အတွက် 3 ကိုစမ်းကြည့်ပါ: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Dataframe ရဲ့ row တစ်ခုစီအတွက် (0, 1, 2) cluster တွေကို ခန့်မှန်းထားတဲ့ array ကို print ထုတ်ကြည့်နိုင်ပါတယ်။ + +1. ဒီ array ကို အသုံးပြုပြီး 'silhouette score' ကိုတွက်ပါ: + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Silhouette score + +Silhouette score 1 နီးစပ်တဲ့အရေအတွက်ကို ရှာပါ။ ဒီ score က -1 မှ 1 အထိရှိပြီး score 1 ဆို cluster က အထူးသီးသန့်ပြီး အခြား cluster တွေထဲက sample တွေကို ကောင်းစွာခွဲခြားထားပါတယ်။ 0 နီးစပ်တဲ့ value က cluster တွေ overlap ဖြစ်ပြီး sample တွေက decision boundary နီးစပ်နေတဲ့အခြေအနေကို ဖော်ပြပါတယ်။ [(Source)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +ကျွန်တော်တို့ရဲ့ score က **.53** ဖြစ်ပြီး အလယ်တန်းမှာရှိပါတယ်။ ဒါက ဒီ data က ဒီလို clustering နည်းလမ်းအတွက် သင့်လျော်မှုမရှိတာကို ဖော်ပြပါတယ်။ ဒါပေမယ့် ဆက်လုပ်ကြည့်ပါမယ်။ + +### Exercise - build a model + +1. `KMeans` ကို import လုပ်ပြီး clustering process ကို စတင်ပါ။ + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + ဒီမှာ အဓိကအချက်အချို့ကိုရှင်းပြပါမယ်။ + + > 🎓 range: Clustering process ရဲ့ iteration တွေ + + > 🎓 random_state: "Centroid initialization အတွက် random number generation ကို သတ်မှတ်ပါတယ်။" [Source](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" က cluster centroid နဲ့ cluster ထဲမှာရှိတဲ့ point တွေကြားက squared average distance ကိုတိုင်းတာပါတယ်။ [Source](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inertia: K-Means algorithm တွေက 'inertia' ကို လျှော့ချဖို့ centroid တွေကို ရွေးချယ်ဖို့ကြိုးစားပါတယ်။ "Cluster တွေ internally coherent ဖြစ်မှုကိုတိုင်းတာတဲ့အချက်" [Source](https://scikit-learn.org/stable/modules/clustering.html). WCSS variable ထဲကို iteration တစ်ခုစီမှာ value ကိုထည့်သွင်းပါတယ်။ + + > 🎓 k-means++: [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) မှာ 'k-means++' optimization ကို အသုံးပြုနိုင်ပြီး "Centroid တွေကို အချင်းချင်းဝေးဝေးနေဖို့ initialize လုပ်ပြီး random initialization ထက်ပိုကောင်းတဲ့ရလဒ်ရဖို့ အကောင်းဆုံးဖြစ်နိုင်ပါတယ်။" + +### Elbow method + +အရင်က သီချင်းအမျိုးအစား 3 ခုကို target လုပ်ထားတဲ့အတွက် cluster 3 ခုကို ရွေးချယ်သင့်တယ်လို့ ခန့်မှန်းထားပါတယ်။ ဒါပေမယ့် အဲဒါမှန်ပါသလား? + +1. 'elbow method' ကို အသုံးပြုပြီး သေချာစေပါ။ + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + အရင်အဆင့်မှာ တည်ဆောက်ထားတဲ့ `wcss` variable ကို အသုံးပြုပြီး elbow graph ရဲ့ 'bend' ကိုဖော်ပြတဲ့ chart တစ်ခုဖန်တီးပါ။ ဒီနေရာက optimum cluster အရေအတွက်ကို ဖော်ပြပါတယ်။ 3 ဖြစ်နိုင်ပါတယ်! + +  + +## Exercise - display the clusters + +1. Process ကို ထပ်လုပ်ပြီး cluster 3 ခုကို သတ်မှတ်ပြီး scatterplot အနေနဲ့ cluster တွေကို ဖော်ပြပါ: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Model ရဲ့ accuracy ကိုစစ်ပါ: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + ဒီ model ရဲ့ accuracy က မကောင်းပါဘူး။ Cluster တွေ၏ shape က အကြောင်းပြချက်ကို ဖော်ပြပါတယ်။ + +  + + ဒီ data က အလွန်မညီမျှမှုရှိပြီး column value တွေကြား variance များလွန်းတဲ့အတွက် cluster တွေကောင်းစွာဖွဲ့မရနိုင်ပါဘူး။ အမှန်တကယ် cluster တွေက အထက်မှာ သတ်မှတ်ထားတဲ့ genre category 3 ခုကြောင့် skew ဖြစ်နေပါတယ်။ ဒါက သင်ယူမှုဖြစ်ပါတယ်! + + Scikit-learn ရဲ့ documentation မှာ cluster တွေကောင်းစွာခွဲခြားမရတဲ့ model တစ်ခုက 'variance' ပြဿနာရှိတယ်လို့ ဖော်ပြထားပါတယ်။ + +  + > Infographic from Scikit-learn + +## Variance + +Variance ကို "Mean နဲ့ အကွာအဝေး squared differences ရဲ့ အလယ်တန်း" အနေနဲ့ သတ်မှတ်ထားပါတယ် [(Source)](https://www.mathsisfun.com/data/standard-deviation.html). Clustering problem ရဲ့ အခြေအနေမှာ ဒေတာက mean နဲ့ အကွာအဝေးများလွန်းတာကို ဖော်ပြပါတယ်။ + +✅ ဒီအချိန်မှာ ဒီပြဿနာကို ဖြေရှင်းဖို့ နည်းလမ်းတွေကို စဉ်းစားဖို့ အချိန်ကောင်းတစ်ခုဖြစ်ပါတယ်။ ဒေတာကို နည်းနည်းပိုပြီး ပြင်ဆင်မလား? Column အခြားတစ်ခုကို အသုံးပြုမလား? Algorithm အခြားတစ်ခုကို စမ်းမလား? Hint: [ဒေတာကို scale လုပ်](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/)ပြီး normalize လုပ်ပြီး column အခြားတစ်ခုကို စမ်းကြည့်ပါ။ + +> '[variance calculator](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' ကို အသုံးပြုပြီး concept ကို နားလည်ပါ။ + +--- + +## 🚀Challenge + +ဒီ notebook ကို အချိန်ယူပြီး parameter တွေကို ပြင်ဆင်ပါ။ ဒေတာကို ပိုပြီးသန့်စင် (outlier တွေဖယ်ရှားခြင်း) လုပ်ပြီး model ရဲ့ accuracy ကို တိုးမြှင့်နိုင်ပါသလား? Weight တွေကို အသုံးပြုပြီး data sample တစ်ခုချင်းစီကို ပိုအလေးထားနိုင်ပါတယ်။ Cluster တွေကို ပိုကောင်းစွာဖန်တီးဖို့ ဘာတွေလုပ်နိုင်မလဲ? + +Hint: ဒေတာကို scale လုပ်ကြည့်ပါ။ Notebook ထဲမှာ commented code ရှိပြီး standard scaling ကိုထည့်သွင်းထားပါတယ်။ ဒါက data column တွေကို range အနေနဲ့ ပိုနီးစပ်စေပါတယ်။ Silhouette score က ကျသွားပေမယ့် elbow graph ရဲ့ 'kink' က smooth ဖြစ်သွားပါတယ်။ ဒေတာကို unscaled ထားရင် variance နည်းတဲ့ data က ပိုအလေးထားခံရပါတယ်။ ဒီပြဿနာအကြောင်းကို [ဒီမှာ](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226) ဖတ်ပါ။ + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Review & Self Study + +K-Means Simulator [ဒီလို](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/) တစ်ခုကို ကြည့်ပါ။ ဒီ tool ကို အသုံးပြုပြီး sample data point တွေကို visualization လုပ်ပြီး centroid တွေကို သတ်မှတ်နိုင်ပါတယ်။ ဒေတာရဲ့ randomness, cluster အရေအတွက်နဲ့ centroid အရေအတွက်ကို ပြင်ဆင်နိုင်ပါတယ်။ ဒေတာကို group ဖွဲ့နည်းကို နားလည်ဖို့ ကူညီပါသလား? + +Stanford ရဲ့ [ဒီ K-Means handout](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) ကိုလည်း ကြည့်ပါ။ + +## Assignment + +[Clustering နည်းလမ်းအခြားတစ်ခုကို စမ်းကြည့်ပါ](assignment.md) + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်ခြင်းတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါရှိနိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာရှိသော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်ခြင်းကို အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအမှားများ သို့မဟုတ် အနားယူမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/2-K-Means/assignment.md b/translations/my/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 00000000..90e245b6 --- /dev/null +++ b/translations/my/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,25 @@ + +# ကွဲပြားသော Clustering နည်းလမ်းများကို စမ်းသပ်ပါ + +## လမ်းညွှန်ချက်များ + +ဒီသင်ခန်းစာမှာ K-Means clustering အကြောင်းကို သင်လေ့လာခဲ့ပါတယ်။ တစ်ခါတစ်ရံ K-Means သင့်ရဲ့ဒေတာအတွက် သင့်တော်မဖြစ်နိုင်ပါ။ ဒီသင်ခန်းစာတွေက ဒေတာတွေကို သို့မဟုတ် အခြားနေရာက ဒေတာတွေကို အသုံးပြုပြီး notebook တစ်ခုကို ဖန်တီးပါ။ (သင်ရဲ့အရင်းအမြစ်ကို ဖော်ပြပါ) K-Means ကို မသုံးဘဲ ကွဲပြားတဲ့ clustering နည်းလမ်းတစ်ခုကို ပြပါ။ သင်ဘာတွေသင်ယူခဲ့ပါသလဲ? + +## အဆင့်သတ်မှတ်ချက် + +| အချက်အလက် | ထူးချွန်သော | လုံလောက်သော | တိုးတက်မှုလိုအပ်သည် | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | notebook တစ်ခုကို ကောင်းမွန်စွာ ရှင်းလင်းရေးသားထားသော clustering မော်ဒယ်နှင့်တင်ပြထားသည် | notebook တစ်ခုကို ရှင်းလင်းရေးသားမှုမကောင်းဘဲ သို့မဟုတ် မပြီးစီးဘဲတင်ပြထားသည် | မပြီးစီးသောအလုပ်ကို တင်ပြထားသည် | + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသည့် နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/my/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 00000000..f74ac461 --- /dev/null +++ b/translations/my/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတည်သော ရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဝန်ဆောင်မှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပာယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/5-Clustering/README.md b/translations/my/5-Clustering/README.md new file mode 100644 index 00000000..796f9248 --- /dev/null +++ b/translations/my/5-Clustering/README.md @@ -0,0 +1,42 @@ + +# စက်ရုပ်သင်ယူမှုအတွက် Clustering မော်ဒယ်များ + +Clustering သည် စက်ရုပ်သင်ယူမှုလုပ်ငန်းတစ်ခုဖြစ်ပြီး၊ တူညီမှုရှိသော အရာများကို ရှာဖွေပြီး အုပ်စုများ (clusters) အဖြစ် စုစည်းပေးသည်။ Clustering သည် စက်ရုပ်သင်ယူမှု၏ အခြားနည်းလမ်းများနှင့် ကွဲပြားခြားနားပြီး၊ အလိုအလျောက်ဖြစ်ပျက်သည်။ တကယ်တော့ supervised learning နှင့် ဆန့်ကျင်ဘက်ဖြစ်သည်ဟု ဆိုနိုင်သည်။ + +## ဒေသဆိုင်ရာ ခေါင်းစဉ် - နိုင်ဂျီးရီးယားပရိသတ်၏ ဂီတအရသာအတွက် clustering မော်ဒယ်များ 🎧 + +နိုင်ဂျီးရီးယား၏ အမျိုးမျိုးသောပရိသတ်များတွင် အမျိုးမျိုးသော ဂီတအရသာများရှိသည်။ [ဒီဆောင်းပါး](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421) မှ အားကိုးပြီး Spotify မှ ရှာဖွေထားသော ဒေတာကို အသုံးပြု၍ နိုင်ဂျီးရီးယားတွင် လူကြိုက်များသော ဂီတအချို့ကို ကြည့်ကြမည်။ ဒီဒေတာစဉ်တွင် သီချင်းများ၏ 'danceability' အဆင့်၊ 'acousticness'၊ 'loudness'၊ 'speechiness'၊ လူကြိုက်များမှုနှင့် 'energy' အကြောင်းအရာများ ပါဝင်သည်။ ဒီဒေတာတွင် ပုံစံများကို ရှာဖွေဖို့ စိတ်ဝင်စားဖွယ်ကောင်းပါသည်။ + + + +> Marcela Laskoski မှ Unsplash တွင် ရိုက်ထားသော ဓာတ်ပုံ + +ဒီသင်ခန်းစာများတွင် Clustering နည်းလမ်းများကို အသုံးပြု၍ ဒေတာကို လေ့လာသုံးသပ်ရန် နည်းလမ်းအသစ်များကို ရှာဖွေမည်ဖြစ်သည်။ Clustering သည် သင်၏ ဒေတာစဉ်တွင် label မပါဝင်သောအခါ အထူးအသုံးဝင်သည်။ Label ပါဝင်ပါက၊ ယခင်သင်ခန်းစာများတွင် သင်လေ့လာခဲ့သော classification နည်းလမ်းများက ပိုအသုံးဝင်နိုင်သည်။ သို့သော် label မပါဝင်သော ဒေတာကို အုပ်စုဖွဲ့လိုသောအခါ Clustering သည် ပုံစံများကို ရှာဖွေဖို့ အကောင်းဆုံးနည်းလမ်းဖြစ်သည်။ + +> Clustering မော်ဒယ်များနှင့် အလုပ်လုပ်ခြင်းကို လေ့လာရန် အထောက်အကူပြုသော low-code tools များရှိသည်။ [Azure ML](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) ကို စမ်းကြည့်ပါ။ + +## သင်ခန်းစာများ + +1. [Clustering ကိုမိတ်ဆက်ခြင်း](1-Visualize/README.md) +2. [K-Means Clustering](2-K-Means/README.md) + +## အကျိုးတူ + +ဒီသင်ခန်းစာများကို 🎶 [Jen Looper](https://www.twitter.com/jenlooper) မှ ရေးသားပြီး၊ [Rishit Dagli](https://rishit_dagli) နှင့် [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) မှ အထောက်အကူပြုသုံးသပ်ချက်များဖြင့် အကောင်းဆုံးဖြစ်စေရန် ပြုလုပ်ထားသည်။ + +[Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) ဒေတာစဉ်ကို Kaggle မှ Spotify မှ ရှာဖွေထားသည်။ + +ဒီသင်ခန်းစာကို ဖန်တီးရာတွင် အထောက်အကူပြုခဲ့သော အသုံးဝင်သော K-Means နမူနာများမှာ [iris exploration](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering)၊ [introductory notebook](https://www.kaggle.com/prashant111/k-means-clustering-with-python) နှင့် [hypothetical NGO example](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering) တို့ဖြစ်သည်။ + +--- + +**အကြောင်းကြားချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက် ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းဘာသာစကားဖြင့် ရေးသားထားသော စာရွက်စာတမ်းကို အာဏာတရ အရင်းအမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူ့ဘာသာပြန်ပညာရှင်များမှ ပရော်ဖက်ရှင်နယ် ဘာသာပြန်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော အလွဲအလွဲအချော်များ သို့မဟုတ် အနားလွဲမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/6-NLP/1-Introduction-to-NLP/README.md b/translations/my/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 00000000..351656b5 --- /dev/null +++ b/translations/my/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,163 @@ + +# သဘာဝဘာသာစကားလုပ်ငန်းစဉ် (NLP) အကြောင်းမိတ်ဆက် + +ဒီသင်ခန်းစာမှာ *သဘာဝဘာသာစကားလုပ်ငန်းစဉ်* (NLP) ရဲ့ သမိုင်းအကျဉ်းချုပ်နဲ့ အရေးကြီးသောအယူအဆများကို လေ့လာသွားမှာ ဖြစ်ပါတယ်။ ဒါဟာ *ကွန်ပျူတာဘာသာဗေဒ* (computational linguistics) ရဲ့ အခန်းကဏ္ဍတစ်ခုဖြစ်ပါတယ်။ + +## [သင်ခန်းမတိုင်မီ စမ်းမေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +## မိတ်ဆက် + +NLP ဟာ လူသိများတဲ့ အခန်းကဏ္ဍတစ်ခုဖြစ်ပြီး၊ ဒီနယ်ပယ်မှာ စက်လေ့လာမှု (machine learning) ကို အောင်မြင်စွာ အသုံးချထားပါတယ်။ + +✅ သင်နေ့စဉ်အသုံးပြုနေတဲ့ ဆော့ဖ်ဝဲတွေထဲမှာ NLP ပါဝင်နေတာကို သတိထားမိပါသလား။ ဥပမာ - သင့်ရဲ့ စကားဝိုင်းဆော့ဖ်ဝဲတွေ၊ သို့မဟုတ် မိုဘိုင်းအက်ပ်တွေမှာပါ။ + +ဒီသင်ခန်းစာမှာ သင်လေ့လာရမယ့်အရာတွေက: + +- **ဘာသာစကားရဲ့ အယူအဆ**: ဘာသာစကားတွေ ဘယ်လိုဖွံ့ဖြိုးလာပြီး ဘာသာဗေဒရဲ့ အဓိကလေ့လာရေးနယ်ပယ်တွေက ဘာတွေလဲဆိုတာ။ +- **အဓိပ္ပါယ်နဲ့ အယူအဆများ**: ကွန်ပျူတာတွေ ဘာသာစကားကို ဘယ်လိုလုပ်ငန်းစဉ်ဖြင့် ကိုင်တွယ်တယ်ဆိုတာ၊ ဥပမာ - စာကြောင်းခွဲခြမ်းစိတ်ဖြာခြင်း၊ သဒ္ဒါနဲ့ နာမ်၊ ကြိယာတွေကို သတ်မှတ်ခြင်း စတာတွေကို လေ့လာရမှာ ဖြစ်ပါတယ်။ + +## ကွန်ပျူတာဘာသာဗေဒ + +ကွန်ပျူတာဘာသာဗေဒ (computational linguistics) ဟာ အတော်လေးနှစ်ပေါင်းများစွာ လေ့လာရေးနဲ့ ဖွံ့ဖြိုးရေးလုပ်နေတဲ့ နယ်ပယ်တစ်ခုဖြစ်ပြီး၊ ကွန်ပျူတာတွေက ဘာသာစကားနဲ့ အလုပ်လုပ်နိုင်ဖို့၊ နားလည်နိုင်ဖို့၊ ဘာသာပြန်နိုင်ဖို့ စမ်းသပ်နေတဲ့ နယ်ပယ်တစ်ခုပါ။ သဘာဝဘာသာစကားလုပ်ငန်းစဉ် (NLP) ဟာ လူသားဘာသာစကားတွေကို အဓိကထားပြီး လေ့လာတဲ့ နယ်ပယ်တစ်ခုဖြစ်ပါတယ်။ + +### ဥပမာ - ဖုန်း dictation + +သင်ဖုန်းမှာ စာရိုက်မယ့်အစား စကားပြောပြီး စာသားအဖြစ် ပြောင်းတာကို သုံးဖူးလား။ ဒါဟာ သင်ပြောတဲ့စကားကို စနစ်တစ်ခုက စာသားအဖြစ် ပြောင်းပြီး၊ နောက်ပြီးတော့ အဲဒီစာသားကို သင့်ဖုန်း သို့မဟုတ် အကူအညီပေးစနစ်နဲ့ နားလည်နိုင်အောင် ပြောင်းတာပါ။ + + +> ဘာသာစကားနားလည်မှုဟာ အလွန်ခက်ခဲပါတယ်! ပုံကို [Jen Looper](https://twitter.com/jenlooper) မှ ဖန်တီးထားပါတယ်။ + +### ဒီနည်းပညာ ဘယ်လိုဖြစ်နိုင်တာလဲ? + +ဒါဟာ တစ်စုံတစ်ယောက်က ဒီလိုလုပ်ဖို့ ကွန်ပျူတာပရိုဂရမ်ရေးသားထားလို့ ဖြစ်ပါတယ်။ အချို့သော သိပ္ပံစိတ်ကူးရေးသားသူတွေက လူတွေက ကွန်ပျူတာနဲ့ စကားပြောပြီး၊ ကွန်ပျူတာက အမြဲတမ်း နားလည်နိုင်မယ်လို့ ခန့်မှန်းခဲ့ကြပါတယ်။ ဒါပေမယ့် အဲဒါဟာ အလွန်ခက်ခဲတဲ့ ပြဿနာတစ်ခုဖြစ်ပြီး၊ ယနေ့အချိန်မှာ ပိုမိုနားလည်နိုင်ပေမယ့်၊ စာကြောင်းတစ်ကြောင်းရဲ့ အဓိပ္ပါယ်ကို အပြည့်အဝနားလည်နိုင်ဖို့ အခက်အခဲတွေ ရှိနေဆဲပါ။ + +သင့်ကို သဒ္ဒါနဲ့ ပတ်သက်ပြီး ကျောင်းမှာ သင်ခဲ့တဲ့ အချိန်တွေကို သတိရစေမလား။ နာမ်နဲ့ ကြိယာကို ခွဲခြားဖို့ ခက်ခဲတယ်ဆိုရင်၊ သင်တစ်ယောက်တည်းမဟုတ်ပါဘူး။ ကံကောင်းစွာနဲ့ ကွန်ပျူတာတွေက သဒ္ဒါစည်းမျဉ်းတွေကို အလွန်ကောင်းစွာ လိုက်နာနိုင်ပါတယ်။ + +## ကြိုတင်လိုအပ်ချက်များ + +ဒီသင်ခန်းစာအတွက် အဓိကလိုအပ်ချက်က သင့်အတွက် ဒီသင်ခန်းစာရဲ့ ဘာသာစကားကို နားလည်ဖတ်ရှုနိုင်ဖို့ပါ။ သင့်မှာ သင်္ချာပြဿနာတွေ သို့မဟုတ် ဆာမီးမရှိပါဘူး။ + +ဒီသင်ခန်းစာမှာ သင်လိုအပ်မယ့်အရာတွေက: + +- **Python 3 comprehension**: Python 3 ကို နားလည်ဖို့လိုအပ်ပါတယ်။ +- **Visual Studio Code + extension**: Visual Studio Code နဲ့ Python extension ကို သုံးပါ။ +- **TextBlob**: [TextBlob](https://github.com/sloria/TextBlob) ဟာ Python အတွက် ရိုးရှင်းတဲ့ စာသားလုပ်ငန်းစဉ် စာကြောင်းပါ။ + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 အကြံပြုချက်: Python ကို VS Code ပတ်ဝန်းကျင်မှာ တိုက်ရိုက် အလုပ်လုပ်နိုင်ပါတယ်။ [docs](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) ကို ကြည့်ပါ။ + +## စက်တွေနဲ့ စကားပြောခြင်း + +လူသားဘာသာစကားကို ကွန်ပျူတာနားလည်စေဖို့ ကြိုးစားမှုဟာ အတော်လေးနှစ်ပေါင်းများစွာ ရှိခဲ့ပြီး၊ အစောဆုံး သိပ္ပံပညာရှင်တစ်ဦးဖြစ်တဲ့ *Alan Turing* က ဒီအကြောင်းကို စဉ်းစားခဲ့ပါတယ်။ + +### 'Turing Test' + +Turing ဟာ 1950 ခုနှစ်တွေမှာ *အတုယူပွဲ* (The Imitation Game) ဆိုတဲ့ အကြံကနေ စတင်ပြီး၊ လူနဲ့ ကွန်ပျူတာကို စကားပြောစမ်းသပ်မှုတစ်ခုလုပ်ခဲ့ပါတယ်။ + +### Eliza ဖွံ့ဖြိုးတိုးတက်မှု + +1960 ခုနှစ်တွေမှာ MIT ရဲ့ သိပ္ပံပညာရှင်တစ်ဦးဖြစ်တဲ့ *Joseph Weizenbaum* က [*Eliza*](https://wikipedia.org/wiki/ELIZA) ဆိုတဲ့ ကွန်ပျူတာ 'သိပ္ပံဆရာ' တစ်ဦးကို ဖန်တီးခဲ့ပါတယ်။ + +[](https://youtu.be/RMK9AphfLco "Chatting with Eliza") + +> 🎥 Eliza အကြောင်း ဗီဒီယိုကို ကြည့်ရန် ပုံကို နှိပ်ပါ။ + +## လေ့ကျင့်မှု - အခြေခံ စကားပြော bot တစ်ခုရေးခြင်း + +Eliza လိုပဲ စကားပြော bot တစ်ခုကို Python နဲ့ ဖန်တီးကြည့်ပါ။ + +### အစီအစဉ် + +1. အသုံးပြုသူကို bot နဲ့ ဘယ်လိုအလုပ်လုပ်ရမယ်ဆိုတာ ရှင်းပြပါ။ +2. loop တစ်ခုစတင်ပါ။ + 1. အသုံးပြုသူရဲ့ input ကို လက်ခံပါ။ + 2. အသုံးပြုသူက ထွက်ချင်တယ်ဆိုရင် ထွက်ပါ။ + 3. အသုံးပြုသူရဲ့ input ကို လုပ်ငန်းစဉ်ဖြင့် ပြောင်းပါ။ + 4. ပြန်လည်ဖြေကြားပါ။ +3. loop ကို ပြန်လုပ်ပါ။ + +### Bot ဖန်တီးခြင်း + +Python နဲ့ bot ကို ဖန်တီးပါ။ + +1. အောက်ပါ random responses တွေကို သုံးပြီး bot ကို ဖန်တီးပါ: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + အောက်ပါ output ကို အညွှန်းအဖြစ် သုံးပါ (အသုံးပြုသူရဲ့ input ဟာ `>` နဲ့ စတင်ပါတယ်): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + တစ်ခုဖြေရှင်းနည်းကို [ဒီမှာ](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) ကြည့်နိုင်ပါတယ်။ + + ✅ စဉ်းစားကြည့်ပါ + + 1. Random responses တွေက bot ဟာ တကယ်နားလည်တယ်လို့ လူတွေကို လှည့်စားနိုင်မလား? + 2. Bot ကို ပိုထိရောက်အောင် ဘာတွေလိုအပ်မလဲ? + 3. Bot တစ်ခုဟာ စကားကြောင်းရဲ့ အဓိပ္ပါယ်ကို တကယ်နားလည်နိုင်ဖို့၊ ယခင်စကားကြောင်းတွေကို မှတ်မိဖို့ လိုအပ်မလား? + +--- + +## 🚀 စိန်ခေါ်မှု + +အထက်ပါ "စဉ်းစားကြည့်ပါ" အချက်တစ်ခုကို ရွေးပြီး၊ code နဲ့ စမ်းသပ်ကြည့်ပါ၊ သို့မဟုတ် pseudocode နဲ့ ဖြေရှင်းနည်းရေးပါ။ + +နောက်သင်ခန်းစာမှာ သဘာဝဘာသာစကားကို စနစ်တကျ ခွဲခြမ်းစိတ်ဖြာဖို့ နည်းလမ်းအမျိုးမျိုးကို လေ့လာသွားပါမယ်။ + +## [သင်ခန်းပြီးနောက် စမ်းမေးခွန်း](https://ff-quizzes.netlify.app/en/ml/) + +## ပြန်လည်သုံးသပ်ခြင်းနှင့် ကိုယ်တိုင်လေ့လာခြင်း + +အောက်ပါ ရင်းမြစ်တွေကို ဖတ်ရှုပါ: + +### ရင်းမြစ်များ + +1. Schubert, Lenhart, "Computational Linguistics", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL = - [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen နှင့် Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen နှင့် Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen နှင့် Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen နှင့် Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml) ကို သင့် Repository မှာ အလိုအလျောက် Create လုပ်ပါမည်။ ဒီ Workflow က Build နှင့် Deployment လုပ်ငန်းစဉ်ကို Handle လုပ်ပါမည်။ + +6. Deployment ကို Monitor လုပ်ပါ +GitHub Repository ရဲ့ “Actions” tab ကိုသွားပါ။ +Workflow တစ်ခု Run ဖြစ်နေသည်ကို တွေ့ရပါမည်။ ဒီ Workflow က သင့် Static Web App ကို Azure မှာ Build နှင့် Deploy လုပ်ပါမည်။ +Workflow ပြီးဆုံးပြီးနောက် သင့် App ကို Azure URL မှာ Live ဖြစ်နေပါမည်။ + +### Example Workflow File + +GitHub Actions Workflow ဖိုင်ရဲ့ ဥပမာကို အောက်မှာကြည့်ပါ: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### အပိုဆောင်း Resources +- [Azure Static Web Apps Documentation](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions Documentation](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်သင့်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပာယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/sketchnotes/LICENSE.md b/translations/my/sketchnotes/LICENSE.md new file mode 100644 index 00000000..bdaa3231 --- /dev/null +++ b/translations/my/sketchnotes/LICENSE.md @@ -0,0 +1,90 @@ + +အကျိုးသက်သာ-မျှဝေခြင်း 4.0 အပြည်ပြည်ဆိုင်ရာ + +======================================================================= + +Creative Commons Corporation ("Creative Commons") သည် ဥပဒေကြားဝန်ဆောင်မှုများ သို့မဟုတ် ဥပဒေဆိုင်ရာ အကြံဉာဏ်များ ပေးသည့် အဖွဲ့အစည်းမဟုတ်ပါ။ Creative Commons အများပြည်သူလိုင်စင်များကို ဖြန့်ဝေခြင်းသည် ရှေ့နေ-ဖောက်သည်ဆက်ဆံရေး သို့မဟုတ် အခြားဆက်ဆံရေးကို ဖန်တီးပေးခြင်းမဟုတ်ပါ။ Creative Commons သည် ၎င်း၏လိုင်စင်များနှင့် ဆက်စပ်သည့် အချက်အလက်များကို "အခြေအနေရှိသည့်အတိုင်း" ပေးထားပြီး၊ ၎င်း၏လိုင်စင်များ၊ ၎င်းတို့၏ စည်းမျဉ်းစည်းကမ်းများအောက်တွင်လိုင်စင်ရရှိထားသော ပစ္စည်းများ သို့မဟုတ် ဆက်စပ်သည့် အချက်အလက်များနှင့် ပတ်သက်၍ အာမခံချက်မပေးပါ။ Creative Commons သည် ၎င်းတို့ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နစ်နာမှုများအတွက် တာဝန်မယူပါ။ + +Creative Commons အများပြည်သူလိုင်စင်များကို အသုံးပြုခြင်း + +Creative Commons အများပြည်သူလိုင်စင်များသည် စာရေးသူများနှင့် အခြားအခွင့်အရေးပိုင်ရှင်များအတွက် မူပိုင်ခွင့်နှင့် အောက်တွင်ဖော်ပြထားသော အများပြည်သူလိုင်စင်၏ စည်းမျဉ်းစည်းကမ်းများအောက်တွင် မူရင်းအနုပညာလက်ရာများနှင့် အခြားပစ္စည်းများကို မျှဝေရန် အသုံးပြုနိုင်သော စံသတ်မှတ်ချက်များကို ပေးသည်။ အောက်ပါအချက်များသည် သတင်းအချက်အလက်ရည်ရွယ်ချက်များအတွက်သာဖြစ်ပြီး၊ အပြည့်အစုံမဟုတ်သလို၊ ၎င်းတို့သည် ၎င်း၏လိုင်စင်များ၏ အစိတ်အပိုင်းမဟုတ်ပါ။ + + Licensors အတွက် အချက်အလက်များ: ၎င်းတို့၏ အများပြည်သူလိုင်စင်များသည် မူပိုင်ခွင့်နှင့် အခြားအခွင့်အရေးများဖြင့် ကန့်သတ်ထားသော ပစ္စည်းများကို အသုံးပြုရန် အများပြည်သူကို ခွင့်ပြုရန် အခွင့်အာဏာရှိသူများအတွက် ရည်ရွယ်ထားသည်။ ၎င်းတို့၏လိုင်စင်များသည် ပြန်လည်ရုပ်သိမ်း၍ မရနိုင်ပါ။ Licensors သည် ၎င်းတို့ရွေးချယ်သော လိုင်စင်၏ စည်းမျဉ်းစည်းကမ်းများကို လိုင်စင်ပေးမည့်အခါတွင် နားလည်ထားရန် လိုအပ်သည်။ Licensors သည် လိုင်စင်ပေးမည့်အခါတွင် အများပြည်သူက မျှော်မှန်းထားသည့်အတိုင်း ပစ္စည်းကို ပြန်လည်အသုံးပြုနိုင်ရန် လိုအပ်သော အခွင့်အရေးများကို လုံလောက်စွာ ရရှိထားရန် လိုအပ်သည်။ လိုင်စင်မပေးထားသော ပစ္စည်းများကို ရှင်းလင်းစွာ အမှတ်အသားပြုထားရန် လိုအပ်သည်။ ဤတွင် CC-licensed ပစ္စည်းများ သို့မဟုတ် မူပိုင်ခွင့်၏ အခွင့်အရေးကန့်သတ်ချက်များအောက်တွင် အသုံးပြုထားသော ပစ္စည်းများ ပါဝင်သည်။ Licensors အတွက် အခြားအချက်အလက်များ: + wiki.creativecommons.org/Considerations_for_licensors + + အများပြည်သူအတွက် အချက်အလက်များ: ၎င်းတို့၏ အများပြည်သူလိုင်စင်များကို အသုံးပြုခြင်းအားဖြင့်၊ Licensor သည် လိုင်စင်ရရှိထားသော ပစ္စည်းကို သတ်မှတ်ထားသော စည်းမျဉ်းစည်းကမ်းများအောက်တွင် အသုံးပြုရန် အများပြည်သူကို ခွင့်ပြုသည်။ Licensor ၏ ခွင့်ပြုချက်မလိုအပ်သော အကြောင်းအရင်းတစ်ခုခုရှိပါက—ဥပမာအားဖြင့် မူပိုင်ခွင့်၏ အခွင့်အရေးကန့်သတ်ချက်များကြောင့်—၎င်းအသုံးပြုမှုသည် လိုင်စင်ဖြင့် စည်းမျဉ်းမထားပါ။ ၎င်းတို့၏ လိုင်စင်များသည် Licensor ၏ ခွင့်ပြုနိုင်သော မူပိုင်ခွင့်နှင့် အခြားအခွင့်အရေးများအောက်တွင်သာ ခွင့်ပြုချက်များကို ပေးသည်။ လိုင်စင်ရရှိထားသော ပစ္စည်းကို အသုံးပြုခြင်းသည် အခြားအကြောင်းအရင်းများကြောင့် ကန့်သတ်ထားနိုင်ပါသည်၊ ဥပမာအားဖြင့် အခြားသူများသည် ၎င်းပစ္စည်းတွင် မူပိုင်ခွင့် သို့မဟုတ် အခြားအခွင့်အရေးများရှိနေခြင်းကြောင့် ဖြစ်သည်။ Licensor သည် အထူးတောင်းဆိုမှုများကို ပြုလုပ်နိုင်ပါသည်၊ ဥပမာအားဖြင့် အပြောင်းအလဲများကို အမှတ်အသားပြုရန် သို့မဟုတ် ဖော်ပြရန် တောင်းဆိုခြင်း။ ၎င်းတို့၏ လိုင်စင်များဖြင့် မလိုအပ်သော်လည်း၊ သင့်တောင်းဆိုမှုများကို သင့်တော်သောနေရာတွင် လေးစားရန် အားပေးပါသည်။ အများပြည်သူအတွက် အခြားအချက်အလက်များ: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 International Public License + +Licensed Rights (အောက်တွင်ဖော်ပြထားသည်) ကို အသုံးပြုခြင်းအားဖြင့်၊ သင်သည် Creative Commons Attribution-ShareAlike 4.0 International Public License ("Public License") ၏ စည်းမျဉ်းစည်းကမ်းများနှင့် အခြေအနေများကို လက်ခံပြီး ၎င်းတို့ကို လိုက်နာရန် သဘောတူပါသည်။ ဤ Public License ကို သဘောတူညီချက်အဖြစ် အဓိပ္ပါယ်ဖွင့်ဆိုနိုင်သည့်အတိုင်း၊ သင်သည် ဤစည်းမျဉ်းစည်းကမ်းများနှင့် အခြေအနေများကို လက်ခံခြင်းအားဖြင့် Licensed Rights ကို ရရှိပြီး၊ Licensor သည် ဤစည်းမျဉ်းစည်းကမ်းများနှင့် အခြေအနေများအောက်တွင် Licensed Material ကို ရရှိနိုင်စေရန် ရရှိသော အကျိုးကျေးဇူးများအတွက် သင့်အား ၎င်းအခွင့်အရေးများကို ပေးသည်။ + +... +အခန်း ၄ - အခွင့်အရေးများနှင့် တာဝန်များ + +သင့်တွင် Sui Generis Database အခွင့်အရေးရှိပြီး၊ သို့သော် ဒေတာဘေ့စ်၏ အ jednotliv အကြောင်းအရာများမဟုတ်ပါက၊ ဒါသည် Adapted Material ဖြစ်သည်။ + +အခန်း ၃(b) ရည်ရွယ်ချက်များအတွက်ပါဝင်သည်။ +c. သင်သည် ဒေတာဘေ့စ်၏ အကြောင်းအရာများအားလုံး သို့မဟုတ် အများကြီးကို မျှဝေပါက အခန်း ၃(a) တွင် ဖော်ပြထားသော အခြေအနေများကို လိုက်နာရမည်။ + +ရှင်းလင်းစေရန်၊ အခန်း ၄ သည် သင့် Public License အောက်တွင် Licensed Rights တွင် အခြား Copyright နှင့် Similar Rights ပါဝင်သောအခါ သင့်တာဝန်များကို အစားထိုးမထားဘဲ ဖြည့်စွက်ပေးသည်။ + +အခန်း ၅ - အာမခံချက်များနှင့် တာဝန်ကန့်သတ်မှု + +a. Licensor မှ သီးခြားစီလုပ်ဆောင်ခြင်းမရှိသလောက်၊ အလှည့်အပြောင်းဖြစ်နိုင်သမျှအတိုင်း၊ Licensor သည် Licensed Material ကို "အတိုင်းအတာ" နှင့် "ရရှိနိုင်သောအတိုင်း" ပေးသည်။ Licensed Material နှင့်ပတ်သက်၍ အာမခံချက်များ သို့မဟုတ် အာမခံချက်များကို မည်သည့်အမျိုးအစားဖြစ်စေ မပေးပါ။ ဥပမာအားဖြင့်၊ အခွင့်အရေး၊ စျေးကွက်အတွက် သင့်တော်မှု၊ အထူးရည်ရွယ်ချက်အတွက် သင့်တော်မှု၊ မဖောက်ဖျက်မှု၊ အမှားများ ရှိခြင်း သို့မဟုတ် မရှိခြင်း၊ သို့မဟုတ် အခြားအကြောင်းအရာများပါဝင်သည်။ အာမခံချက်များကို အပြည့်အဝ သို့မဟုတ် အစိတ်အပိုင်းများတွင် ခွင့်မပြုပါက၊ ဤအာမခံချက်များ သင့်အပေါ် မသက်ဆိုင်နိုင်ပါ။ + +b. ဖြစ်နိုင်သလောက်၊ မည်သည့်အခါတွင်မဆို Licensor သည် သင့်အပေါ် တရားဝင်အခြေခံချက် (ဥပမာအားဖြင့် အာမခံမှု) သို့မဟုတ် Licensed Material ကို အသုံးပြုခြင်းနှင့်ပတ်သက်၍ တိုက်ရိုက်၊ အထူး၊ အလျင်အမြန်၊ အကြောင်းဆိုင်သော၊ ဒဏ်ငွေ၊ အထူးပြု၊ သို့မဟုတ် အခြားအကျိုးဆုံးရှုံးမှုများ၊ ကုန်ကျစရိတ်များ၊ သို့မဟုတ် ထိခိုက်မှုများအတွက် တာဝန်မရှိပါ။ တာဝန်ကန့်သတ်မှုများကို အပြည့်အဝ သို့မဟုတ် အစိတ်အပိုင်းများတွင် ခွင့်မပြုပါက၊ ဤကန့်သတ်မှုများ သင့်အပေါ် မသက်ဆိုင်နိုင်ပါ။ + +c. အထက်ဖော်ပြထားသော အာမခံချက်များနှင့် တာဝန်ကန့်သတ်မှုများကို အပြည့်အဝ သို့မဟုတ် အနီးစပ်ဆုံး အကန့်အသတ်နှင့် တာဝန်လွှတ်ခြင်းအဖြစ် အနီးစပ်ဆုံးအတိုင်း အဓိပ္ပာယ်ဖွင့်ဆိုရမည်။ + +အခန်း ၆ - သက်တမ်းနှင့် ရပ်ဆိုင်းမှု + +a. ဤ Public License သည် ဤတွင် Licensed Copyright နှင့် Similar Rights ရှိသည့် သက်တမ်းအတွက် သက်တမ်းရှိသည်။ သို့သော် သင်ဤ Public License ကို လိုက်နာရန် မအောင်မြင်ပါက၊ သင့် Public License အောက်တွင်ရှိသော အခွင့်အရေးများသည် အလိုအလျောက် ရပ်ဆိုင်းသွားမည်။ + +b. သင့် Licensed Material ကို အသုံးပြုရန် အခွင့်အရေးသည် အခန်း ၆(a) အောက်တွင် ရပ်ဆိုင်းသွားသောအခါ၊ ၎င်းသည် ပြန်လည်သက်တမ်းရရှိသည်- + +1. သင့်ဖောက်ဖျက်မှုကို ရှာဖွေတွေ့ရှိပြီး ၃၀ ရက်အတွင်း ပြန်လည်ပြုပြင်မှုကို အလိုအလျောက် ပြုလုပ်ပါက၊ သို့မဟုတ် +2. Licensor မှ ထူးထူးခြားခြား ပြန်လည်သက်တမ်းရရှိမှုကို ပေးပါက။ + +ရှင်းလင်းစေရန်၊ အခန်း ၆(b) သည် သင့် Public License ကို ဖောက်ဖျက်မှုများအတွက် Licensor မှ အရေးယူရန် အခွင့်အရေးကို မထိခိုက်စေပါ။ + +c. ရှင်းလင်းစေရန်၊ Licensor သည် Licensed Material ကို သီးခြားစီ စည်းကမ်း သို့မဟုတ် အခြေအနေများအောက်တွင် ပေးသည့်အခါ သို့မဟုတ် Licensed Material ကို မျှဝေမှုကို ရပ်တန့်နိုင်သည်။ သို့သော် ဤလုပ်ဆောင်မှုသည် ဤ Public License ကို ရပ်ဆိုင်းမည်မဟုတ်ပါ။ + +d. အခန်း ၁၊ ၅၊ ၆၊ ၇၊ နှင့် ၈ သည် ဤ Public License ရပ်ဆိုင်းပြီးနောက်လည်း သက်တမ်းရှိနေသည်။ + +အခန်း ၇ - အခြားစည်းကမ်းနှင့် အခြေအနေများ + +a. Licensor သည် သင့်အနေဖြင့် ဆက်သွယ်သော အခြားစည်းကမ်း သို့မဟုတ် အခြေအနေများကို သဘောတူမတူမရှိပါ။ + +b. Licensed Material နှင့်ပတ်သက်၍ ဤတွင် ဖော်ပြထားခြင်းမရှိသော စီစဉ်မှုများ၊ နားလည်မှုများ သို့မဟုတ် သဘောတူညီမှုများသည် ဤ Public License ၏ စည်းကမ်းနှင့် အခြေအနေများနှင့် သီးခြားစီ သက်ဆိုင်သည်။ + +အခန်း ၈ - အဓိပ္ပာယ်ဖွင့်ဆိုမှု + +a. ရှင်းလင်းစေရန်၊ ဤ Public License သည် Licensed Material ကို ဤ Public License အောက်တွင် ခွင့်ပြုချက်မလိုအပ်ဘဲ တရားဝင်အသုံးပြုနိုင်သော မည်သည့်အသုံးပြုမှုကိုမဆို လျှော့ချခြင်း၊ ကန့်သတ်ခြင်း၊ ကန့်သတ်ခြင်း သို့မဟုတ် အခြေအနေများ ချမှတ်ခြင်းမပြုပါ။ + +b. ဖြစ်နိုင်သလောက်၊ ဤ Public License ၏ မည်သည့်အပိုဒ်ကိုမဆို အကန့်အသတ်မရှိဟု သတ်မှတ်ပါက၊ ၎င်းကို အနည်းဆုံးအတိုင်း ပြုပြင်ရန် အလိုအလျောက် ပြုပြင်ရမည်။ အပိုဒ်ကို ပြုပြင်၍ မရပါက၊ ၎င်းကို ဤ Public License မှ ဖယ်ရှားရမည်။ သို့သော် ကျန်ရှိသော စည်းကမ်းနှင့် အခြေအနေများ၏ အကန့်အသတ်မရှိမှုကို မထိခိုက်စေပါ။ + +c. ဤ Public License ၏ မည်သည့်စည်းကမ်း သို့မဟုတ် အခြေအနေကိုမဆို Licensor မှ ထူးထူးခြားခြား သဘောတူညီမှုမရှိပါက လွှတ်လပ်ခြင်း သို့မဟုတ် လိုက်နာမှုကို သဘောတူမတူမရှိပါ။ + +d. ဤ Public License တွင် မည်သည့်အရာကိုမဆို Licensor သို့မဟုတ် သင့်အပေါ် သက်ဆိုင်သော တရားဝင်လုပ်ငန်းစဉ်များ သို့မဟုတ် အာဏာပိုင်၏ အခွင့်အရေးများနှင့် အခွင့်အရေးများကို ကန့်သတ်ခြင်း သို့မဟုတ် လွှတ်လပ်ခြင်းအဖြစ် သတ်မှတ်ခြင်းမရှိပါ။ + +======================================================================= + +Creative Commons သည် ၎င်း၏ Public License များ၏ အဖွဲ့ဝင်မဟုတ်ပါ။ သို့သော် Creative Commons သည် ၎င်း၏ Public License များကို ၎င်း၏ပုံနှိပ်ထားသော ပစ္စည်းများတွင် အသုံးပြုရန် ရွေးချယ်နိုင်ပြီး၊ ၎င်းအခါတွင် “Licensor” အဖြစ် သတ်မှတ်နိုင်သည်။ Creative Commons Public License များ၏ စာသားကို CC0 Public Domain Dedication အောက်တွင် Public Domain သို့ လှူဒါန်းထားသည်။ Creative Commons ၏ မူဝါဒများတွင် ဖော်ပြထားသောအတိုင်း သို့မဟုတ် Creative Commons Public License အောက်တွင် မျှဝေထားသော ပစ္စည်းများကို ဖော်ပြရန် အကန့်အသတ်အတွက်သာ Creative Commons အမှတ်တံဆိပ် "Creative Commons" သို့မဟုတ် Creative Commons ၏ အခြားအမှတ်တံဆိပ် သို့မဟုတ် လိုဂိုကို အသုံးပြုရန် ခွင့်ပြုချက်မရှိပါ။ Creative Commons ၏ Public License များကို မည်သည့်မူပြောင်းမှုများနှင့်ပတ်သက်၍ မည်သည့်သဘောတူညီမှုများနှင့်ပတ်သက်၍ Creative Commons ၏ ရေးသားထားသော ခွင့်ပြုချက်မရှိပါ။ + +Creative Commons ကို creativecommons.org တွင် ဆက်သွယ်နိုင်သည်။ + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်ဆိုမှုများတွင် အမှားများ သို့မဟုတ် မတိကျမှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူက ဘာသာပြန်ဆိုမှုကို အသုံးပြုရန် အကြံပြုပါသည်။ ဤဘာသာပြန်ကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားမှုများ သို့မဟုတ် အဓိပ္ပါယ်မှားမှုများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/my/sketchnotes/README.md b/translations/my/sketchnotes/README.md new file mode 100644 index 00000000..676d02bc --- /dev/null +++ b/translations/my/sketchnotes/README.md @@ -0,0 +1,21 @@ + +အမျိုးသားသင်ရိုးညွှန်းတမ်းများ၏ စကက်မှတ်စုများကို ဒီနေရာမှာ ဒေါင်းလုဒ်လုပ်နိုင်ပါတယ်။ + +🖨 အရည်အသွေးမြင့်ဖြင့် ပုံနှိပ်ရန်အတွက် TIFF ဗားရှင်းများကို [ဒီ repo](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff) မှာ ရရှိနိုင်ပါတယ်။ + +🎨 ဖန်တီးသူ: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +--- + +**ဝက်ဘ်ဆိုက်မှတ်ချက်**: +ဤစာရွက်စာတမ်းကို AI ဘာသာပြန်ဝန်ဆောင်မှု [Co-op Translator](https://github.com/Azure/co-op-translator) ကို အသုံးပြု၍ ဘာသာပြန်ထားပါသည်။ ကျွန်ုပ်တို့သည် တိကျမှန်ကန်မှုအတွက် ကြိုးစားနေပါသော်လည်း၊ အလိုအလျောက်ဘာသာပြန်မှုများတွင် အမှားများ သို့မဟုတ် မမှန်ကန်မှုများ ပါဝင်နိုင်သည်ကို ကျေးဇူးပြု၍ သတိပြုပါ။ မူရင်းစာရွက်စာတမ်းကို ၎င်း၏ မူလဘာသာစကားဖြင့် အာဏာတည်သောရင်းမြစ်အဖြစ် သတ်မှတ်ရန် လိုအပ်ပါသည်။ အရေးကြီးသော အချက်အလက်များအတွက် လူကောင်းမွန်သော ပရော်ဖက်ရှင်နယ်ဘာသာပြန်ဝန်ဆောင်မှုကို အကြံပြုပါသည်။ ဤဘာသာပြန်မှုကို အသုံးပြုခြင်းမှ ဖြစ်ပေါ်လာသော နားလည်မှုမှားများ သို့မဟုတ် အဓိပ္ပါယ်မှားများအတွက် ကျွန်ုပ်တို့သည် တာဝန်မယူပါ။ \ No newline at end of file diff --git a/translations/sl/1-Introduction/1-intro-to-ML/README.md b/translations/sl/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 00000000..5df15410 --- /dev/null +++ b/translations/sl/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,159 @@ + +# Uvod v strojno učenje + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML za začetnike - Uvod v strojno učenje za začetnike") + +> 🎥 Kliknite na zgornjo sliko za kratek video, ki obravnava to lekcijo. + +Dobrodošli v tem tečaju klasičnega strojnega učenja za začetnike! Ne glede na to, ali ste popolnoma novi na tem področju ali izkušen strokovnjak za strojno učenje, ki želi osvežiti svoje znanje, veseli smo, da ste se nam pridružili! Želimo ustvariti prijazno izhodišče za vaše študije strojnega učenja in z veseljem ocenimo, odgovorimo ter vključimo vaše [povratne informacije](https://github.com/microsoft/ML-For-Beginners/discussions). + +[](https://youtu.be/h0e2HAPTGF4 "Uvod v strojno učenje") + +> 🎥 Kliknite na zgornjo sliko za video: MIT-ov John Guttag predstavlja strojno učenje + +--- +## Začetek s strojnim učenjem + +Preden začnete s tem učnim načrtom, morate pripraviti svoj računalnik za lokalno izvajanje beležk. + +- **Pripravite svoj računalnik s temi videi**. Uporabite naslednje povezave, da se naučite [kako namestiti Python](https://youtu.be/CXZYvNRIAKM) na vaš sistem in [nastaviti urejevalnik besedila](https://youtu.be/EU8eayHWoZg) za razvoj. +- **Naučite se Python**. Priporočljivo je, da imate osnovno razumevanje [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), programskega jezika, ki je koristen za podatkovne znanstvenike in ga uporabljamo v tem tečaju. +- **Naučite se Node.js in JavaScript**. JavaScript uporabljamo nekajkrat v tem tečaju pri gradnji spletnih aplikacij, zato boste potrebovali [node](https://nodejs.org) in [npm](https://www.npmjs.com/), pa tudi [Visual Studio Code](https://code.visualstudio.com/) za razvoj v Pythonu in JavaScriptu. +- **Ustvarite GitHub račun**. Ker ste nas našli tukaj na [GitHub](https://github.com), morda že imate račun, če pa ne, ga ustvarite in nato razvejite ta učni načrt za lastno uporabo. (Lahko nam tudi podarite zvezdico 😊) +- **Raziščite Scikit-learn**. Seznanite se z [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), nizom knjižnic za strojno učenje, ki jih uporabljamo v teh lekcijah. + +--- +## Kaj je strojno učenje? + +Izraz 'strojno učenje' je eden najbolj priljubljenih in pogosto uporabljenih izrazov danes. Obstaja velika verjetnost, da ste ta izraz vsaj enkrat slišali, če imate kakršnokoli povezavo s tehnologijo, ne glede na področje, v katerem delate. Mehanika strojnega učenja pa je za večino ljudi skrivnost. Za začetnika v strojnem učenju se lahko tema včasih zdi preobsežna. Zato je pomembno razumeti, kaj strojno učenje dejansko je, in se o njem učiti korak za korakom, skozi praktične primere. + +--- +## Krivulja navdušenja + + + +> Google Trends prikazuje nedavno 'krivuljo navdušenja' izraza 'strojno učenje' + +--- +## Skrivnostno vesolje + +Živimo v vesolju, polnem fascinantnih skrivnosti. Veliki znanstveniki, kot so Stephen Hawking, Albert Einstein in mnogi drugi, so svoja življenja posvetili iskanju smiselnih informacij, ki razkrivajo skrivnosti sveta okoli nas. To je človeška narava učenja: človeški otrok se uči novih stvari in odkriva strukturo svojega sveta leto za letom, ko odrašča. + +--- +## Otroški možgani + +Otroški možgani in čuti zaznavajo dejstva iz okolice ter postopoma spoznavajo skrite vzorce življenja, ki otroku pomagajo oblikovati logična pravila za prepoznavanje naučenih vzorcev. Proces učenja človeških možganov naredi ljudi najbolj sofisticirana živa bitja na tem svetu. Nenehno učenje z odkrivanjem skritih vzorcev in nato inoviranje na podlagi teh vzorcev nam omogoča, da se skozi življenje nenehno izboljšujemo. Ta sposobnost učenja in evolucije je povezana s konceptom, imenovanim [plastičnost možganov](https://www.simplypsychology.org/brain-plasticity.html). Površinsko lahko potegnemo nekaj motivacijskih podobnosti med procesom učenja človeških možganov in koncepti strojnega učenja. + +--- +## Človeški možgani + +[Človeški možgani](https://www.livescience.com/29365-human-brain.html) zaznavajo stvari iz resničnega sveta, obdelujejo zaznane informacije, sprejemajo racionalne odločitve in izvajajo določena dejanja glede na okoliščine. To imenujemo inteligentno vedenje. Ko programiramo posnemanje inteligentnega vedenjskega procesa v stroj, to imenujemo umetna inteligenca (AI). + +--- +## Nekaj terminologije + +Čeprav se izrazi lahko zamenjujejo, je strojno učenje (ML) pomemben podsklop umetne inteligence. **ML se ukvarja z uporabo specializiranih algoritmov za odkrivanje smiselnih informacij in iskanje skritih vzorcev iz zaznanih podatkov, da podpre racionalni proces odločanja**. + +--- +## AI, ML, globoko učenje + + + +> Diagram, ki prikazuje odnose med AI, ML, globokim učenjem in podatkovno znanostjo. Infografika avtorice [Jen Looper](https://twitter.com/jenlooper), navdihnjena z [to grafiko](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Koncepti, ki jih bomo obravnavali + +V tem učnem načrtu bomo obravnavali le osnovne koncepte strojnega učenja, ki jih mora poznati začetnik. Obravnavamo tisto, kar imenujemo 'klasično strojno učenje', predvsem z uporabo Scikit-learn, odlične knjižnice, ki jo mnogi študenti uporabljajo za učenje osnov. Za razumevanje širših konceptov umetne inteligence ali globokega učenja je močno temeljno znanje strojnega učenja nepogrešljivo, zato ga želimo ponuditi tukaj. + +--- +## V tem tečaju se boste naučili: + +- osnovnih konceptov strojnega učenja +- zgodovine ML +- ML in pravičnosti +- regresijskih tehnik ML +- klasifikacijskih tehnik ML +- tehnik grupiranja ML +- tehnik obdelave naravnega jezika ML +- tehnik napovedovanja časovnih vrst ML +- okrepljenega učenja +- resničnih aplikacij za ML + +--- +## Kaj ne bomo obravnavali + +- globoko učenje +- nevronske mreže +- AI + +Za boljšo izkušnjo učenja se bomo izognili kompleksnostim nevronskih mrež, 'globokega učenja' - gradnje modelov z več plastmi z uporabo nevronskih mrež - in AI, o čemer bomo razpravljali v drugem učnem načrtu. Prav tako bomo ponudili prihajajoči učni načrt podatkovne znanosti, ki se bo osredotočil na ta vidik širšega področja. + +--- +## Zakaj študirati strojno učenje? + +Strojno učenje je z vidika sistemov opredeljeno kot ustvarjanje avtomatiziranih sistemov, ki lahko iz podatkov odkrijejo skrite vzorce za pomoč pri sprejemanju inteligentnih odločitev. + +Ta motivacija je ohlapno navdihnjena z načinom, kako človeški možgani učijo določene stvari na podlagi podatkov, ki jih zaznavajo iz zunanjega sveta. + +✅ Premislite za trenutek, zakaj bi podjetje želelo uporabiti strategije strojnega učenja namesto ustvarjanja sistema s trdo kodiranimi pravili. + +--- +## Aplikacije strojnega učenja + +Aplikacije strojnega učenja so zdaj skoraj povsod in so tako razširjene kot podatki, ki krožijo po naših družbah, ustvarjeni s pametnimi telefoni, povezanimi napravami in drugimi sistemi. Glede na izjemen potencial najsodobnejših algoritmov strojnega učenja raziskovalci preučujejo njihovo sposobnost reševanja večdimenzionalnih in večdisciplinarnih resničnih problemov z odličnimi pozitivnimi rezultati. + +--- +## Primeri uporabe ML + +**Strojno učenje lahko uporabite na številne načine**: + +- Za napovedovanje verjetnosti bolezni na podlagi pacientove zdravstvene zgodovine ali poročil. +- Za uporabo vremenskih podatkov za napovedovanje vremenskih dogodkov. +- Za razumevanje sentimenta besedila. +- Za odkrivanje lažnih novic in preprečevanje širjenja propagande. + +Finance, ekonomija, znanost o Zemlji, raziskovanje vesolja, biomedicinski inženiring, kognitivna znanost in celo področja humanistike so prilagodili strojno učenje za reševanje težkih problemov obdelave podatkov v svojih domenah. + +--- +## Zaključek + +Strojno učenje avtomatizira proces odkrivanja vzorcev z iskanjem smiselnih vpogledov iz resničnih ali generiranih podatkov. Izkazalo se je, da je izjemno dragoceno na področjih poslovanja, zdravja in financ, med drugim. + +V bližnji prihodnosti bo razumevanje osnov strojnega učenja postalo nujno za ljudi iz katerega koli področja zaradi njegove široke uporabe. + +--- +# 🚀 Izziv + +Narišite, na papirju ali z uporabo spletne aplikacije, kot je [Excalidraw](https://excalidraw.com/), vaše razumevanje razlik med AI, ML, globokim učenjem in podatkovno znanostjo. Dodajte nekaj idej o problemih, ki jih lahko vsaka od teh tehnik dobro rešuje. + +# [Kviz po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +--- +# Pregled in samostojno učenje + +Če želite izvedeti več o tem, kako lahko delate z algoritmi ML v oblaku, sledite tej [učni poti](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott). + +Sprejmite [učni načrt](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) o osnovah ML. + +--- +# Naloga + +[Začnite z delom](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/1-intro-to-ML/assignment.md b/translations/sl/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 00000000..19ea6993 --- /dev/null +++ b/translations/sl/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,23 @@ + +# Začnite z delom + +## Navodila + +V tej nalogi, ki ni ocenjena, se osvežite v znanju Pythona in pripravite svoje okolje, da bo sposobno poganjati beležke. + +Sledite tej [učni poti za Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), nato pa pripravite svoje sisteme z ogledom teh uvodnih videoposnetkov: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/2-history-of-ML/README.md b/translations/sl/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 00000000..00fa1fde --- /dev/null +++ b/translations/sl/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,164 @@ + +# Zgodovina strojnega učenja + + +> Sketchnote avtorja [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML za začetnike - Zgodovina strojnega učenja") + +> 🎥 Kliknite zgornjo sliko za kratek video, ki obravnava to lekcijo. + +V tej lekciji bomo pregledali glavne mejnike v zgodovini strojnega učenja in umetne inteligence. + +Zgodovina umetne inteligence (UI) kot področja je tesno povezana z zgodovino strojnega učenja, saj so algoritmi in računalniški napredki, ki podpirajo strojno učenje, prispevali k razvoju UI. Pomembno je vedeti, da so se ta področja kot ločeni raziskovalni smeri začela oblikovati v 50. letih prejšnjega stoletja, vendar so pomembna [algoritmična, statistična, matematična, računalniška in tehnična odkritja](https://wikipedia.org/wiki/Timeline_of_machine_learning) predhodila in prekrivala to obdobje. Pravzaprav ljudje razmišljajo o teh vprašanjih že [stoletja](https://wikipedia.org/wiki/History_of_artificial_intelligence): ta članek obravnava zgodovinske intelektualne temelje ideje o 'mislečem stroju.' + +--- +## Pomembna odkritja + +- 1763, 1812 [Bayesov izrek](https://wikipedia.org/wiki/Bayes%27_theorem) in njegovi predhodniki. Ta izrek in njegove aplikacije so osnova za sklepanje, saj opisujejo verjetnost dogodka na podlagi predhodnega znanja. +- 1805 [Teorija najmanjših kvadratov](https://wikipedia.org/wiki/Least_squares) francoskega matematika Adriena-Marieja Legendra. Ta teorija, o kateri se boste učili v enoti o regresiji, pomaga pri prilagajanju podatkov. +- 1913 [Markovske verige](https://wikipedia.org/wiki/Markov_chain), poimenovane po ruskem matematiku Andreju Markovu, opisujejo zaporedje možnih dogodkov na podlagi prejšnjega stanja. +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) je vrsta linearnega klasifikatorja, ki ga je izumil ameriški psiholog Frank Rosenblatt in je osnova za napredek v globokem učenju. + +--- + +- 1967 [Najbližji sosed](https://wikipedia.org/wiki/Nearest_neighbor) je algoritem, prvotno zasnovan za načrtovanje poti. V kontekstu strojnega učenja se uporablja za prepoznavanje vzorcev. +- 1970 [Povratno širjenje](https://wikipedia.org/wiki/Backpropagation) se uporablja za učenje [feedforward nevronskih mrež](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Rekurentne nevronske mreže](https://wikipedia.org/wiki/Recurrent_neural_network) so umetne nevronske mreže, izpeljane iz feedforward mrež, ki ustvarjajo časovne grafe. + +✅ Raziščite. Kateri drugi datumi so po vašem mnenju ključni v zgodovini strojnega učenja in umetne inteligence? + +--- +## 1950: Stroji, ki mislijo + +Alan Turing, resnično izjemna oseba, ki je bil [leta 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) izbran za največjega znanstvenika 20. stoletja, je zaslužen za postavitev temeljev koncepta 'stroja, ki lahko misli.' Soočen je bil s skeptiki in lastno potrebo po empiričnih dokazih tega koncepta, deloma z ustvarjanjem [Turingovega testa](https://www.bbc.com/news/technology-18475646), ki ga boste raziskali v lekcijah o obdelavi naravnega jezika. + +--- +## 1956: Poletni raziskovalni projekt na Dartmouthu + +"Poletni raziskovalni projekt o umetni inteligenci na Dartmouthu je bil ključen dogodek za umetno inteligenco kot področje," in prav tukaj je bil skovan izraz 'umetna inteligenca' ([vir](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Vsak vidik učenja ali katera koli druga značilnost inteligence je načeloma mogoče tako natančno opisati, da jo lahko stroj simulira. + +--- + +Vodja raziskave, profesor matematike John McCarthy, je upal, "da bo mogoče nadaljevati na podlagi domneve, da je vsak vidik učenja ali katera koli druga značilnost inteligence načeloma mogoče tako natančno opisati, da jo lahko stroj simulira." Med udeleženci je bil tudi drug pomemben raziskovalec na tem področju, Marvin Minsky. + +Delavnica je zaslužna za spodbujanje več razprav, vključno z "vzponom simboličnih metod, sistemov, osredotočenih na omejena področja (zgodnji ekspertni sistemi), in deduktivnih sistemov v primerjavi z induktivnimi sistemi." ([vir](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Zlata leta" + +Od 50. let do sredine 70. let je vladal optimizem, da bi UI lahko rešila številne težave. Leta 1967 je Marvin Minsky samozavestno izjavil: "V eni generaciji ... bo problem ustvarjanja 'umetne inteligence' v veliki meri rešen." (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +Raziskave obdelave naravnega jezika so cvetele, iskanje je postalo bolj izpopolnjeno in zmogljivo, ter ustvarjen je bil koncept 'mikro-svetov', kjer so bile preproste naloge izvedene z uporabo navodil v preprostem jeziku. + +--- + +Raziskave so bile dobro financirane s strani vladnih agencij, napredek je bil dosežen na področju računalništva in algoritmov, ter prototipi inteligentnih strojev so bili zgrajeni. Nekateri od teh strojev vključujejo: + +* [Robot Shakey](https://wikipedia.org/wiki/Shakey_the_robot), ki se je lahko premikal in 'inteligentno' odločal, kako opraviti naloge. + +  + > Shakey leta 1972 + +--- + +* Eliza, zgodnji 'klepetalni robot', je lahko komunicirala z ljudmi in delovala kot primitivni 'terapevt'. Več o Elizi boste izvedeli v lekcijah o obdelavi naravnega jezika. + +  + > Različica Elize, klepetalnega robota + +--- + +* "Svet blokov" je bil primer mikro-sveta, kjer so se bloki lahko zlagali in razvrščali, ter so se izvajali eksperimenti pri učenju strojev za sprejemanje odločitev. Napredki, doseženi z knjižnicami, kot je [SHRDLU](https://wikipedia.org/wiki/SHRDLU), so pomagali pri razvoju obdelave jezika. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "svet blokov s SHRDLU") + + > 🎥 Kliknite zgornjo sliko za video: Svet blokov s SHRDLU + +--- +## 1974 - 1980: "Zima UI" + +Do sredine 70. let je postalo jasno, da je bila kompleksnost ustvarjanja 'inteligentnih strojev' podcenjena in da so bile obljube, glede na razpoložljivo računalniško moč, pretirane. Financiranje se je zmanjšalo, zaupanje v področje pa je upadlo. Nekateri problemi, ki so vplivali na zaupanje, vključujejo: +--- +- **Omejitve**. Računalniška moč je bila prešibka. +- **Kombinatorna eksplozija**. Število parametrov, ki jih je bilo treba naučiti, je eksponentno naraščalo, brez vzporednega razvoja računalniške moči in zmogljivosti. +- **Pomanjkanje podatkov**. Pomanjkanje podatkov je oviralo proces testiranja, razvoja in izboljševanja algoritmov. +- **Ali postavljamo prava vprašanja?**. Začela so se postavljati vprašanja o samih vprašanjih, ki so jih raziskovalci zastavljali: + - Turingovi testi so bili postavljeni pod vprašaj, med drugim tudi s teorijo 'kitajske sobe', ki je trdila, da "programiranje digitalnega računalnika lahko ustvari videz razumevanja jezika, vendar ne more ustvariti pravega razumevanja." ([vir](https://plato.stanford.edu/entries/chinese-room/)) + - Etika uvajanja umetnih inteligenc, kot je "terapevt" ELIZA, v družbo je bila izzvana. + +--- + +Hkrati so se začele oblikovati različne šole misli o UI. Ustanovila se je dihotomija med ["neurejeno" in "urejeno UI"](https://wikipedia.org/wiki/Neats_and_scruffies). _Neurejeni_ laboratoriji so urejali programe, dokler niso dosegli želenih rezultatov. _Urejeni_ laboratoriji so se osredotočali na logiko in formalno reševanje problemov. ELIZA in SHRDLU sta bila znana _neurejena_ sistema. V 80. letih, ko se je pojavilo povpraševanje po reproducibilnosti sistemov strojnega učenja, je _urejen_ pristop postopoma prevladal, saj so njegovi rezultati bolj razložljivi. + +--- +## 1980: Ekspertni sistemi + +Z rastjo področja je postala njegova korist za poslovanje bolj očitna, v 80. letih pa se je razširila uporaba 'ekspertnih sistemov'. "Ekspertni sistemi so bili med prvimi resnično uspešnimi oblikami programske opreme umetne inteligence (UI)." ([vir](https://wikipedia.org/wiki/Expert_system)). + +Ta vrsta sistema je pravzaprav _hibridna_, saj delno vključuje pravila, ki določajo poslovne zahteve, in sklepni mehanizem, ki uporablja sistem pravil za sklepanje novih dejstev. + +To obdobje je prineslo tudi večjo pozornost nevronskim mrežam. + +--- +## 1987 - 1993: Ohladitev UI + +Razširitev specializirane strojne opreme za ekspertne sisteme je imela nesrečen učinek, da je postala preveč specializirana. Pojav osebnih računalnikov je prav tako tekmoval s temi velikimi, specializiranimi, centraliziranimi sistemi. Začela se je demokratizacija računalništva, ki je sčasoma tlakovala pot za sodobno eksplozijo velikih podatkov. + +--- +## 1993 - 2011 + +To obdobje je prineslo novo ero za strojno učenje in umetno inteligenco, da bi lahko rešila nekatere težave, ki so jih povzročili pomanjkanje podatkov in računalniške moči. Količina podatkov se je začela hitro povečevati in postajati bolj dostopna, tako v dobrem kot slabem, še posebej z uvedbo pametnega telefona okoli leta 2007. Računalniška moč se je eksponentno povečala, algoritmi pa so se razvijali vzporedno. Področje je začelo dosegati zrelost, saj so se svobodomiselni dnevi preteklosti začeli oblikovati v pravo disciplino. + +--- +## Danes + +Danes strojno učenje in umetna inteligenca vplivata na skoraj vsak del našega življenja. To obdobje zahteva skrbno razumevanje tveganj in možnih učinkov teh algoritmov na človeška življenja. Kot je dejal Brad Smith iz Microsofta: "Informacijska tehnologija odpira vprašanja, ki segajo v samo srčiko temeljnih zaščit človekovih pravic, kot sta zasebnost in svoboda izražanja. Ta vprašanja povečujejo odgovornost tehnoloških podjetij, ki ustvarjajo te izdelke. Po našem mnenju zahtevajo tudi premišljeno vladno regulacijo in razvoj norm glede sprejemljive uporabe" ([vir](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Kaj prinaša prihodnost, ostaja neznano, vendar je pomembno razumeti te računalniške sisteme ter programsko opremo in algoritme, ki jih poganjajo. Upamo, da vam bo ta učni načrt pomagal pridobiti boljše razumevanje, da boste lahko sami presodili. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Zgodovina globokega učenja") +> 🎥 Kliknite zgornjo sliko za video: Yann LeCun razpravlja o zgodovini globokega učenja v tem predavanju + +--- +## 🚀Izziv + +Poglobite se v enega od teh zgodovinskih trenutkov in izvedite več o ljudeh, ki stojijo za njimi. Obstajajo fascinantni liki, in nobeno znanstveno odkritje ni bilo ustvarjeno v kulturnem vakuumu. Kaj odkrijete? + +## [Kviz po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +--- +## Pregled in samostojno učenje + +Tukaj so predmeti za ogled in poslušanje: + +[Ta podcast, kjer Amy Boyd razpravlja o razvoju UI](http://runasradio.com/Shows/Show/739) + +[](https://www.youtube.com/watch?v=EJt3_bFYKss "Zgodovina UI avtorice Amy Boyd") + +--- + +## Naloga + +[Ustvarite časovnico](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/2-history-of-ML/assignment.md b/translations/sl/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 00000000..dc59dafc --- /dev/null +++ b/translations/sl/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Ustvarite časovnico + +## Navodila + +Z uporabo [tega repozitorija](https://github.com/Digital-Humanities-Toolkit/timeline-builder) ustvarite časovnico, ki prikazuje določen vidik zgodovine algoritmov, matematike, statistike, umetne inteligence ali strojnega učenja, ali kombinacijo teh. Osredotočite se lahko na eno osebo, eno idejo ali daljše časovno obdobje razmišljanja. Ne pozabite dodati multimedijskih elementov. + +## Merila ocenjevanja + +| Merilo | Odlično | Zadostno | Potrebno izboljšanje | +| --------| ------------------------------------------------ | --------------------------------------- | -------------------------------------------------------------- | +| | Predstavljena je objavljena časovnica kot GitHub stran | Koda je nepopolna in ni objavljena | Časovnica je nepopolna, slabo raziskana in ni objavljena | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/3-fairness/README.md b/translations/sl/1-Introduction/3-fairness/README.md new file mode 100644 index 00000000..f6a30c7e --- /dev/null +++ b/translations/sl/1-Introduction/3-fairness/README.md @@ -0,0 +1,153 @@ + +# Gradnja rešitev strojnega učenja z odgovorno umetno inteligenco + + +> Sketchnote avtorja [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +V tem učnem načrtu boste začeli odkrivati, kako strojno učenje vpliva na naše vsakdanje življenje. Že zdaj so sistemi in modeli vključeni v vsakodnevne odločitve, kot so zdravstvene diagnoze, odobritve posojil ali odkrivanje goljufij. Zato je pomembno, da ti modeli delujejo zanesljivo in zagotavljajo rezultate, ki jim lahko zaupamo. Tako kot pri vsaki programski aplikaciji tudi sistemi umetne inteligence včasih ne izpolnijo pričakovanj ali privedejo do neželenih rezultatov. Zato je ključno razumeti in pojasniti vedenje modela umetne inteligence. + +Predstavljajte si, kaj se lahko zgodi, če podatki, ki jih uporabljate za gradnjo teh modelov, ne vključujejo določenih demografskih skupin, kot so rasa, spol, politično prepričanje, religija, ali pa so te skupine nesorazmerno zastopane. Kaj pa, če je izhod modela interpretiran tako, da favorizira določeno demografsko skupino? Kakšne so posledice za aplikacijo? Poleg tega, kaj se zgodi, če model povzroči škodljive rezultate? Kdo je odgovoren za vedenje sistema umetne inteligence? To so nekatera vprašanja, ki jih bomo raziskali v tem učnem načrtu. + +V tej lekciji boste: + +- Povečali zavedanje o pomembnosti pravičnosti v strojnem učenju in škodah, povezanih s pravičnostjo. +- Spoznali prakso raziskovanja odstopanj in nenavadnih scenarijev za zagotavljanje zanesljivosti in varnosti. +- Pridobili razumevanje o potrebi po vključevanju vseh z oblikovanjem inkluzivnih sistemov. +- Raziskali, kako pomembno je varovati zasebnost in varnost podatkov ter ljudi. +- Spoznali pomen pristopa "steklene škatle" za pojasnjevanje vedenja modelov umetne inteligence. +- Postali pozorni na to, kako je odgovornost ključna za gradnjo zaupanja v sisteme umetne inteligence. + +## Predpogoj + +Kot predpogoj si oglejte učni načrt "Načela odgovorne umetne inteligence" in si oglejte spodnji video na to temo: + +Več o odgovorni umetni inteligenci lahko izveste s sledenjem temu [učnemu načrtu](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott). + +[](https://youtu.be/dnC8-uUZXSc "Microsoftov pristop k odgovorni umetni inteligenci") + +> 🎥 Kliknite zgornjo sliko za video: Microsoftov pristop k odgovorni umetni inteligenci + +## Pravičnost + +Sistemi umetne inteligence bi morali obravnavati vse enako in se izogibati različnemu vplivu na podobne skupine ljudi. Na primer, ko sistemi umetne inteligence svetujejo pri medicinskem zdravljenju, prošnjah za posojila ali zaposlitvi, bi morali podati enaka priporočila vsem z enakimi simptomi, finančnimi okoliščinami ali poklicnimi kvalifikacijami. Vsak od nas kot človek nosi podedovane pristranskosti, ki vplivajo na naše odločitve in dejanja. Te pristranskosti so lahko vidne v podatkih, ki jih uporabljamo za treniranje sistemov umetne inteligence. Takšna manipulacija se včasih zgodi nenamerno. Pogosto je težko zavestno vedeti, kdaj vnašate pristranskost v podatke. + +**"Nepravičnost"** zajema negativne vplive ali "škode" za skupino ljudi, kot so tiste, opredeljene glede na raso, spol, starost ali status invalidnosti. Glavne škode, povezane s pravičnostjo, lahko razvrstimo kot: + +- **Dodeljevanje**, če je na primer spol ali etnična pripadnost favorizirana pred drugo. +- **Kakovost storitve**. Če trenirate podatke za en specifičen scenarij, vendar je resničnost veliko bolj kompleksna, to vodi do slabo delujoče storitve. Na primer, podajalnik mila, ki ne zazna ljudi s temno kožo. [Referenca](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Omalovaževanje**. Nepravično kritiziranje in označevanje nečesa ali nekoga. Na primer, tehnologija za označevanje slik je zloglasno napačno označila slike temnopolte ljudi kot gorile. +- **Prekomerna ali nezadostna zastopanost**. Ideja, da določena skupina ni vidna v določenem poklicu, in vsaka storitev ali funkcija, ki to še naprej promovira, prispeva k škodi. +- **Stereotipiziranje**. Povezovanje določene skupine s predhodno določenimi lastnostmi. Na primer, sistem za prevajanje med angleščino in turščino lahko vsebuje netočnosti zaradi besed s stereotipnimi povezavami s spolom. + + +> prevod v turščino + + +> prevod nazaj v angleščino + +Pri oblikovanju in testiranju sistemov umetne inteligence moramo zagotoviti, da je umetna inteligenca pravična in ni programirana za sprejemanje pristranskih ali diskriminatornih odločitev, ki jih ljudje prav tako ne smejo sprejemati. Zagotavljanje pravičnosti v umetni inteligenci in strojnem učenju ostaja kompleksen sociotehnični izziv. + +### Zanesljivost in varnost + +Za gradnjo zaupanja morajo biti sistemi umetne inteligence zanesljivi, varni in dosledni v običajnih in nepričakovanih pogojih. Pomembno je vedeti, kako se bodo sistemi umetne inteligence obnašali v različnih situacijah, še posebej, ko gre za odstopanja. Pri gradnji rešitev umetne inteligence je treba nameniti veliko pozornosti temu, kako obravnavati širok spekter okoliščin, s katerimi se lahko srečajo rešitve umetne inteligence. Na primer, avtonomni avtomobil mora postaviti varnost ljudi kot najvišjo prioriteto. Posledično mora umetna inteligenca, ki poganja avtomobil, upoštevati vse možne scenarije, s katerimi se lahko avtomobil sreča, kot so noč, nevihte ali snežni meteži, otroci, ki tečejo čez cesto, hišni ljubljenčki, gradbena dela itd. Kako dobro sistem umetne inteligence obravnava širok spekter pogojev zanesljivo in varno, odraža raven predvidevanja, ki jo je podatkovni znanstvenik ali razvijalec umetne inteligence upošteval med oblikovanjem ali testiranjem sistema. + +> [🎥 Kliknite tukaj za video: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Inkluzivnost + +Sistemi umetne inteligence bi morali biti zasnovani tako, da vključujejo in opolnomočijo vse. Pri oblikovanju in implementaciji sistemov umetne inteligence podatkovni znanstveniki in razvijalci umetne inteligence identificirajo in obravnavajo morebitne ovire v sistemu, ki bi lahko nenamerno izključile ljudi. Na primer, po svetu je 1 milijarda ljudi z invalidnostmi. Z napredkom umetne inteligence lahko dostopajo do širokega spektra informacij in priložnosti bolj enostavno v svojem vsakdanjem življenju. Z odpravljanjem ovir se ustvarjajo priložnosti za inovacije in razvoj izdelkov umetne inteligence z boljšimi izkušnjami, ki koristijo vsem. + +> [🎥 Kliknite tukaj za video: inkluzivnost v umetni inteligenci](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Varnost in zasebnost + +Sistemi umetne inteligence bi morali biti varni in spoštovati zasebnost ljudi. Ljudje manj zaupajo sistemom, ki ogrožajo njihovo zasebnost, informacije ali življenja. Pri treniranju modelov strojnega učenja se zanašamo na podatke za doseganje najboljših rezultatov. Pri tem je treba upoštevati izvor podatkov in njihovo integriteto. Na primer, ali so podatki uporabniško posredovani ali javno dostopni? Poleg tega je med delom s podatki ključno razviti sisteme umetne inteligence, ki lahko zaščitijo zaupne informacije in se uprejo napadom. Ker umetna inteligenca postaja vse bolj razširjena, postaja zaščita zasebnosti in varnost pomembnih osebnih ter poslovnih informacij vse bolj kritična in kompleksna. Zasebnost in varnost podatkov zahtevata posebno pozornost pri umetni inteligenci, saj je dostop do podatkov bistven za to, da sistemi umetne inteligence sprejemajo natančne in informirane napovedi ter odločitve o ljudeh. + +> [🎥 Kliknite tukaj za video: varnost v umetni inteligenci](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Kot industrija smo dosegli pomemben napredek na področju zasebnosti in varnosti, ki ga močno spodbujajo regulacije, kot je GDPR (Splošna uredba o varstvu podatkov). +- Kljub temu moramo pri sistemih umetne inteligence priznati napetost med potrebo po več osebnih podatkih za izboljšanje učinkovitosti sistemov in zasebnostjo. +- Tako kot ob rojstvu povezanih računalnikov z internetom, opažamo tudi velik porast števila varnostnih težav, povezanih z umetno inteligenco. +- Hkrati pa opažamo, da se umetna inteligenca uporablja za izboljšanje varnosti. Na primer, večina sodobnih protivirusnih skenerjev temelji na AI heuristiki. +- Zagotoviti moramo, da se naši procesi podatkovne znanosti harmonično prepletajo z najnovejšimi praksami zasebnosti in varnosti. + +### Transparentnost + +Sistemi umetne inteligence bi morali biti razumljivi. Ključni del transparentnosti je pojasnjevanje vedenja sistemov umetne inteligence in njihovih komponent. Izboljšanje razumevanja sistemov umetne inteligence zahteva, da deležniki razumejo, kako in zakaj delujejo, da lahko identificirajo morebitne težave z zmogljivostjo, varnostjo in zasebnostjo, pristranskosti, izključujoče prakse ali nenamerne rezultate. Prav tako verjamemo, da bi morali biti tisti, ki uporabljajo sisteme umetne inteligence, iskreni in odkriti glede tega, kdaj, zakaj in kako se odločijo za njihovo uporabo. Prav tako morajo pojasniti omejitve sistemov, ki jih uporabljajo. Na primer, če banka uporablja sistem umetne inteligence za podporo pri odločanju o potrošniških posojilih, je pomembno preučiti rezultate in razumeti, kateri podatki vplivajo na priporočila sistema. Vlade začenjajo regulirati umetno inteligenco v različnih industrijah, zato morajo podatkovni znanstveniki in organizacije pojasniti, ali sistem umetne inteligence izpolnjuje regulativne zahteve, še posebej, ko pride do neželenega rezultata. + +> [🎥 Kliknite tukaj za video: transparentnost v umetni inteligenci](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Ker so sistemi umetne inteligence tako kompleksni, je težko razumeti, kako delujejo in interpretirati rezultate. +- To pomanjkanje razumevanja vpliva na način upravljanja, operacionalizacije in dokumentiranja teh sistemov. +- Še pomembneje pa to pomanjkanje razumevanja vpliva na odločitve, sprejete na podlagi rezultatov, ki jih ti sistemi proizvajajo. + +### Odgovornost + +Ljudje, ki oblikujejo in uvajajo sisteme umetne inteligence, morajo biti odgovorni za delovanje svojih sistemov. Potreba po odgovornosti je še posebej ključna pri občutljivih tehnologijah, kot je prepoznavanje obrazov. V zadnjem času se povečuje povpraševanje po tehnologiji prepoznavanja obrazov, zlasti s strani organov pregona, ki vidijo potencial tehnologije pri uporabi, kot je iskanje pogrešanih otrok. Vendar pa bi te tehnologije lahko potencialno uporabila vlada za ogrožanje temeljnih svoboščin svojih državljanov, na primer z omogočanjem neprekinjenega nadzora določenih posameznikov. Zato morajo podatkovni znanstveniki in organizacije prevzeti odgovornost za to, kako njihov sistem umetne inteligence vpliva na posameznike ali družbo. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoftov pristop k odgovorni umetni inteligenci") + +> 🎥 Kliknite zgornjo sliko za video: Opozorila o množičnem nadzoru prek prepoznavanja obrazov + +Na koncu je eno največjih vprašanj naše generacije, kot prve generacije, ki prinaša umetno inteligenco v družbo, kako zagotoviti, da bodo računalniki ostali odgovorni ljudem in kako zagotoviti, da bodo ljudje, ki oblikujejo računalnike, ostali odgovorni vsem drugim. + +## Ocena vpliva + +Pred treniranjem modela strojnega učenja je pomembno izvesti oceno vpliva, da razumemo namen sistema umetne inteligence; kakšna je predvidena uporaba; kje bo uveden; in kdo bo interagiral s sistemom. To je koristno za pregledovalce ali preizkuševalce, ki ocenjujejo sistem, da vedo, katere dejavnike je treba upoštevati pri prepoznavanju morebitnih tveganj in pričakovanih posledic. + +Naslednja področja so v ospredju pri izvajanju ocene vpliva: + +* **Negativen vpliv na posameznike**. Zavedanje o kakršnih koli omejitvah ali zahtevah, nepodprti uporabi ali znanih omejitvah, ki ovirajo delovanje sistema, je ključno za zagotovitev, da sistem ni uporabljen na način, ki bi lahko škodoval posameznikom. +* **Zahteve glede podatkov**. Razumevanje, kako in kje bo sistem uporabljal podatke, omogoča pregledovalcem, da raziščejo morebitne zahteve glede podatkov, na katere morate biti pozorni (npr. GDPR ali HIPPA regulacije podatkov). Poleg tega preučite, ali je vir ali količina podatkov zadostna za treniranje. +* **Povzetek vpliva**. Zberite seznam morebitnih škod, ki bi lahko nastale zaradi uporabe sistema. Skozi življenjski cikel strojnega učenja preverite, ali so identificirane težave ublažene ali obravnavane. +* **Ustrezni cilji** za vsako od šestih temeljnih načel. Ocenite, ali so cilji iz vsakega načela doseženi in ali obstajajo kakršne koli vrzeli. + +## Odpravljanje napak z odgovorno umetno inteligenco + +Podobno kot odpravljanje napak v programski aplikaciji je odpravljanje napak v sistemu umetne inteligence nujen proces prepoznavanja in reševanja težav v sistemu. Obstaja veliko dejavnikov, ki lahko vplivajo na to, da model ne deluje, kot je pričakovano ali odgovorno. Večina tradicionalnih metrik zmogljivosti modela so kvantitativni agregati zmogljivosti modela, ki niso dovolj za analizo, kako model krši načela odgovorne umetne inteligence. Poleg tega je model strojnega učenja črna škatla, kar otežuje razumevanje, kaj vodi do njegovih rezultatov ali zagotavljanje pojasnil, ko naredi napako. Kasneje v tem tečaju se bomo naučili, kako uporabljati nadzorno ploščo odgovorne umetne inteligence za pomoč pri odpravljanju napak v sistemih umetne inteligence. Nadzorna plošča zagotavlja celovit pripomoček za podatkovne znanstvenike in razvijalce umetne inteligence za izvajanje: + +* **Analiza napak**. Za prepoznavanje porazdelitve napak modela, ki lahko vplivajo na pravičnost ali zanesljivost sistema. +* **Pregled modela**. Za odkrivanje, kje obstajajo razlike v zmogljivosti modela med podatkovnimi skupinami. +* **Analiza podatkov**. Za razumevanje porazdelitve podatkov in prepoznavanje morebitne pristranskosti v podatkih, ki bi lahko povzročila težave s pravi +Oglejte si ta delavnico za poglobitev v teme: + +- Na poti do odgovorne umetne inteligence: Prenos načel v prakso, avtorji Besmira Nushi, Mehrnoosh Sameki in Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Odprtokodni okvir za gradnjo odgovorne umetne inteligence") + +> 🎥 Kliknite zgornjo sliko za video: RAI Toolbox: Odprtokodni okvir za gradnjo odgovorne umetne inteligence, avtorji Besmira Nushi, Mehrnoosh Sameki in Amit Sharma + +Preberite tudi: + +- Microsoftov center virov za RAI: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Microsoftova raziskovalna skupina FATE: [FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [GitHub repozitorij Responsible AI Toolbox](https://github.com/microsoft/responsible-ai-toolbox) + +Preberite o orodjih Azure Machine Learning za zagotavljanje pravičnosti: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## Naloga + +[Raziščite RAI Toolbox](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/3-fairness/assignment.md b/translations/sl/1-Introduction/3-fairness/assignment.md new file mode 100644 index 00000000..1ceac83a --- /dev/null +++ b/translations/sl/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,25 @@ + +# Raziskovanje orodja Responsible AI Toolbox + +## Navodila + +V tej lekciji ste spoznali orodje Responsible AI Toolbox, "projekt odprte kode, ki ga vodi skupnost, z namenom pomagati podatkovnim znanstvenikom analizirati in izboljšati sisteme umetne inteligence." Za to nalogo raziščite enega od [zvezkov](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) orodja RAI Toolbox in svoje ugotovitve predstavite v obliki poročila ali predstavitve. + +## Merila ocenjevanja + +| Merila | Odlično | Zadostno | Potrebne izboljšave | +| ------- | -------- | -------- | ------------------- | +| | Predstavljeno je poročilo ali PowerPoint predstavitev, ki obravnava sisteme Fairlearn, zvezek, ki je bil izveden, in sklepe, ki so bili sprejeti na podlagi izvedbe | Predstavljeno je poročilo brez sklepov | Poročilo ni predstavljeno | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitne nesporazume ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/4-techniques-of-ML/README.md b/translations/sl/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 00000000..7b069cc1 --- /dev/null +++ b/translations/sl/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,132 @@ + +# Tehnike strojnega učenja + +Proces gradnje, uporabe in vzdrževanja modelov strojnega učenja ter podatkov, ki jih uporabljajo, se močno razlikuje od mnogih drugih razvojnih delovnih tokov. V tej lekciji bomo razjasnili ta proces in predstavili glavne tehnike, ki jih morate poznati. Naučili se boste: + +- Razumeti procese, ki so osnova strojnega učenja na visoki ravni. +- Raziskati osnovne koncepte, kot so 'modeli', 'napovedi' in 'podatki za učenje'. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +[](https://youtu.be/4NGM0U2ZSHU "ML za začetnike - Tehnike strojnega učenja") + +> 🎥 Kliknite zgornjo sliko za kratek video, ki obravnava to lekcijo. + +## Uvod + +Na visoki ravni je proces ustvarjanja strojnega učenja (ML) sestavljen iz več korakov: + +1. **Odločite se za vprašanje**. Večina procesov ML se začne z vprašanjem, na katerega ni mogoče odgovoriti z enostavnim pogojnim programom ali sistemom, ki temelji na pravilih. Ta vprašanja se pogosto vrtijo okoli napovedi na podlagi zbirke podatkov. +2. **Zberite in pripravite podatke**. Da bi lahko odgovorili na svoje vprašanje, potrebujete podatke. Kakovost in včasih količina vaših podatkov bosta določili, kako dobro lahko odgovorite na začetno vprašanje. Vizualizacija podatkov je pomemben vidik te faze. Ta faza vključuje tudi razdelitev podatkov na skupino za učenje in testiranje za gradnjo modela. +3. **Izberite metodo učenja**. Glede na vaše vprašanje in naravo podatkov morate izbrati način, kako želite model naučiti, da bo najbolje odražal vaše podatke in podajal natančne napovedi. Ta del procesa ML zahteva specifično strokovno znanje in pogosto veliko eksperimentiranja. +4. **Naučite model**. Z uporabo podatkov za učenje boste uporabili različne algoritme za učenje modela, da prepozna vzorce v podatkih. Model lahko uporablja notranje uteži, ki jih je mogoče prilagoditi, da daje prednost določenim delom podatkov pred drugimi, da zgradi boljši model. +5. **Ocenite model**. Uporabite podatke, ki jih model še ni videl (vaše testne podatke), da preverite, kako se model obnese. +6. **Prilagodite parametre**. Na podlagi uspešnosti modela lahko proces ponovite z različnimi parametri ali spremenljivkami, ki nadzorujejo vedenje algoritmov, uporabljenih za učenje modela. +7. **Napovedujte**. Uporabite nove vnose za testiranje natančnosti vašega modela. + +## Kakšno vprašanje zastaviti + +Računalniki so še posebej spretni pri odkrivanju skritih vzorcev v podatkih. Ta uporabnost je zelo koristna za raziskovalce, ki imajo vprašanja o določenem področju, na katera ni mogoče enostavno odgovoriti z ustvarjanjem sistema, ki temelji na pogojnih pravilih. Pri aktuarskih nalogah, na primer, bi lahko podatkovni znanstvenik oblikoval ročno izdelana pravila o smrtnosti kadilcev v primerjavi z nekadilci. + +Ko pa v enačbo vključimo veliko drugih spremenljivk, se lahko model ML izkaže za bolj učinkovitega pri napovedovanju prihodnjih stopenj smrtnosti na podlagi pretekle zdravstvene zgodovine. Bolj vesel primer bi lahko bila napoved vremena za mesec april na določenem območju na podlagi podatkov, ki vključujejo zemljepisno širino, dolžino, podnebne spremembe, bližino oceana, vzorce zračnih tokov in še več. + +✅ Ta [predstavitev](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) o vremenskih modelih ponuja zgodovinski pogled na uporabo ML pri analizi vremena. + +## Naloge pred gradnjo + +Preden začnete graditi svoj model, morate opraviti več nalog. Da bi preizkusili svoje vprašanje in oblikovali hipotezo na podlagi napovedi modela, morate identificirati in konfigurirati več elementov. + +### Podatki + +Da bi lahko odgovorili na svoje vprašanje z določeno stopnjo gotovosti, potrebujete zadostno količino podatkov ustrezne vrste. Na tej točki morate storiti dve stvari: + +- **Zberite podatke**. Ob upoštevanju prejšnje lekcije o pravičnosti pri analizi podatkov zbirajte podatke skrbno. Bodite pozorni na vire teh podatkov, morebitne inherentne pristranskosti in dokumentirajte njihov izvor. +- **Pripravite podatke**. Obstaja več korakov v procesu priprave podatkov. Morda boste morali združiti podatke in jih normalizirati, če prihajajo iz različnih virov. Kakovost in količino podatkov lahko izboljšate z različnimi metodami, kot je pretvorba nizov v številke (kot to počnemo pri [Gručenju](../../5-Clustering/1-Visualize/README.md)). Morda boste ustvarili nove podatke na podlagi izvirnih (kot to počnemo pri [Klasifikaciji](../../4-Classification/1-Introduction/README.md)). Podatke lahko očistite in uredite (kot bomo storili pred lekcijo o [Spletni aplikaciji](../../3-Web-App/README.md)). Na koncu jih boste morda morali naključno razporediti in premešati, odvisno od vaših tehnik učenja. + +✅ Po zbiranju in obdelavi podatkov si vzemite trenutek, da preverite, ali njihova oblika omogoča obravnavo zastavljenega vprašanja. Morda se izkaže, da podatki ne bodo dobro delovali pri vaši nalogi, kot odkrijemo v naših lekcijah o [Gručenju](../../5-Clustering/1-Visualize/README.md)! + +### Značilnosti in cilj + +[Značilnost](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) je merljiva lastnost vaših podatkov. V mnogih podatkovnih nizih je izražena kot naslov stolpca, kot so 'datum', 'velikost' ali 'barva'. Vaša spremenljivka značilnosti, običajno predstavljena kot `X` v kodi, predstavlja vhodno spremenljivko, ki bo uporabljena za učenje modela. + +Cilj je stvar, ki jo poskušate napovedati. Cilj, običajno predstavljen kot `y` v kodi, predstavlja odgovor na vprašanje, ki ga poskušate zastaviti svojim podatkom: v decembru, kakšne **barve** bodo najcenejše buče? v San Franciscu, katera soseska bo imela najboljšo ceno **nepremičnin**? Včasih se cilj imenuje tudi atribut oznake. + +### Izbor spremenljivke značilnosti + +🎓 **Izbor značilnosti in ekstrakcija značilnosti** Kako veste, katero spremenljivko izbrati pri gradnji modela? Verjetno boste šli skozi proces izbora značilnosti ali ekstrakcije značilnosti, da izberete prave spremenljivke za najbolj zmogljiv model. Vendar pa to ni isto: "Ekstrakcija značilnosti ustvarja nove značilnosti iz funkcij izvirnih značilnosti, medtem ko izbor značilnosti vrne podmnožico značilnosti." ([vir](https://wikipedia.org/wiki/Feature_selection)) + +### Vizualizirajte svoje podatke + +Pomemben vidik orodij podatkovnega znanstvenika je moč vizualizacije podatkov z uporabo več odličnih knjižnic, kot sta Seaborn ali MatPlotLib. Vizualizacija podatkov vam lahko omogoči odkrivanje skritih korelacij, ki jih lahko izkoristite. Vaše vizualizacije vam lahko pomagajo tudi pri odkrivanju pristranskosti ali neuravnoteženih podatkov (kot odkrijemo pri [Klasifikaciji](../../4-Classification/2-Classifiers-1/README.md)). + +### Razdelite svoj podatkovni niz + +Pred učenjem morate razdeliti svoj podatkovni niz na dva ali več delov neenake velikosti, ki še vedno dobro predstavljajo podatke. + +- **Učenje**. Ta del podatkovnega niza se prilega vašemu modelu, da ga nauči. Ta niz predstavlja večino izvirnega podatkovnega niza. +- **Testiranje**. Testni podatkovni niz je neodvisna skupina podatkov, pogosto pridobljena iz izvirnih podatkov, ki jo uporabite za potrditev uspešnosti zgrajenega modela. +- **Validacija**. Validacijski niz je manjša neodvisna skupina primerov, ki jo uporabite za prilagoditev hiperparametrov ali arhitekture modela, da izboljšate model. Glede na velikost vaših podatkov in vprašanje, ki ga zastavljate, morda ne boste potrebovali gradnje tega tretjega niza (kot ugotavljamo pri [Napovedovanju časovnih vrst](../../7-TimeSeries/1-Introduction/README.md)). + +## Gradnja modela + +Z uporabo podatkov za učenje je vaš cilj zgraditi model ali statistično predstavitev vaših podatkov z uporabo različnih algoritmov za **učenje**. Učenje modela ga izpostavi podatkom in mu omogoči, da naredi predpostavke o zaznanih vzorcih, ki jih odkrije, potrdi in sprejme ali zavrne. + +### Odločite se za metodo učenja + +Glede na vaše vprašanje in naravo podatkov boste izbrali metodo za učenje. Če preučite [dokumentacijo Scikit-learn](https://scikit-learn.org/stable/user_guide.html) - ki jo uporabljamo v tem tečaju - lahko raziščete številne načine za učenje modela. Glede na vaše izkušnje boste morda morali preizkusiti več različnih metod, da zgradite najboljši model. Verjetno boste šli skozi proces, pri katerem podatkovni znanstveniki ocenjujejo uspešnost modela z uporabo podatkov, ki jih model še ni videl, preverjajo natančnost, pristranskost in druge težave, ki zmanjšujejo kakovost, ter izbirajo najbolj primerno metodo učenja za obravnavano nalogo. + +### Naučite model + +Oboroženi s podatki za učenje ste pripravljeni, da jih 'prilagodite' za ustvarjanje modela. Opazili boste, da v mnogih knjižnicah ML najdete kodo 'model.fit' - to je trenutek, ko pošljete svojo spremenljivko značilnosti kot niz vrednosti (običajno 'X') in ciljno spremenljivko (običajno 'y'). + +### Ocenite model + +Ko je proces učenja zaključen (za učenje velikega modela lahko traja veliko iteracij ali 'epoh'), boste lahko ocenili kakovost modela z uporabo testnih podatkov za oceno njegove uspešnosti. Ti podatki so podmnožica izvirnih podatkov, ki jih model še ni analiziral. Lahko natisnete tabelo metrik o kakovosti vašega modela. + +🎓 **Prilagajanje modela** + +V kontekstu strojnega učenja prilagajanje modela pomeni natančnost osnovne funkcije modela, ko poskuša analizirati podatke, s katerimi ni seznanjen. + +🎓 **Premalo prilagajanje** in **prekomerno prilagajanje** sta pogosti težavi, ki zmanjšujeta kakovost modela, saj se model prilagodi bodisi premalo bodisi preveč. To povzroči, da model podaja napovedi bodisi preveč usklajene bodisi premalo usklajene s podatki za učenje. Prekomerno prilagojen model preveč dobro napoveduje podatke za učenje, ker se je preveč naučil podrobnosti in šuma podatkov. Premalo prilagojen model ni natančen, saj ne more natančno analizirati niti podatkov za učenje niti podatkov, ki jih še ni 'videl'. + + +> Infografika avtorice [Jen Looper](https://twitter.com/jenlooper) + +## Prilagoditev parametrov + +Ko je vaše začetno učenje zaključeno, opazujte kakovost modela in razmislite o izboljšanju z nastavitvijo njegovih 'hiperparametrov'. Več o procesu preberite [v dokumentaciji](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Napovedovanje + +To je trenutek, ko lahko uporabite popolnoma nove podatke za testiranje natančnosti vašega modela. V 'aplikativnem' okolju ML, kjer gradite spletne aplikacije za uporabo modela v produkciji, lahko ta proces vključuje zbiranje uporabniških vnosov (na primer pritisk na gumb), da nastavite spremenljivko in jo pošljete modelu za sklepanje ali oceno. + +V teh lekcijah boste odkrili, kako uporabiti te korake za pripravo, gradnjo, testiranje, ocenjevanje in napovedovanje - vse korake podatkovnega znanstvenika in še več, ko napredujete na svoji poti, da postanete 'full stack' inženir strojnega učenja. + +--- + +## 🚀Izziv + +Narišite diagram poteka, ki odraža korake strokovnjaka za strojno učenje. Kje se trenutno vidite v procesu? Kje predvidevate, da boste imeli težave? Kaj se vam zdi enostavno? + +## [Kviz po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Poiščite spletne intervjuje s podatkovnimi znanstveniki, ki razpravljajo o svojem vsakdanjem delu. Tukaj je [eden](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Naloga + +[Intervjuirajte podatkovnega znanstvenika](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitne nesporazume ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/4-techniques-of-ML/assignment.md b/translations/sl/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 00000000..3d14b9f4 --- /dev/null +++ b/translations/sl/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Intervju z podatkovnim znanstvenikom + +## Navodila + +V vašem podjetju, uporabniški skupini ali med prijatelji ali sošolci se pogovorite z nekom, ki profesionalno dela kot podatkovni znanstvenik. Napišite kratko poročilo (500 besed) o njihovih vsakodnevnih nalogah. Ali so specialisti ali delajo 'full stack'? + +## Merila + +| Merilo | Odlično | Zadostno | Potrebno izboljšanje | +| --------| ----------------------------------------------------------------------------------- | ----------------------------------------------------------------- | --------------------- | +| | Esej ustrezne dolžine, z navedenimi viri, je predstavljen kot .doc datoteka | Esej je slabo naveden ali krajši od zahtevane dolžine | Esej ni predstavljen | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/1-Introduction/README.md b/translations/sl/1-Introduction/README.md new file mode 100644 index 00000000..22333b74 --- /dev/null +++ b/translations/sl/1-Introduction/README.md @@ -0,0 +1,37 @@ + +# Uvod v strojno učenje + +V tem delu učnega načrta boste spoznali osnovne koncepte, ki so temelj področja strojnega učenja, kaj to je, ter se seznanili z njegovo zgodovino in tehnikami, ki jih raziskovalci uporabljajo pri delu z njim. Raziskujmo ta novi svet strojnega učenja skupaj! + + +> Fotografija avtorja Bill Oxford na Unsplash + +### Lekcije + +1. [Uvod v strojno učenje](1-intro-to-ML/README.md) +1. [Zgodovina strojnega učenja in umetne inteligence](2-history-of-ML/README.md) +1. [Pravičnost in strojno učenje](3-fairness/README.md) +1. [Tehnike strojnega učenja](4-techniques-of-ML/README.md) + +### Zasluge + +"Uvod v strojno učenje" je bil napisan z ♥️ s strani ekipe, ki vključuje [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) in [Jen Looper](https://twitter.com/jenlooper) + +"Zgodovina strojnega učenja" je bila napisana z ♥️ s strani [Jen Looper](https://twitter.com/jenlooper) in [Amy Boyd](https://twitter.com/AmyKateNicho) + +"Pravičnost in strojno učenje" je bila napisana z ♥️ s strani [Tomomi Imura](https://twitter.com/girliemac) + +"Tehnike strojnega učenja" so bile napisane z ♥️ s strani [Jen Looper](https://twitter.com/jenlooper) in [Chris Noring](https://twitter.com/softchris) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/1-Tools/README.md b/translations/sl/2-Regression/1-Tools/README.md new file mode 100644 index 00000000..445d57cd --- /dev/null +++ b/translations/sl/2-Regression/1-Tools/README.md @@ -0,0 +1,239 @@ + +# Začnite s Pythonom in Scikit-learn za regresijske modele + + + +> Sketchnote avtorja [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Predavanje kviz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [To lekcijo lahko najdete tudi v jeziku R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Uvod + +V teh štirih lekcijah boste odkrili, kako zgraditi regresijske modele. Kmalu bomo razpravljali, za kaj so ti modeli uporabni. Preden pa začnete, poskrbite, da imate na voljo ustrezna orodja za začetek procesa! + +V tej lekciji boste izvedeli, kako: + +- Pripraviti računalnik za lokalne naloge strojnega učenja. +- Delati z Jupyter zvezki. +- Uporabljati Scikit-learn, vključno z namestitvijo. +- Raziskati linearno regresijo s praktično vajo. + +## Namestitve in konfiguracije + +[](https://youtu.be/-DfeD2k2Kj0 "ML za začetnike - Pripravite orodja za gradnjo modelov strojnega učenja") + +> 🎥 Kliknite zgornjo sliko za kratek video o konfiguraciji računalnika za strojno učenje. + +1. **Namestite Python**. Prepričajte se, da je [Python](https://www.python.org/downloads/) nameščen na vašem računalniku. Python boste uporabljali za številne naloge podatkovne znanosti in strojnega učenja. Večina računalniških sistemov že vključuje namestitev Pythona. Na voljo so tudi uporabni [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott), ki olajšajo nastavitev za nekatere uporabnike. + + Nekatere uporabe Pythona pa zahtevajo eno različico programske opreme, druge pa drugo. Zato je koristno delati v [virtualnem okolju](https://docs.python.org/3/library/venv.html). + +2. **Namestite Visual Studio Code**. Prepričajte se, da imate na računalniku nameščen Visual Studio Code. Sledite tem navodilom za [namestitev Visual Studio Code](https://code.visualstudio.com/) za osnovno namestitev. Python boste uporabljali v Visual Studio Code v tem tečaju, zato se morda želite seznaniti z [nastavitvijo Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) za razvoj v Pythonu. + + > Seznanite se s Pythonom z delom skozi to zbirko [učnih modulov](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Nastavitev Pythona z Visual Studio Code") + > + > 🎥 Kliknite zgornjo sliko za video: uporaba Pythona v VS Code. + +3. **Namestite Scikit-learn**, tako da sledite [tem navodilom](https://scikit-learn.org/stable/install.html). Ker morate zagotoviti uporabo Pythona 3, je priporočljivo, da uporabite virtualno okolje. Če to knjižnico nameščate na računalnik Mac z M1, so na zgoraj navedeni strani posebna navodila. + +4. **Namestite Jupyter Notebook**. Potrebovali boste [namestitev paketa Jupyter](https://pypi.org/project/jupyter/). + +## Vaše okolje za avtorstvo ML + +Uporabljali boste **zvezke** za razvoj kode v Pythonu in ustvarjanje modelov strojnega učenja. Ta vrsta datoteke je pogosto orodje za podatkovne znanstvenike, prepoznate pa jih po priponi `.ipynb`. + +Zvezki so interaktivno okolje, ki razvijalcu omogoča tako kodiranje kot dodajanje opomb in pisanje dokumentacije okoli kode, kar je zelo uporabno za eksperimentalne ali raziskovalno usmerjene projekte. + +[](https://youtu.be/7E-jC8FLA2E "ML za začetnike - Nastavitev Jupyter zvezkov za začetek gradnje regresijskih modelov") + +> 🎥 Kliknite zgornjo sliko za kratek video o tej vaji. + +### Vaja - delo z zvezkom + +V tej mapi boste našli datoteko _notebook.ipynb_. + +1. Odprite _notebook.ipynb_ v Visual Studio Code. + + Začel se bo Jupyter strežnik s Pythonom 3+. V zvezku boste našli območja, ki jih je mogoče `zagnati`, torej dele kode. Kodo lahko zaženete tako, da izberete ikono, ki izgleda kot gumb za predvajanje. + +2. Izberite ikono `md` in dodajte nekaj markdowna ter naslednje besedilo **# Dobrodošli v vašem zvezku**. + + Nato dodajte nekaj kode v Pythonu. + +3. Vnesite **print('hello notebook')** v blok kode. +4. Izberite puščico za zagon kode. + + Videti bi morali natisnjeno izjavo: + + ```output + hello notebook + ``` + + + +Kodo lahko prepletate z opombami, da sami dokumentirate zvezek. + +✅ Razmislite za trenutek, kako se delovno okolje spletnega razvijalca razlikuje od okolja podatkovnega znanstvenika. + +## Začetek dela s Scikit-learn + +Zdaj, ko je Python nastavljen v vašem lokalnem okolju in ste seznanjeni z Jupyter zvezki, se enako seznanimo s Scikit-learn (izgovorjava `sci` kot v `science`). Scikit-learn ponuja [obsežen API](https://scikit-learn.org/stable/modules/classes.html#api-ref) za izvajanje nalog strojnega učenja. + +Po navedbah njihove [spletne strani](https://scikit-learn.org/stable/getting_started.html) je "Scikit-learn odprtokodna knjižnica strojnega učenja, ki podpira nadzorovano in nenadzorovano učenje. Prav tako ponuja različna orodja za prileganje modelov, predobdelavo podatkov, izbiro modelov in ocenjevanje ter številne druge pripomočke." + +V tem tečaju boste uporabljali Scikit-learn in druga orodja za gradnjo modelov strojnega učenja za izvajanje nalog, ki jih imenujemo 'tradicionalno strojno učenje'. Namenoma smo se izognili nevronskim mrežam in globokemu učenju, saj so bolje obravnavani v našem prihajajočem učnem načrtu 'AI za začetnike'. + +Scikit-learn omogoča enostavno gradnjo modelov in njihovo ocenjevanje za uporabo. Osredotoča se predvsem na uporabo numeričnih podatkov in vsebuje več pripravljenih naborov podatkov za uporabo kot učna orodja. Prav tako vključuje vnaprej pripravljene modele, ki jih lahko študentje preizkusijo. Raziskujmo proces nalaganja vnaprej pripravljenih podatkov in uporabe vgrajenega ocenjevalnika za prvi ML model s Scikit-learn z osnovnimi podatki. + +## Vaja - vaš prvi zvezek s Scikit-learn + +> Ta vadnica je bila navdihnjena z [primerom linearne regresije](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) na spletni strani Scikit-learn. + + +[](https://youtu.be/2xkXL5EUpS0 "ML za začetnike - Vaš prvi projekt linearne regresije v Pythonu") + +> 🎥 Kliknite zgornjo sliko za kratek video o tej vaji. + +V datoteki _notebook.ipynb_, povezani s to lekcijo, izbrišite vse celice s pritiskom na ikono 'koš za smeti'. + +V tem razdelku boste delali z majhnim naborom podatkov o sladkorni bolezni, ki je vgrajen v Scikit-learn za učne namene. Predstavljajte si, da želite preizkusiti zdravljenje za bolnike s sladkorno boleznijo. Modeli strojnega učenja vam lahko pomagajo določiti, kateri bolniki bi se bolje odzvali na zdravljenje, na podlagi kombinacij spremenljivk. Tudi zelo osnovni regresijski model, ko je vizualiziran, lahko pokaže informacije o spremenljivkah, ki bi vam pomagale organizirati teoretične klinične preizkuse. + +✅ Obstaja veliko vrst regresijskih metod, izbira pa je odvisna od vprašanja, na katerega želite odgovoriti. Če želite napovedati verjetno višino osebe določene starosti, bi uporabili linearno regresijo, saj iščete **numerično vrednost**. Če vas zanima, ali naj se določena vrsta kuhinje šteje za vegansko ali ne, iščete **kategorijsko dodelitev**, zato bi uporabili logistično regresijo. Kasneje boste izvedeli več o logistični regresiji. Razmislite o nekaterih vprašanjih, ki jih lahko postavite podatkom, in kateri od teh metod bi bila bolj primerna. + +Začnimo s to nalogo. + +### Uvoz knjižnic + +Za to nalogo bomo uvozili nekaj knjižnic: + +- **matplotlib**. To je uporabno [orodje za risanje grafov](https://matplotlib.org/), ki ga bomo uporabili za ustvarjanje linijskega grafa. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) je uporabna knjižnica za obdelavo numeričnih podatkov v Pythonu. +- **sklearn**. To je [knjižnica Scikit-learn](https://scikit-learn.org/stable/user_guide.html). + +Uvozite nekaj knjižnic za pomoč pri nalogah. + +1. Dodajte uvoze z vnosom naslednje kode: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Zgornja koda uvaža `matplotlib`, `numpy` in `datasets`, `linear_model` ter `model_selection` iz `sklearn`. `model_selection` se uporablja za razdelitev podatkov na učne in testne sklope. + +### Nabor podatkov o sladkorni bolezni + +Vgrajeni [nabor podatkov o sladkorni bolezni](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) vključuje 442 vzorcev podatkov o sladkorni bolezni z 10 značilnimi spremenljivkami, med katerimi so nekatere: + +- starost: starost v letih +- bmi: indeks telesne mase +- bp: povprečni krvni tlak +- s1 tc: T-celice (vrsta belih krvnih celic) + +✅ Ta nabor podatkov vključuje koncept 'spola' kot značilne spremenljivke, pomembne za raziskave o sladkorni bolezni. Številni medicinski nabori podatkov vključujejo tovrstno binarno klasifikacijo. Razmislite, kako bi lahko takšne kategorizacije izključile določene dele populacije iz zdravljenja. + +Zdaj naložite podatke X in y. + +> 🎓 Ne pozabite, da gre za nadzorovano učenje, zato potrebujemo imenovan cilj 'y'. + +V novi celici kode naložite nabor podatkov o sladkorni bolezni z uporabo `load_diabetes()`. Vhod `return_X_y=True` signalizira, da bo `X` matrika podatkov, `y` pa regresijski cilj. + +1. Dodajte nekaj ukazov za izpis, da prikažete obliko matrike podatkov in njen prvi element: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Kar dobite kot odgovor, je nabor. Prva dva vrednosti nabora dodelite `X` in `y`. Več o [naborih](https://wikipedia.org/wiki/Tuple) lahko izveste tukaj. + + Vidite lahko, da ti podatki vsebujejo 442 elementov, oblikovanih v poljih z 10 elementi: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Razmislite o razmerju med podatki in regresijskim ciljem. Linearna regresija napoveduje razmerja med značilnostjo X in ciljno spremenljivko y. Ali lahko v dokumentaciji najdete [cilj](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) za nabor podatkov o sladkorni bolezni? Kaj ta nabor podatkov prikazuje, glede na cilj? + +2. Nato izberite del tega nabora podatkov za risanje tako, da izberete 3. stolpec nabora podatkov. To lahko storite z uporabo operatorja `:` za izbiro vseh vrstic, nato pa izberete 3. stolpec z uporabo indeksa (2). Podatke lahko preoblikujete v 2D matriko - kot je potrebno za risanje - z uporabo `reshape(n_rows, n_columns)`. Če je eden od parametrov -1, se ustrezna dimenzija izračuna samodejno. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ Kadarkoli natisnite podatke, da preverite njihovo obliko. + +3. Zdaj, ko imate podatke pripravljene za risanje, lahko preverite, ali lahko stroj pomaga določiti logično ločnico med številkami v tem naboru podatkov. Za to morate razdeliti tako podatke (X) kot cilj (y) na testne in učne sklope. Scikit-learn ima preprost način za to; testne podatke lahko razdelite na določenem mestu. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Zdaj ste pripravljeni na učenje modela! Naložite model linearne regresije in ga naučite z učnimi sklopi X in y z uporabo `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` je funkcija, ki jo boste videli v številnih knjižnicah ML, kot je TensorFlow. + +5. Nato ustvarite napoved z uporabo testnih podatkov z uporabo funkcije `predict()`. To bo uporabljeno za risanje črte med skupinami podatkov. + + ```python + y_pred = model.predict(X_test) + ``` + +6. Zdaj je čas, da prikažete podatke na grafu. Matplotlib je zelo uporabno orodje za to nalogo. Ustvarite razpršeni grafikon vseh testnih podatkov X in y ter uporabite napoved za risanje črte na najbolj primernem mestu med skupinami podatkov modela. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  +✅ Razmislite malo o tem, kaj se tukaj dogaja. Ravna črta poteka skozi številne majhne točke podatkov, vendar kaj pravzaprav počne? Ali vidite, kako bi morali biti sposobni uporabiti to črto za napovedovanje, kje bi se nova, nevidna podatkovna točka morala uvrstiti glede na y-os grafa? Poskusite z besedami opisati praktično uporabo tega modela. + +Čestitke, izdelali ste svoj prvi model linearne regresije, ustvarili napoved z njim in jo prikazali na grafu! + +--- +## 🚀Izziv + +Prikažite drugo spremenljivko iz tega nabora podatkov. Namig: uredite to vrstico: `X = X[:,2]`. Glede na cilj tega nabora podatkov, kaj lahko odkrijete o napredovanju sladkorne bolezni kot bolezni? +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled & Samostojno učenje + +V tem vodiču ste delali z enostavno linearno regresijo, ne pa z univariatno ali večkratno linearno regresijo. Preberite nekaj o razlikah med temi metodami ali si oglejte [ta video](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef). + +Preberite več o konceptu regresije in razmislite, kakšna vprašanja je mogoče odgovoriti s to tehniko. Vzemite [ta vodič](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott), da poglobite svoje razumevanje. + +## Naloga + +[Drug nabor podatkov](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/1-Tools/assignment.md b/translations/sl/2-Regression/1-Tools/assignment.md new file mode 100644 index 00000000..ecb16ad2 --- /dev/null +++ b/translations/sl/2-Regression/1-Tools/assignment.md @@ -0,0 +1,27 @@ + +# Regresija s Scikit-learn + +## Navodila + +Oglejte si [Linnerudov nabor podatkov](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) v Scikit-learn. Ta nabor podatkov ima več [ciljnih spremenljivk](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset): 'Sestavljen je iz treh vadbenih (podatkovnih) in treh fizioloških (ciljnih) spremenljivk, zbranih pri dvajsetih moških srednjih let v fitnes klubu'. + +Z lastnimi besedami opišite, kako ustvariti regresijski model, ki bi prikazal razmerje med obsegom pasu in številom opravljenih trebušnjakov. Enako naredite za ostale podatkovne točke v tem naboru podatkov. + +## Merila + +| Merilo | Odlično | Zadostno | Potrebna izboljšava | +| ----------------------------- | ------------------------------------- | ---------------------------- | -------------------------- | +| Oddaja opisnega odstavka | Oddan je dobro napisan odstavek | Oddanih je nekaj stavkov | Opis ni priložen | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/1-Tools/solution/Julia/README.md b/translations/sl/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 00000000..384e898d --- /dev/null +++ b/translations/sl/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/2-Data/README.md b/translations/sl/2-Regression/2-Data/README.md new file mode 100644 index 00000000..def071dd --- /dev/null +++ b/translations/sl/2-Regression/2-Data/README.md @@ -0,0 +1,226 @@ + +# Ustvarjanje regresijskega modela s Scikit-learn: priprava in vizualizacija podatkov + + + +Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Predavanje kviz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [To lekcijo lahko najdete tudi v jeziku R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Uvod + +Zdaj, ko imate na voljo orodja za gradnjo modelov strojnega učenja s Scikit-learn, ste pripravljeni začeti postavljati vprašanja svojim podatkom. Pri delu s podatki in uporabi rešitev strojnega učenja je zelo pomembno, da znate postaviti prava vprašanja, da lahko pravilno izkoristite potenciale svojega nabora podatkov. + +V tej lekciji boste spoznali: + +- Kako pripraviti podatke za gradnjo modela. +- Kako uporabiti Matplotlib za vizualizacijo podatkov. + +## Postavljanje pravih vprašanj svojim podatkom + +Vprašanje, na katerega želite odgovor, bo določilo, katere vrste algoritmov strojnega učenja boste uporabili. Kakovost odgovora pa bo močno odvisna od narave vaših podatkov. + +Oglejte si [podatke](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv), ki so na voljo za to lekcijo. Datoteko .csv lahko odprete v programu VS Code. Hiter pregled takoj pokaže, da so prisotne prazne vrednosti ter mešanica nizov in številskih podatkov. Obstaja tudi nenavaden stolpec z imenom 'Package', kjer so podatki mešanica 'sacks', 'bins' in drugih vrednosti. Podatki so pravzaprav precej neurejeni. + +[](https://youtu.be/5qGjczWTrDQ "ML za začetnike - Kako analizirati in očistiti nabor podatkov") + +> 🎥 Kliknite zgornjo sliko za kratek video o pripravi podatkov za to lekcijo. + +Pravzaprav ni pogosto, da dobite nabor podatkov, ki je popolnoma pripravljen za ustvarjanje modela strojnega učenja. V tej lekciji se boste naučili, kako pripraviti surove podatke z uporabo standardnih knjižnic za Python. Spoznali boste tudi različne tehnike za vizualizacijo podatkov. + +## Študija primera: 'trg buč' + +V tej mapi boste našli datoteko .csv v korenski mapi `data`, imenovano [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv), ki vključuje 1757 vrstic podatkov o trgu buč, razvrščenih po mestih. To so surovi podatki, pridobljeni iz [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice), ki jih distribuira Ministrstvo za kmetijstvo ZDA. + +### Priprava podatkov + +Ti podatki so v javni domeni. Na spletni strani USDA jih je mogoče prenesti v številnih ločenih datotekah, po mestih. Da bi se izognili prevelikemu številu ločenih datotek, smo združili vse podatke mest v eno preglednico, kar pomeni, da smo podatke že nekoliko _pripravili_. Zdaj si podrobneje oglejmo podatke. + +### Podatki o bučah - prvi vtisi + +Kaj opazite pri teh podatkih? Že prej ste videli, da gre za mešanico nizov, števil, praznih vrednosti in nenavadnih vrednosti, ki jih morate razumeti. + +Katero vprašanje lahko postavite tem podatkom z uporabo regresijske tehnike? Kaj pa "Napovedovanje cene buče za prodajo v določenem mesecu"? Če ponovno pogledate podatke, boste opazili, da morate narediti nekaj sprememb, da ustvarite strukturo podatkov, potrebno za to nalogo. + +## Vaja - analiza podatkov o bučah + +Uporabimo [Pandas](https://pandas.pydata.org/) (ime pomeni `Python Data Analysis`), zelo uporabno orodje za oblikovanje podatkov, za analizo in pripravo teh podatkov o bučah. + +### Najprej preverite manjkajoče datume + +Najprej boste morali preveriti, ali manjkajo datumi: + +1. Pretvorite datume v mesečni format (to so datumi iz ZDA, zato je format `MM/DD/YYYY`). +2. Izluščite mesec v nov stolpec. + +Odprite datoteko _notebook.ipynb_ v Visual Studio Code in uvozite preglednico v nov Pandas dataframe. + +1. Uporabite funkcijo `head()`, da si ogledate prvih pet vrstic. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Katero funkcijo bi uporabili za ogled zadnjih petih vrstic? + +1. Preverite, ali v trenutnem dataframeu manjkajo podatki: + + ```python + pumpkins.isnull().sum() + ``` + + Manjkajo podatki, vendar morda to ne bo pomembno za nalogo. + +1. Da bo vaš dataframe lažji za delo, izberite samo stolpce, ki jih potrebujete, z uporabo funkcije `loc`, ki iz izvirnega dataframea izlušči skupino vrstic (podanih kot prvi parameter) in stolpcev (podanih kot drugi parameter). Izraz `:` v spodnjem primeru pomeni "vse vrstice". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Drugič, določite povprečno ceno buče + +Razmislite, kako določiti povprečno ceno buče v določenem mesecu. Katere stolpce bi izbrali za to nalogo? Namig: potrebovali boste 3 stolpce. + +Rešitev: vzemite povprečje stolpcev `Low Price` in `High Price`, da napolnite nov stolpec Price, in pretvorite stolpec Date, da prikaže samo mesec. Na srečo, glede na zgornjo preverbo, ni manjkajočih podatkov za datume ali cene. + +1. Za izračun povprečja dodajte naslednjo kodo: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Po želji natisnite katerikoli podatek, ki ga želite preveriti, z uporabo `print(month)`. + +2. Zdaj kopirajte pretvorjene podatke v nov Pandas dataframe: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Če natisnete svoj dataframe, boste videli čist, urejen nabor podatkov, na katerem lahko gradite svoj novi regresijski model. + +### Ampak počakajte! Nekaj je čudnega + +Če pogledate stolpec `Package`, so buče prodane v različnih konfiguracijah. Nekatere so prodane v '1 1/9 bushel' enotah, nekatere v '1/2 bushel' enotah, nekatere na bučo, nekatere na funt, in nekatere v velikih škatlah različnih širin. + +> Zdi se, da je buče zelo težko dosledno tehtati + +Če se poglobite v izvirne podatke, je zanimivo, da imajo vse enote z `Unit of Sale` enako 'EACH' ali 'PER BIN' tudi vrsto `Package` na palec, na bin ali 'each'. Zdi se, da je buče zelo težko dosledno tehtati, zato jih filtrirajmo tako, da izberemo samo buče z nizom 'bushel' v njihovem stolpcu `Package`. + +1. Dodajte filter na vrhu datoteke, pod začetnim uvozom .csv: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Če zdaj natisnete podatke, lahko vidite, da dobite le približno 415 vrstic podatkov, ki vsebujejo buče po buslju. + +### Ampak počakajte! Še nekaj je treba narediti + +Ste opazili, da se količina buslja razlikuje po vrsticah? Potrebno je normalizirati cene, da prikažete cene na buselj, zato naredite nekaj izračunov za standardizacijo. + +1. Dodajte te vrstice po bloku, ki ustvarja dataframe new_pumpkins: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Po podatkih [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308) teža buslja variira glede na vrsto pridelka, saj gre za meritev prostornine. "Buselj paradižnikov, na primer, naj bi tehtal 56 funtov... Listi in zelenjava zavzamejo več prostora z manjšo težo, zato buselj špinače tehta le 20 funtov." Vse skupaj je precej zapleteno! Ne ukvarjajmo se s pretvorbo buslja v funte, ampak raje določimo ceno na buselj. Vse to proučevanje busljev buč pa kaže, kako zelo pomembno je razumeti naravo svojih podatkov! + +Zdaj lahko analizirate cene na enoto glede na njihovo meritev buslja. Če še enkrat natisnete podatke, lahko vidite, kako so standardizirani. + +✅ Ste opazili, da so buče, prodane po pol buslja, zelo drage? Ali lahko ugotovite, zakaj? Namig: majhne buče so veliko dražje od velikih, verjetno zato, ker jih je veliko več na buselj, glede na neizkoriščen prostor, ki ga zavzame ena velika votla buča za pito. + +## Strategije vizualizacije + +Del naloge podatkovnega znanstvenika je prikazati kakovost in naravo podatkov, s katerimi dela. To pogosto dosežejo z ustvarjanjem zanimivih vizualizacij, kot so grafi, diagrami in tabele, ki prikazujejo različne vidike podatkov. Na ta način lahko vizualno prikažejo odnose in vrzeli, ki jih je sicer težko odkriti. + +[](https://youtu.be/SbUkxH6IJo0 "ML za začetnike - Kako vizualizirati podatke z Matplotlib") + +> 🎥 Kliknite zgornjo sliko za kratek video o vizualizaciji podatkov za to lekcijo. + +Vizualizacije lahko pomagajo tudi pri določanju tehnike strojnega učenja, ki je najbolj primerna za podatke. Na primer, raztrosni diagram, ki sledi liniji, kaže, da so podatki primerni za nalogo linearne regresije. + +Ena od knjižnic za vizualizacijo podatkov, ki dobro deluje v Jupyterjevih beležnicah, je [Matplotlib](https://matplotlib.org/) (ki ste jo videli tudi v prejšnji lekciji). + +> Pridobite več izkušenj z vizualizacijo podatkov v [teh vadnicah](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Vaja - eksperimentiranje z Matplotlib + +Poskusite ustvariti osnovne grafe za prikaz novega dataframea, ki ste ga pravkar ustvarili. Kaj bi pokazal osnovni linijski graf? + +1. Uvozite Matplotlib na vrhu datoteke, pod uvozom Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Ponovno zaženite celotno beležnico za osvežitev. +1. Na dnu beležnice dodajte celico za prikaz podatkov kot škatlasti graf: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Ali je ta graf uporaben? Vas kaj na njem preseneča? + + Ni posebej uporaben, saj le prikazuje razpršenost točk v določenem mesecu. + +### Naredimo ga uporabnega + +Da bi grafi prikazovali uporabne podatke, jih običajno morate nekako združiti. Poskusimo ustvariti graf, kjer y-os prikazuje mesece, podatki pa prikazujejo porazdelitev podatkov. + +1. Dodajte celico za ustvarjanje združenega stolpčnega diagrama: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + To je bolj uporabna vizualizacija podatkov! Zdi se, da kaže, da so najvišje cene buč v septembru in oktobru. Ali to ustreza vašim pričakovanjem? Zakaj ali zakaj ne? + +--- + +## 🚀Izziv + +Raziščite različne vrste vizualizacij, ki jih ponuja Matplotlib. Katere vrste so najbolj primerne za regresijske probleme? + +## [Kviz po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Oglejte si različne načine vizualizacije podatkov. Naredite seznam različnih knjižnic, ki so na voljo, in zabeležite, katere so najboljše za določene vrste nalog, na primer 2D vizualizacije v primerjavi s 3D vizualizacijami. Kaj odkrijete? + +## Naloga + +[Raziskovanje vizualizacije](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/2-Data/assignment.md b/translations/sl/2-Regression/2-Data/assignment.md new file mode 100644 index 00000000..2cfde65d --- /dev/null +++ b/translations/sl/2-Regression/2-Data/assignment.md @@ -0,0 +1,22 @@ + +# Raziskovanje vizualizacij + +Na voljo je več različnih knjižnic za vizualizacijo podatkov. Ustvarite nekaj vizualizacij z uporabo podatkov o bučah iz te lekcije z matplotlib in seaborn v vzorčnem zvezku. Katere knjižnice so lažje za uporabo? +## Merila + +| Merila | Odlično | Zadostno | Potrebna izboljšava | +| ------- | -------- | -------- | ------------------- | +| | Zvezek je predložen z dvema raziskavama/vizualizacijama | Zvezek je predložen z eno raziskavo/vizualizacijo | Zvezek ni predložen | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/2-Data/solution/Julia/README.md b/translations/sl/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 00000000..7ba9c462 --- /dev/null +++ b/translations/sl/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/2-Regression/3-Linear/README.md b/translations/sl/2-Regression/3-Linear/README.md new file mode 100644 index 00000000..c2fb4113 --- /dev/null +++ b/translations/sl/2-Regression/3-Linear/README.md @@ -0,0 +1,380 @@ + +# Ustvarjanje regresijskega modela s Scikit-learn: štiri načini regresije + + +> Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Predavanje kviz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [To lekcijo lahko najdete tudi v jeziku R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Uvod + +Do sedaj ste raziskali, kaj je regresija, z vzorčnimi podatki iz nabora podatkov o cenah buč, ki ga bomo uporabljali skozi celotno lekcijo. Prav tako ste podatke vizualizirali z uporabo knjižnice Matplotlib. + +Zdaj ste pripravljeni, da se poglobite v regresijo za strojno učenje. Medtem ko vizualizacija omogoča razumevanje podatkov, je prava moč strojnega učenja v _treningu modelov_. Modele treniramo na zgodovinskih podatkih, da samodejno zajamejo odvisnosti podatkov, kar omogoča napovedovanje rezultatov za nove podatke, ki jih model še ni videl. + +V tej lekciji boste izvedeli več o dveh vrstah regresije: _osnovni linearni regresiji_ in _polinomski regresiji_, skupaj z nekaj matematike, ki stoji za temi tehnikami. Ti modeli nam bodo omogočili napovedovanje cen buč glede na različne vhodne podatke. + +[](https://youtu.be/CRxFT8oTDMg "ML za začetnike - Razumevanje linearne regresije") + +> 🎥 Kliknite zgornjo sliko za kratek video pregled linearne regresije. + +> Skozi celoten učni načrt predpostavljamo minimalno matematično predznanje in si prizadevamo, da bi bilo gradivo dostopno študentom iz drugih področij. Zato bodite pozorni na opombe, 🧮 poudarke, diagrame in druga učna orodja, ki pomagajo pri razumevanju. + +### Predpogoji + +Do zdaj bi morali biti že seznanjeni s strukturo podatkov o bučah, ki jih preučujemo. Najdete jih prednaložene in predhodno očiščene v datoteki _notebook.ipynb_ te lekcije. V datoteki so cene buč prikazane na bušel v novem podatkovnem okviru. Prepričajte se, da lahko zaženete te beležnice v jedrih Visual Studio Code. + +### Priprava + +Kot opomnik, te podatke nalagate, da bi si zastavili vprašanja, kot so: + +- Kdaj je najboljši čas za nakup buč? +- Kakšno ceno lahko pričakujem za zabojček mini buč? +- Ali naj jih kupim v polovičnih bušelskih košarah ali v škatlah velikosti 1 1/9 bušla? +Poglobimo se v te podatke. + +V prejšnji lekciji ste ustvarili podatkovni okvir Pandas in ga napolnili z delom izvirnega nabora podatkov, standardizirali cene na bušel. S tem pa ste lahko zbrali le približno 400 podatkovnih točk in le za jesenske mesece. + +Oglejte si podatke, ki so prednaloženi v beležnici, ki spremlja to lekcijo. Podatki so prednaloženi, začetni raztrosni diagram pa je narisan, da prikaže podatke po mesecih. Morda lahko z dodatnim čiščenjem pridobimo več podrobnosti o naravi podatkov. + +## Linearna regresijska premica + +Kot ste se naučili v 1. lekciji, je cilj linearne regresije narisati premico, ki: + +- **Prikaže odnose med spremenljivkami**. Prikaže razmerje med spremenljivkami. +- **Omogoča napovedi**. Omogoča natančne napovedi, kje bi nova podatkovna točka padla v razmerju do te premice. + +Za risanje te vrste premice je značilna metoda **najmanjših kvadratov**. Izraz 'najmanjši kvadrati' pomeni, da so vse podatkovne točke okoli regresijske premice kvadrirane in nato seštejejo. Idealno je, da je ta končna vsota čim manjša, saj želimo nizko število napak ali `najmanjše kvadrate`. + +To storimo, ker želimo modelirati premico, ki ima najmanjšo kumulativno razdaljo od vseh naših podatkovnih točk. Člene kvadriramo pred seštevanjem, saj nas zanima njihova velikost, ne pa smer. + +> **🧮 Pokaži mi matematiko** +> +> Ta premica, imenovana _premica najboljše prileganja_, je izražena z [enačbo](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` je 'pojasnjevalna spremenljivka'. `Y` je 'odvisna spremenljivka'. Naklon premice je `b`, `a` pa je presečišče z osjo y, kar se nanaša na vrednost `Y`, ko `X = 0`. +> +> +> +> Najprej izračunajte naklon `b`. Infografika avtorja [Jen Looper](https://twitter.com/jenlooper) +> +> Z drugimi besedami, glede na naše izvirno vprašanje o podatkih o bučah: "napovedati ceno buče na bušel glede na mesec", bi `X` predstavljal ceno, `Y` pa mesec prodaje. +> +> +> +> Izračunajte vrednost Y. Če plačujete približno 4 $, mora biti april! Infografika avtorja [Jen Looper](https://twitter.com/jenlooper) +> +> Matematika, ki izračuna premico, mora prikazati njen naklon, ki je odvisen tudi od presečišča, torej od tega, kje se `Y` nahaja, ko `X = 0`. +> +> Metodo izračuna teh vrednosti si lahko ogledate na spletnem mestu [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html). Obiščite tudi [ta kalkulator najmanjših kvadratov](https://www.mathsisfun.com/data/least-squares-calculator.html), da vidite, kako vrednosti številk vplivajo na premico. + +## Korelacija + +Še en izraz, ki ga je treba razumeti, je **koeficient korelacije** med danima spremenljivkama X in Y. Z raztrosnim diagramom lahko hitro vizualizirate ta koeficient. Diagram s podatkovnimi točkami, razporejenimi v ravni črti, ima visoko korelacijo, medtem ko ima diagram s podatkovnimi točkami, razpršenimi povsod med X in Y, nizko korelacijo. + +Dober model linearne regresije bo tisti, ki ima visok (bližje 1 kot 0) koeficient korelacije z uporabo metode najmanjših kvadratov in regresijske premice. + +✅ Zaženite beležnico, ki spremlja to lekcijo, in si oglejte raztrosni diagram meseca in cene. Ali se vam zdi, da imajo podatki, ki povezujejo mesec in ceno prodaje buč, visoko ali nizko korelacijo glede na vašo vizualno interpretacijo raztrosnega diagrama? Ali se to spremeni, če uporabite bolj natančno merilo namesto `Mesec`, npr. *dan v letu* (tj. število dni od začetka leta)? + +V spodnji kodi bomo predpostavili, da smo očistili podatke in pridobili podatkovni okvir z imenom `new_pumpkins`, podoben naslednjemu: + +ID | Mesec | DanVLeto | Vrsta | Mesto | Paket | Najnižja cena | Najvišja cena | Cena +---|-------|----------|-------|-------|-------|---------------|---------------|------ +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 škatle | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 škatle | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 škatle | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 škatle | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 škatle | 15.0 | 15.0 | 13.636364 + +> Koda za čiščenje podatkov je na voljo v datoteki [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). Izvedli smo enake korake čiščenja kot v prejšnji lekciji in izračunali stolpec `DanVLeto` z naslednjim izrazom: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Zdaj, ko razumete matematiko za linearno regresijo, ustvarimo regresijski model, da preverimo, ali lahko napovemo, kateri paket buč bo imel najboljše cene. Nekdo, ki kupuje buče za praznični bučni nasad, bi morda želel te informacije, da bi optimiziral svoje nakupe paketov buč za nasad. + +## Iskanje korelacije + +[](https://youtu.be/uoRq-lW2eQo "ML za začetnike - Iskanje korelacije: Ključ do linearne regresije") + +> 🎥 Kliknite zgornjo sliko za kratek video pregled korelacije. + +Iz prejšnje lekcije ste verjetno videli, da povprečna cena za različne mesece izgleda takole: + +
+
+To nakazuje, da bi morala obstajati neka korelacija, in lahko poskusimo trenirati linearni regresijski model za napovedovanje razmerja med `Mesec` in `Cena` ali med `DanVLeto` in `Cena`. Tukaj je raztrosni diagram, ki prikazuje slednje razmerje:
+
+
+
+Preverimo, ali obstaja korelacija, z uporabo funkcije `corr`:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Zdi se, da je korelacija precej majhna, -0,15 za `Mesec` in -0,17 za `DanVLeto`, vendar bi lahko obstajalo drugo pomembno razmerje. Zdi se, da obstajajo različni grozdi cen, ki ustrezajo različnim vrstam buč. Da potrdimo to hipotezo, narišimo vsako kategorijo buč z drugo barvo. S posredovanjem parametra `ax` funkciji za risanje raztrosa lahko narišemo vse točke na isti grafikon:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Naša raziskava nakazuje, da ima vrsta buče večji vpliv na skupno ceno kot dejanski datum prodaje. To lahko vidimo z barvnim grafom:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Osredotočimo se za trenutek samo na eno vrsto buč, 'pie type', in preverimo, kakšen vpliv ima datum na ceno:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Če zdaj izračunamo korelacijo med `Cena` in `DanVLeto` z uporabo funkcije `corr`, bomo dobili nekaj okoli `-0,27` - kar pomeni, da ima smisel trenirati napovedni model.
+
+> Pred treningom linearnega regresijskega modela je pomembno zagotoviti, da so naši podatki čisti. Linearna regresija ne deluje dobro z manjkajočimi vrednostmi, zato je smiselno odstraniti vse prazne celice:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Drugi pristop bi bil zapolniti te prazne vrednosti s povprečnimi vrednostmi iz ustreznega stolpca.
+
+## Enostavna linearna regresija
+
+[](https://youtu.be/e4c_UP2fSjg "ML za začetnike - Linearna in polinomska regresija z uporabo Scikit-learn")
+
+> 🎥 Kliknite zgornjo sliko za kratek video pregled linearne in polinomske regresije.
+
+Za treniranje našega linearnega regresijskega modela bomo uporabili knjižnico **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Začnemo z ločevanjem vhodnih vrednosti (značilnosti) in pričakovanega izhoda (oznake) v ločena numpy polja:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Upoštevajte, da smo morali izvesti `reshape` na vhodnih podatkih, da jih Linear Regression paket pravilno razume. Linearna regresija pričakuje 2D polje kot vhod, kjer vsaka vrstica polja ustreza vektorju vhodnih značilnosti. V našem primeru, ker imamo samo en vhod, potrebujemo polje oblike N×1, kjer je N velikost nabora podatkov.
+
+Nato moramo podatke razdeliti na učni in testni nabor, da lahko po treningu preverimo naš model:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Na koncu trening dejanskega linearnega regresijskega modela zahteva le dve vrstici kode. Definiramo objekt `LinearRegression` in ga prilagodimo našim podatkom z uporabo metode `fit`:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+Objekt `LinearRegression` po prilagoditvi vsebuje vse koeficiente regresije, do katerih lahko dostopamo z lastnostjo `.coef_`. V našem primeru je le en koeficient, ki bi moral biti okoli `-0,017`. To pomeni, da se cene zdi, da rahlo padajo s časom, vendar ne preveč, približno 2 centa na dan. Prav tako lahko dostopamo do presečišča regresije z osjo Y z uporabo `lin_reg.intercept_` - v našem primeru bo to okoli `21`, kar kaže na ceno na začetku leta.
+
+Da vidimo, kako natančen je naš model, lahko napovemo cene na testnem naboru podatkov in nato izmerimo, kako blizu so naše napovedi pričakovanim vrednostim. To lahko storimo z uporabo metrike srednje kvadratne napake (MSE), ki je povprečje vseh kvadratnih razlik med pričakovano in napovedano vrednostjo.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+Naša napaka se zdi okoli 2 točk, kar je približno 17 %. Ni ravno dobro. Drug kazalnik kakovosti modela je **koeficient determinacije**, ki ga lahko pridobimo na naslednji način:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Če je vrednost 0, to pomeni, da model ne upošteva vhodnih podatkov in deluje kot *najslabši linearni napovedovalec*, kar je preprosto povprečna vrednost rezultata. Vrednost 1 pomeni, da lahko popolnoma napovemo vse pričakovane izhode. V našem primeru je koeficient okoli 0,06, kar je precej nizko.
+
+Prav tako lahko narišemo testne podatke skupaj z regresijsko premico, da bolje vidimo, kako regresija deluje v našem primeru:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Polinomska regresija
+
+Druga vrsta linearne regresije je polinomska regresija. Čeprav včasih obstaja linearna povezava med spremenljivkami – večja kot je buča po prostornini, višja je cena – včasih teh povezav ni mogoče prikazati kot ravnino ali premico.
+
+✅ Tukaj so [nekateri dodatni primeri](https://online.stat.psu.edu/stat501/lesson/9/9.8) podatkov, ki bi lahko uporabili polinomsko regresijo.
+
+Poglejte še enkrat razmerje med datumom in ceno. Ali se zdi, da bi moral biti ta raztros nujno analiziran s premico? Ali cene ne morejo nihati? V tem primeru lahko poskusite polinomsko regresijo.
+
+✅ Polinomi so matematični izrazi, ki lahko vsebujejo eno ali več spremenljivk in koeficientov.
+
+Polinomska regresija ustvari ukrivljeno premico, ki bolje ustreza nelinearnim podatkom. V našem primeru, če v vhodne podatke vključimo kvadratno spremenljivko `DayOfYear`, bi morali biti sposobni prilagoditi naše podatke s parabolično krivuljo, ki bo imela minimum na določenem mestu v letu.
+
+Scikit-learn vključuje uporabno [API za pipeline](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline), ki združuje različne korake obdelave podatkov. **Pipeline** je veriga **ocenjevalcev**. V našem primeru bomo ustvarili pipeline, ki najprej doda polinomske značilnosti našemu modelu, nato pa izvede regresijo:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Uporaba `PolynomialFeatures(2)` pomeni, da bomo vključili vse polinome druge stopnje iz vhodnih podatkov. V našem primeru to pomeni le `DayOfYear`2, vendar ob dveh vhodnih spremenljivkah X in Y to doda X2, XY in Y2. Uporabimo lahko tudi polinome višjih stopenj, če želimo.
+
+Pipeline lahko uporabljamo na enak način kot originalni objekt `LinearRegression`, tj. lahko uporabimo `fit` za prilagoditev modela in nato `predict` za pridobitev rezultatov napovedi. Tukaj je graf, ki prikazuje testne podatke in aproksimacijsko krivuljo:
+
+
+
+S polinomsko regresijo lahko dosežemo nekoliko nižji MSE in višji koeficient determinacije, vendar ne bistveno. Upoštevati moramo tudi druge značilnosti!
+
+> Opazite, da so najnižje cene buč opazovane nekje okoli noči čarovnic. Kako to razložite?
+
+🎃 Čestitke, pravkar ste ustvarili model, ki lahko pomaga napovedati ceno buč za pite. Verjetno lahko ponovite isti postopek za vse vrste buč, vendar bi bilo to zamudno. Zdaj se naučimo, kako upoštevati različne vrste buč v našem modelu!
+
+## Kategorijske značilnosti
+
+V idealnem svetu bi želeli napovedati cene za različne vrste buč z istim modelom. Vendar je stolpec `Variety` nekoliko drugačen od stolpcev, kot je `Month`, saj vsebuje nenumerične vrednosti. Takšni stolpci se imenujejo **kategorijski**.
+
+[](https://youtu.be/DYGliioIAE0 "ML za začetnike - Napovedovanje kategorijskih značilnosti z linearno regresijo")
+
+> 🎥 Kliknite zgornjo sliko za kratek video pregled uporabe kategorijskih značilnosti.
+
+Tukaj lahko vidite, kako povprečna cena odvisna od vrste buče:
+
+
+
+Da upoštevamo vrsto buče, jo moramo najprej pretvoriti v numerično obliko, ali jo **kodirati**. Obstaja več načinov, kako to storiti:
+
+* Preprosto **numerično kodiranje** bo ustvarilo tabelo različnih vrst in nato zamenjalo ime vrste z indeksom v tej tabeli. To ni najboljša ideja za linearno regresijo, saj linearna regresija upošteva dejansko numerično vrednost indeksa in jo doda rezultatu, pomnoženo z nekim koeficientom. V našem primeru je razmerje med številko indeksa in ceno očitno nelinearno, tudi če poskrbimo, da so indeksi urejeni na določen način.
+* **One-hot kodiranje** bo zamenjalo stolpec `Variety` s 4 različnimi stolpci, enim za vsako vrsto. Vsak stolpec bo vseboval `1`, če je ustrezna vrstica določene vrste, in `0` sicer. To pomeni, da bo v linearni regresiji štiri koeficiente, po enega za vsako vrsto buče, ki bodo odgovorni za "začetno ceno" (ali bolje "dodatno ceno") za to določeno vrsto.
+
+Spodnja koda prikazuje, kako lahko izvedemo one-hot kodiranje vrste:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Za treniranje linearne regresije z uporabo one-hot kodirane vrste kot vhodnih podatkov moramo le pravilno inicializirati podatke `X` in `y`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Preostala koda je enaka kot tista, ki smo jo uporabili zgoraj za treniranje linearne regresije. Če jo preizkusite, boste videli, da je povprečna kvadratna napaka približno enaka, vendar dobimo veliko višji koeficient determinacije (~77 %). Za še bolj natančne napovedi lahko upoštevamo več kategorijskih značilnosti, pa tudi numerične značilnosti, kot sta `Month` ali `DayOfYear`. Za pridobitev ene velike matrike značilnosti lahko uporabimo `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Tukaj upoštevamo tudi `City` in vrsto `Package`, kar nam daje MSE 2,84 (10 %) in determinacijo 0,94!
+
+## Vse skupaj
+
+Za najboljši model lahko uporabimo kombinirane (one-hot kodirane kategorijske + numerične) podatke iz zgornjega primera skupaj s polinomsko regresijo. Tukaj je celotna koda za vašo uporabo:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+To bi nam moralo dati najboljši koeficient determinacije skoraj 97 % in MSE=2,23 (~8 % napake pri napovedi).
+
+| Model | MSE | Determinacija |
+|-------|-----|---------------|
+| `DayOfYear` Linear | 2,77 (17,2 %) | 0,07 |
+| `DayOfYear` Polinomski | 2,73 (17,0 %) | 0,08 |
+| `Variety` Linear | 5,24 (19,7 %) | 0,77 |
+| Vse značilnosti Linear | 2,84 (10,5 %) | 0,94 |
+| Vse značilnosti Polinomski | 2,23 (8,25 %) | 0,97 |
+
+🏆 Odlično! Ustvarili ste štiri regresijske modele v eni lekciji in izboljšali kakovost modela na 97 %. V zadnjem delu o regresiji se boste naučili o logistični regresiji za določanje kategorij.
+
+---
+## 🚀Izziv
+
+Preizkusite več različnih spremenljivk v tej beležnici, da vidite, kako korelacija ustreza natančnosti modela.
+
+## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/)
+
+## Pregled in samostojno učenje
+
+V tej lekciji smo se naučili o linearni regresiji. Obstajajo tudi druge pomembne vrste regresije. Preberite o tehnikah Stepwise, Ridge, Lasso in Elasticnet. Dober tečaj za nadaljnje učenje je [Stanfordov tečaj statističnega učenja](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning).
+
+## Naloga
+
+[Ustvarite model](assignment.md)
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/3-Linear/assignment.md b/translations/sl/2-Regression/3-Linear/assignment.md
new file mode 100644
index 00000000..725d1966
--- /dev/null
+++ b/translations/sl/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,25 @@
+
+# Ustvarite regresijski model
+
+## Navodila
+
+V tej lekciji ste se naučili, kako zgraditi model z uporabo linearne in polinomske regresije. Na podlagi tega znanja poiščite podatkovni niz ali uporabite enega od vgrajenih nizov Scikit-learn za izdelavo novega modela. V svojem zvezku pojasnite, zakaj ste izbrali določeno tehniko, in pokažite natančnost svojega modela. Če model ni natančen, pojasnite, zakaj.
+
+## Merila ocenjevanja
+
+| Merilo | Odlično | Zadostno | Potrebne izboljšave |
+| -------- | ------------------------------------------------------------ | -------------------------- | ------------------------------- |
+| | predstavi popoln zvezek z dobro dokumentirano rešitvijo | rešitev je nepopolna | rešitev je pomanjkljiva ali vsebuje napake |
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/3-Linear/solution/Julia/README.md b/translations/sl/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 00000000..bb755878
--- /dev/null
+++ b/translations/sl/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+To je začasno mesto rezervacije
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/4-Logistic/README.md b/translations/sl/2-Regression/4-Logistic/README.md
new file mode 100644
index 00000000..56990db1
--- /dev/null
+++ b/translations/sl/2-Regression/4-Logistic/README.md
@@ -0,0 +1,405 @@
+
+# Logistična regresija za napovedovanje kategorij
+
+
+
+## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/)
+
+> ### [Ta lekcija je na voljo tudi v R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Uvod
+
+V tej zadnji lekciji o regresiji, eni izmed osnovnih _klasičnih_ tehnik strojnega učenja, si bomo ogledali logistično regresijo. To tehniko bi uporabili za odkrivanje vzorcev za napovedovanje binarnih kategorij. Ali je ta sladkarija čokolada ali ne? Ali je ta bolezen nalezljiva ali ne? Ali bo ta stranka izbrala ta izdelek ali ne?
+
+V tej lekciji boste spoznali:
+
+- Novo knjižnico za vizualizacijo podatkov
+- Tehnike logistične regresije
+
+✅ Poglobite svoje razumevanje dela s to vrsto regresije v tem [učnem modulu](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Predpogoji
+
+Ker smo že delali s podatki o bučah, smo dovolj seznanjeni, da opazimo, da obstaja ena binarna kategorija, s katero lahko delamo: `Barva`.
+
+Zgradimo model logistične regresije, da napovemo, _kakšne barve bo določena buča_ (oranžna 🎃 ali bela 👻), glede na nekatere spremenljivke.
+
+> Zakaj govorimo o binarni klasifikaciji v lekciji o regresiji? Izključno zaradi jezikovne priročnosti, saj je logistična regresija [pravzaprav metoda klasifikacije](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), čeprav temelji na linearni osnovi. O drugih načinih klasifikacije podatkov se boste naučili v naslednji skupini lekcij.
+
+## Določite vprašanje
+
+Za naše namene bomo to izrazili kot binarno: 'Bela' ali 'Ne bela'. V našem naboru podatkov obstaja tudi kategorija 'črtasta', vendar je primerov te kategorije malo, zato je ne bomo uporabili. Ta kategorija tako ali tako izgine, ko odstranimo manjkajoče vrednosti iz nabora podatkov.
+
+> 🎃 Zabavno dejstvo: bele buče včasih imenujemo 'duhove buče'. Niso zelo enostavne za rezljanje, zato niso tako priljubljene kot oranžne, vendar so videti kul! Tako bi lahko naše vprašanje preoblikovali tudi kot: 'Duh' ali 'Ne duh'. 👻
+
+## O logistični regresiji
+
+Logistična regresija se od linearne regresije, ki ste jo spoznali prej, razlikuje v nekaj pomembnih vidikih.
+
+[](https://youtu.be/KpeCT6nEpBY "Strojno učenje za začetnike - Razumevanje logistične regresije za klasifikacijo")
+
+> 🎥 Kliknite zgornjo sliko za kratek video pregled logistične regresije.
+
+### Binarna klasifikacija
+
+Logistična regresija ne ponuja enakih funkcij kot linearna regresija. Prva ponuja napoved binarne kategorije ("bela ali ne bela"), medtem ko je druga sposobna napovedovati neprekinjene vrednosti, na primer glede na izvor buče in čas žetve, _koliko se bo njena cena zvišala_.
+
+
+> Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Druge klasifikacije
+
+Obstajajo tudi druge vrste logistične regresije, vključno z multinomno in ordinalno:
+
+- **Multinomna**, ki vključuje več kot eno kategorijo - "Oranžna, Bela in Črtasta".
+- **Ordinalna**, ki vključuje urejene kategorije, uporabna, če želimo logično urediti naše rezultate, kot so buče, ki so razvrščene po končnem številu velikosti (mini, sm, med, lg, xl, xxl).
+
+
+
+### Spremenljivke NI NUJNO, da so korelirane
+
+Se spomnite, kako je linearna regresija bolje delovala z bolj koreliranimi spremenljivkami? Logistična regresija je nasprotje - spremenljivke ni nujno, da se ujemajo. To ustreza tem podatkom, ki imajo nekoliko šibke korelacije.
+
+### Potrebujete veliko čistih podatkov
+
+Logistična regresija bo dala natančnejše rezultate, če uporabite več podatkov; naš majhen nabor podatkov ni optimalen za to nalogo, zato to upoštevajte.
+
+[](https://youtu.be/B2X4H9vcXTs "Strojno učenje za začetnike - Analiza in priprava podatkov za logistično regresijo")
+
+✅ Razmislite o vrstah podatkov, ki bi bile primerne za logistično regresijo.
+
+## Naloga - uredite podatke
+
+Najprej nekoliko očistite podatke, odstranite manjkajoče vrednosti in izberite le nekatere stolpce:
+
+1. Dodajte naslednjo kodo:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Vedno lahko pokukate v svoj novi podatkovni okvir:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Vizualizacija - kategorni graf
+
+Do zdaj ste znova naložili [začetni zvezek](../../../../2-Regression/4-Logistic/notebook.ipynb) s podatki o bučah in jih očistili, da ste ohranili nabor podatkov, ki vsebuje nekaj spremenljivk, vključno z `Barvo`. Vizualizirajmo podatkovni okvir v zvezku z uporabo druge knjižnice: [Seaborn](https://seaborn.pydata.org/index.html), ki temelji na Matplotlibu, ki smo ga uporabljali prej.
+
+Seaborn ponuja nekaj zanimivih načinov za vizualizacijo vaših podatkov. Na primer, lahko primerjate porazdelitve podatkov za vsako `Sorto` in `Barvo` v kategorni graf.
+
+1. Ustvarite tak graf z uporabo funkcije `catplot`, uporabite naše podatke o bučah `pumpkins` in določite barvno preslikavo za vsako kategorijo buč (oranžna ali bela):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Z opazovanjem podatkov lahko vidite, kako se podatki o barvi nanašajo na sorto.
+
+ ✅ Glede na ta kategorni graf, kakšne zanimive raziskave si lahko zamislite?
+
+### Predobdelava podatkov: kodiranje značilnosti in oznak
+Naš nabor podatkov o bučah vsebuje nizovne vrednosti za vse svoje stolpce. Delo s kategorijskimi podatki je za ljudi intuitivno, za stroje pa ne. Algoritmi strojnega učenja dobro delujejo s številkami. Zato je kodiranje zelo pomemben korak v fazi predobdelave podatkov, saj nam omogoča pretvorbo kategorijskih podatkov v številčne podatke, ne da bi pri tem izgubili kakršne koli informacije. Dobro kodiranje vodi k gradnji dobrega modela.
+
+Za kodiranje značilnosti obstajata dve glavni vrsti kodirnikov:
+
+1. Ordinalni kodirnik: dobro se prilega ordinalnim spremenljivkam, ki so kategorijske spremenljivke, kjer njihovi podatki sledijo logičnemu vrstnemu redu, kot je stolpec `Item Size` v našem naboru podatkov. Ustvari preslikavo, tako da je vsaka kategorija predstavljena s številko, ki je vrstni red kategorije v stolpcu.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Kategorni kodirnik: dobro se prilega nominalnim spremenljivkam, ki so kategorijske spremenljivke, kjer njihovi podatki ne sledijo logičnemu vrstnemu redu, kot so vse značilnosti, razen `Item Size` v našem naboru podatkov. To je kodiranje z eno vročo vrednostjo, kar pomeni, da je vsaka kategorija predstavljena z binarnim stolpcem: kodirana spremenljivka je enaka 1, če buča pripada tej sorti, in 0 sicer.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Nato se `ColumnTransformer` uporabi za združitev več kodirnikov v en korak in njihovo uporabo na ustreznih stolpcih.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+Po drugi strani pa za kodiranje oznake uporabimo razred `LabelEncoder` knjižnice scikit-learn, ki je pripomoček za normalizacijo oznak, tako da vsebujejo le vrednosti med 0 in n_classes-1 (tukaj 0 in 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Ko smo kodirali značilnosti in oznako, jih lahko združimo v nov podatkovni okvir `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ Kakšne so prednosti uporabe ordinalnega kodirnika za stolpec `Item Size`?
+
+### Analizirajte odnose med spremenljivkami
+
+Zdaj, ko smo predhodno obdelali naše podatke, lahko analiziramo odnose med značilnostmi in oznako, da dobimo idejo o tem, kako dobro bo model lahko napovedal oznako glede na značilnosti.
+Najboljši način za izvedbo te vrste analize je risanje podatkov. Ponovno bomo uporabili funkcijo `catplot` knjižnice Seaborn, da vizualiziramo odnose med `Item Size`, `Variety` in `Color` v kategorni graf. Za boljše risanje podatkov bomo uporabili kodiran stolpec `Item Size` in nekodiran stolpec `Variety`.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Uporabite graf 'swarm'
+
+Ker je `Color` binarna kategorija (Bela ali Ne bela), potrebuje '[specializiran pristop](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) za vizualizacijo'. Obstajajo drugi načini za vizualizacijo odnosa te kategorije z drugimi spremenljivkami.
+
+Spremenljivke lahko vizualizirate vzporedno z grafi knjižnice Seaborn.
+
+1. Poskusite graf 'swarm', da prikažete porazdelitev vrednosti:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Opozorilo**: zgornja koda lahko ustvari opozorilo, saj Seaborn ne uspe predstaviti takšne količine podatkovnih točk v grafu swarm. Možna rešitev je zmanjšanje velikosti označevalca z uporabo parametra 'size'. Vendar bodite pozorni, da to vpliva na berljivost grafa.
+
+> **🧮 Pokaži mi matematiko**
+>
+> Logistična regresija temelji na konceptu 'maksimalne verjetnosti' z uporabo [sigmoidnih funkcij](https://wikipedia.org/wiki/Sigmoid_function). 'Sigmoidna funkcija' na grafu izgleda kot oblika črke 'S'. Vzame vrednost in jo preslika nekam med 0 in 1. Njena krivulja se imenuje tudi 'logistična krivulja'. Njena formula izgleda takole:
+>
+> 
+>
+> kjer se sredinska točka sigmoidne funkcije nahaja na x-ovi točki 0, L je največja vrednost krivulje, k pa je strmina krivulje. Če je rezultat funkcije večji od 0,5, bo oznaka dodeljena razredu '1' binarne izbire. Če ne, bo razvrščena kot '0'.
+
+## Zgradite svoj model
+
+Gradnja modela za iskanje teh binarnih klasifikacij je presenetljivo enostavna v Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "Strojno učenje za začetnike - Logistična regresija za klasifikacijo podatkov")
+
+> 🎥 Kliknite zgornjo sliko za kratek video pregled gradnje modela linearne regresije.
+
+1. Izberite spremenljivke, ki jih želite uporabiti v svojem klasifikacijskem modelu, in razdelite učne ter testne nize z uporabo `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Zdaj lahko trenirate svoj model z uporabo `fit()` z učnimi podatki in natisnete njegov rezultat:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Oglejte si oceno svojega modela. Ni slabo, glede na to, da imate le približno 1000 vrstic podatkov:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Boljše razumevanje prek matrike zmede
+
+Medtem ko lahko dobite poročilo o oceni modela [pogoji](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) z natisom zgornjih elementov, boste morda lažje razumeli svoj model z uporabo [matrike zmede](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix), ki nam pomaga razumeti, kako model deluje.
+
+> 🎓 '[Matrika zmede](https://wikipedia.org/wiki/Confusion_matrix)' (ali 'matrika napak') je tabela, ki izraža resnične in napačne pozitivne ter negativne rezultate vašega modela, s čimer ocenjuje natančnost napovedi.
+
+1. Za uporabo matrike zmede pokličite `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Oglejte si matriko zmede svojega modela:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+V Scikit-learn matrike zmede vrstice (os 0) predstavljajo dejanske oznake, stolpci (os 1) pa napovedane oznake.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Kaj se dogaja tukaj? Recimo, da je naš model pozvan, da klasificira buče med dvema binarnima kategorijama, kategorijo 'bela' in kategorijo 'ne bela'.
+
+- Če vaš model napove bučo kot ne belo in v resnici pripada kategoriji 'ne bela', to imenujemo resnični negativni rezultat, prikazan z zgornjo levo številko.
+- Če vaš model napove bučo kot belo in v resnici pripada kategoriji 'ne bela', to imenujemo napačni negativni rezultat, prikazan z spodnjo levo številko.
+- Če vaš model napove bučo kot ne belo in v resnici pripada kategoriji 'bela', to imenujemo napačni pozitivni rezultat, prikazan z zgornjo desno številko.
+- Če vaš model napove bučo kot belo in v resnici pripada kategoriji 'bela', to imenujemo resnični pozitivni rezultat, prikazan z spodnjo desno številko.
+
+Kot ste morda uganili, je zaželeno imeti večje število resničnih pozitivnih in resničnih negativnih rezultatov ter manjše število napačnih pozitivnih in napačnih negativnih rezultatov, kar pomeni, da model deluje bolje.
+Kako se matrika zmede povezuje s natančnostjo in priklicem? Spomnite se, da je poročilo o klasifikaciji, ki je bilo natisnjeno zgoraj, pokazalo natančnost (0,85) in priklic (0,67).
+
+Natančnost = tp / (tp + fp) = 22 / (22 + 4) = 0,8461538461538461
+
+Priklic = tp / (tp + fn) = 22 / (22 + 11) = 0,6666666666666666
+
+✅ V: Glede na matriko zmede, kako se je model odrezal? O: Ni slabo; obstaja kar nekaj pravih negativnih primerov, vendar tudi nekaj lažnih negativnih primerov.
+
+Ponovno si poglejmo izraze, ki smo jih videli prej, s pomočjo matrike zmede in njenega preslikavanja TP/TN ter FP/FN:
+
+🎓 Natančnost: TP/(TP + FP) Delež relevantnih primerov med pridobljenimi primeri (npr. katere oznake so bile dobro označene).
+
+🎓 Priklic: TP/(TP + FN) Delež relevantnih primerov, ki so bili pridobljeni, ne glede na to, ali so bili dobro označeni ali ne.
+
+🎓 f1-ocena: (2 * natančnost * priklic)/(natančnost + priklic) Tehtano povprečje natančnosti in priklica, pri čemer je najboljša ocena 1, najslabša pa 0.
+
+🎓 Podpora: Število pojavitev vsake pridobljene oznake.
+
+🎓 Točnost: (TP + TN)/(TP + TN + FP + FN) Delež oznak, ki so bile pravilno napovedane za vzorec.
+
+🎓 Makro povprečje: Izračun neuteženega povprečja metrik za vsako oznako, ne upoštevajoč neravnovesje oznak.
+
+🎓 Tehtano povprečje: Izračun povprečja metrik za vsako oznako, pri čemer se upošteva neravnovesje oznak z njihovo težo glede na podporo (število pravih primerov za vsako oznako).
+
+✅ Ali lahko ugotovite, katero metriko bi morali spremljati, če želite, da vaš model zmanjša število lažnih negativnih primerov?
+
+## Vizualizacija ROC krivulje tega modela
+
+[](https://youtu.be/GApO575jTA0 "ML za začetnike - Analiza zmogljivosti logistične regresije z ROC krivuljami")
+
+> 🎥 Kliknite zgornjo sliko za kratek video pregled ROC krivulj.
+
+Naredimo še eno vizualizacijo, da si ogledamo tako imenovano 'ROC' krivuljo:
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+S pomočjo Matplotliba narišite [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) ali ROC krivuljo modela. ROC krivulje se pogosto uporabljajo za pregled rezultatov klasifikatorja glede na njegove prave in lažne pozitivne primere. "ROC krivulje običajno prikazujejo stopnjo pravih pozitivnih primerov na Y osi in stopnjo lažnih pozitivnih primerov na X osi." Zato sta strmina krivulje in prostor med sredinsko črto ter krivuljo pomembna: želite krivuljo, ki hitro gre navzgor in čez črto. V našem primeru so na začetku prisotni lažni pozitivni primeri, nato pa se črta pravilno dvigne in gre čez.
+
+
+
+Na koncu uporabite Scikit-learnov [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) za izračun dejanskega 'Področja pod krivuljo' (AUC):
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+Rezultat je `0.9749908725812341`. Ker se AUC giblje med 0 in 1, si želite visok rezultat, saj bo model, ki je 100 % pravilen v svojih napovedih, imel AUC 1; v tem primeru je model _kar dober_.
+
+V prihodnjih lekcijah o klasifikacijah se boste naučili, kako iterirati za izboljšanje rezultatov modela. Za zdaj pa čestitke! Zaključili ste te lekcije o regresiji!
+
+---
+## 🚀Izziv
+
+Logistična regresija skriva še veliko več! Najboljši način za učenje pa je eksperimentiranje. Poiščite podatkovni niz, ki je primeren za tovrstno analizo, in z njim zgradite model. Kaj ste se naučili? namig: poskusite [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) za zanimive podatkovne nize.
+
+## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/)
+
+## Pregled in samostojno učenje
+
+Preberite prve strani [tega dokumenta s Stanforda](https://web.stanford.edu/~jurafsky/slp3/5.pdf) o nekaterih praktičnih uporabah logistične regresije. Razmislite o nalogah, ki so bolj primerne za eno ali drugo vrsto regresijskih nalog, ki smo jih preučevali do zdaj. Kaj bi delovalo najbolje?
+
+## Naloga
+
+[Ponovno preizkusite to regresijo](assignment.md)
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi izhajale iz uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/4-Logistic/assignment.md b/translations/sl/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 00000000..019ea5a5
--- /dev/null
+++ b/translations/sl/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,25 @@
+
+# Ponovno preizkušanje regresije
+
+## Navodila
+
+V lekciji ste uporabili podmnožico podatkov o bučah. Zdaj se vrnite k originalnim podatkom in poskusite uporabiti vse, očiščene in standardizirane, za izdelavo modela logistične regresije.
+
+## Merila
+
+| Merila | Odlično | Zadostno | Potrebne izboljšave |
+| -------- | ----------------------------------------------------------------------- | ---------------------------------------------------------- | ----------------------------------------------------------- |
+| | Predstavljen je zvezek z dobro razloženim in dobro delujočim modelom | Predstavljen je zvezek z modelom, ki deluje minimalno | Predstavljen je zvezek s slabo delujočim modelom ali brez njega |
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/4-Logistic/solution/Julia/README.md b/translations/sl/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 00000000..a7026ae7
--- /dev/null
+++ b/translations/sl/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+To je začasno mesto za izpolnitev
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve AI za prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/2-Regression/README.md b/translations/sl/2-Regression/README.md
new file mode 100644
index 00000000..a3fd5c7b
--- /dev/null
+++ b/translations/sl/2-Regression/README.md
@@ -0,0 +1,54 @@
+
+# Regresijski modeli za strojno učenje
+## Regionalna tema: Regresijski modeli za cene buč v Severni Ameriki 🎃
+
+V Severni Ameriki buče pogosto izrezljajo v strašljive obraze za noč čarovnic. Odkrijmo več o teh fascinantnih zelenjavah!
+
+
+> Fotografija avtorja Beth Teutschmann na Unsplash
+
+## Kaj se boste naučili
+
+[](https://youtu.be/5QnJtDad4iQ "Uvod v regresijo - Kliknite za ogled!")
+> 🎥 Kliknite zgornjo sliko za kratek uvodni video v to lekcijo
+
+Lekcije v tem poglavju obravnavajo vrste regresije v kontekstu strojnega učenja. Regresijski modeli lahko pomagajo določiti _razmerje_ med spremenljivkami. Ta vrsta modela lahko napoveduje vrednosti, kot so dolžina, temperatura ali starost, in tako razkriva odnose med spremenljivkami, medtem ko analizira podatkovne točke.
+
+V tej seriji lekcij boste odkrili razlike med linearno in logistično regresijo ter kdaj je bolje uporabiti eno ali drugo.
+
+[](https://youtu.be/XA3OaoW86R8 "Strojno učenje za začetnike - Uvod v regresijske modele za strojno učenje")
+
+> 🎥 Kliknite zgornjo sliko za kratek video, ki uvaja regresijske modele.
+
+V tej skupini lekcij se boste pripravili na naloge strojnega učenja, vključno z nastavitvijo Visual Studio Code za upravljanje zvezkov, ki so običajno okolje za podatkovne znanstvenike. Odkrijte knjižnico Scikit-learn za strojno učenje in zgradite svoje prve modele, pri čemer se v tem poglavju osredotočite na regresijske modele.
+
+> Obstajajo uporabna orodja z malo kode, ki vam lahko pomagajo pri učenju dela z regresijskimi modeli. Poskusite [Azure ML za to nalogo](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Lekcije
+
+1. [Orodja za delo](1-Tools/README.md)
+2. [Upravljanje podatkov](2-Data/README.md)
+3. [Linearna in polinomska regresija](3-Linear/README.md)
+4. [Logistična regresija](4-Logistic/README.md)
+
+---
+### Zasluge
+
+"Strojno učenje z regresijo" je bilo napisano z ♥️ avtorice [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ Prispevki za kviz vključujejo: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) in [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Podatkovni niz o bučah je predlagan v [tem projektu na Kaggle](https://www.kaggle.com/usda/a-year-of-pumpkin-prices), njegovi podatki pa izvirajo iz [Standardnih poročil o cenah na terminalnih trgih za posebne pridelke](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice), ki jih distribuira Ministrstvo za kmetijstvo Združenih držav Amerike. Dodali smo nekaj točk glede barve na podlagi sorte, da normaliziramo porazdelitev. Ti podatki so v javni domeni.
+
+---
+
+**Omejitev odgovornosti**:
+Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.
\ No newline at end of file
diff --git a/translations/sl/3-Web-App/1-Web-App/README.md b/translations/sl/3-Web-App/1-Web-App/README.md
new file mode 100644
index 00000000..6e2f7521
--- /dev/null
+++ b/translations/sl/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,359 @@
+
+# Zgradite spletno aplikacijo za uporabo modela strojnega učenja
+
+V tej lekciji boste trenirali model strojnega učenja na podatkovnem naboru, ki je resnično izjemen: _opazovanja NLP-jev v zadnjem stoletju_, pridobljenih iz baze podatkov NUFORC.
+
+Naučili se boste:
+
+- Kako 'shraniti' treniran model
+- Kako uporabiti ta model v aplikaciji Flask
+
+Še naprej bomo uporabljali beležke za čiščenje podatkov in treniranje modela, vendar lahko proces nadgradite tako, da raziščete uporabo modela 'v divjini', če lahko tako rečemo: v spletni aplikaciji.
+
+Za to morate zgraditi spletno aplikacijo z uporabo Flask.
+
+## [Predlekcijski kviz](https://ff-quizzes.netlify.app/en/ml/)
+
+## Gradnja aplikacije
+
+Obstaja več načinov za gradnjo spletnih aplikacij, ki uporabljajo modele strojnega učenja. Vaša spletna arhitektura lahko vpliva na način, kako je model treniran. Predstavljajte si, da delate v podjetju, kjer je skupina za podatkovno znanost trenirala model, ki ga želite uporabiti v aplikaciji.
+
+### Premisleki
+
+Obstaja veliko vprašanj, ki jih morate zastaviti:
+
+- **Ali gre za spletno ali mobilno aplikacijo?** Če gradite mobilno aplikacijo ali morate model uporabiti v kontekstu IoT, lahko uporabite [TensorFlow Lite](https://www.tensorflow.org/lite/) in model uporabite v aplikaciji za Android ali iOS.
+- **Kje bo model shranjen?** V oblaku ali lokalno?
+- **Podpora brez povezave.** Ali mora aplikacija delovati brez povezave?
+- **Katera tehnologija je bila uporabljena za treniranje modela?** Izbrana tehnologija lahko vpliva na orodja, ki jih morate uporabiti.
+ - **Uporaba TensorFlow.** Če trenirate model z uporabo TensorFlow, na primer, ta ekosistem omogoča pretvorbo modela TensorFlow za uporabo v spletni aplikaciji z uporabo [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Uporaba PyTorch.** Če gradite model z uporabo knjižnice, kot je [PyTorch](https://pytorch.org/), imate možnost, da ga izvozite v format [ONNX](https://onnx.ai/) (Open Neural Network Exchange) za uporabo v JavaScript spletnih aplikacijah, ki lahko uporabljajo [Onnx Runtime](https://www.onnxruntime.ai/). To možnost bomo raziskali v prihodnji lekciji za model, treniran s Scikit-learn.
+ - **Uporaba Lobe.ai ali Azure Custom Vision.** Če uporabljate sistem ML SaaS (Software as a Service), kot sta [Lobe.ai](https://lobe.ai/) ali [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) za treniranje modela, ta vrsta programske opreme omogoča načine za izvoz modela za številne platforme, vključno z gradnjo prilagojenega API-ja, ki ga vaša spletna aplikacija lahko poizveduje v oblaku.
+
+Imate tudi možnost zgraditi celotno spletno aplikacijo Flask, ki bi lahko trenirala model kar v spletnem brskalniku. To je mogoče storiti tudi z uporabo TensorFlow.js v kontekstu JavaScript.
+
+Za naše namene, ker smo delali z beležkami, ki temeljijo na Pythonu, raziščimo korake, ki jih morate narediti, da izvozite treniran model iz takšne beležke v format, ki ga lahko bere spletna aplikacija, zgrajena v Pythonu.
+
+## Orodje
+
+Za to nalogo potrebujete dve orodji: Flask in Pickle, oba delujeta na Pythonu.
+
+✅ Kaj je [Flask](https://palletsprojects.com/p/flask/)? Flask, opisan kot 'mikro-okvir' s strani njegovih ustvarjalcev, ponuja osnovne funkcije spletnih okvirov z uporabo Pythona in predloge za gradnjo spletnih strani. Oglejte si [ta modul za učenje](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott), da vadite gradnjo s Flask.
+
+✅ Kaj je [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 je Python modul, ki serializira in de-serializira strukturo Python objektov. Ko 'shranite' model, serializirate ali sploščite njegovo strukturo za uporabo na spletu. Bodite previdni: pickle ni sam po sebi varen, zato bodite previdni, če vas pozove k 'odshranjevanju' datoteke. Shranjena datoteka ima pripono `.pkl`.
+
+## Naloga - očistite svoje podatke
+
+V tej lekciji boste uporabili podatke iz 80.000 opazovanj NLP-jev, zbranih s strani [NUFORC](https://nuforc.org) (Nacionalni center za poročanje o NLP-jih). Ti podatki vsebujejo zanimive opise opazovanj NLP-jev, na primer:
+
+- **Dolgi opis primera.** "Moški se pojavi iz svetlobnega žarka, ki sveti na travnato polje ponoči, in teče proti parkirišču Texas Instruments."
+- **Kratki opis primera.** "luči so nas lovile."
+
+Preglednica [ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) vključuje stolpce o `mestu`, `državi` in `državi`, kjer se je opazovanje zgodilo, obliki objekta (`shape`) ter njegovi `zemljepisni širini` in `zemljepisni dolžini`.
+
+V prazni [beležki](../../../../3-Web-App/1-Web-App/notebook.ipynb), ki je vključena v to lekcijo:
+
+1. uvozite `pandas`, `matplotlib` in `numpy`, kot ste to storili v prejšnjih lekcijah, ter uvozite preglednico NLP-jev. Lahko si ogledate vzorčni podatkovni nabor:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Pretvorite podatke NLP-jev v majhen podatkovni okvir z novimi naslovi. Preverite unikatne vrednosti v polju `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Zdaj lahko zmanjšate količino podatkov, s katerimi se morate ukvarjati, tako da odstranite vse vrednosti null in uvozite samo opazovanja med 1-60 sekundami:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Uvozite knjižnico Scikit-learn `LabelEncoder`, da pretvorite besedilne vrednosti za države v številke:
+
+ ✅ LabelEncoder kodira podatke po abecedi
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Vaši podatki bi morali izgledati takole:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Naloga - zgradite svoj model
+
+Zdaj se lahko pripravite na treniranje modela tako, da podatke razdelite v skupino za treniranje in testiranje.
+
+1. Izberite tri značilnosti, na katerih želite trenirati, kot vaš X vektor, medtem ko bo y vektor `Country`. Želite vnesti `Seconds`, `Latitude` in `Longitude` ter dobiti ID države kot rezultat.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Trenirajte svoj model z uporabo logistične regresije:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Natančnost ni slaba **(približno 95%)**, kar ni presenetljivo, saj se `Country` in `Latitude/Longitude` korelirata.
+
+Model, ki ste ga ustvarili, ni zelo revolucionaren, saj bi morali biti sposobni sklepati `Country` iz njegovih `Latitude` in `Longitude`, vendar je to dobra vaja za treniranje iz surovih podatkov, ki ste jih očistili, izvozili in nato uporabili ta model v spletni aplikaciji.
+
+## Naloga - 'shranite' svoj model
+
+Zdaj je čas, da _shranite_ svoj model! To lahko storite v nekaj vrsticah kode. Ko je _shranjen_, naložite shranjeni model in ga preizkusite na vzorčnem podatkovnem nizu, ki vsebuje vrednosti za sekunde, zemljepisno širino in dolžino.
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Model vrne **'3'**, kar je koda države za Združeno kraljestvo. Neverjetno! 👽
+
+## Naloga - zgradite aplikacijo Flask
+
+Zdaj lahko zgradite aplikacijo Flask, ki bo klicala vaš model in vračala podobne rezultate, vendar na bolj vizualno privlačen način.
+
+1. Začnite z ustvarjanjem mape **web-app** poleg datoteke _notebook.ipynb_, kjer se nahaja vaša datoteka _ufo-model.pkl_.
+
+1. V tej mapi ustvarite še tri mape: **static**, z mapo **css** znotraj nje, in **templates**. Zdaj bi morali imeti naslednje datoteke in direktorije:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Oglejte si mapo z rešitvami za pogled na končano aplikacijo
+
+1. Prva datoteka, ki jo ustvarite v mapi _web-app_, je datoteka **requirements.txt**. Kot _package.json_ v aplikaciji JavaScript, ta datoteka navaja odvisnosti, ki jih aplikacija potrebuje. V **requirements.txt** dodajte vrstice:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Zdaj zaženite to datoteko tako, da se premaknete v _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. V terminalu vnesite `pip install`, da namestite knjižnice, navedene v _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Zdaj ste pripravljeni ustvariti še tri datoteke za dokončanje aplikacije:
+
+ 1. Ustvarite **app.py** v korenu.
+ 2. Ustvarite **index.html** v mapi _templates_.
+ 3. Ustvarite **styles.css** v mapi _static/css_.
+
+1. Izdelajte datoteko _styles.css_ z nekaj slogi:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Nato izdelajte datoteko _index.html_:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Oglejte si predloge v tej datoteki. Opazite sintakso 'mustache' okoli spremenljivk, ki jih bo zagotovila aplikacija, kot je besedilo napovedi: `{{}}`. Obstaja tudi obrazec, ki pošlje napoved na pot `/predict`. + + Končno ste pripravljeni zgraditi Python datoteko, ki upravlja porabo modela in prikaz napovedi: + +1. V `app.py` dodajte: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Nasvet: ko dodate [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) med zagonom spletne aplikacije z uporabo Flask, bodo vse spremembe, ki jih naredite v svoji aplikaciji, takoj vidne brez potrebe po ponovnem zagonu strežnika. Pazite! Ne omogočite tega načina v produkcijski aplikaciji. + +Če zaženete `python app.py` ali `python3 app.py` - vaš spletni strežnik se zažene lokalno in lahko izpolnite kratek obrazec, da dobite odgovor na svoje pereče vprašanje o tem, kje so bili NLP-ji opaženi! + +Preden to storite, si oglejte dele `app.py`: + +1. Najprej se naložijo odvisnosti in aplikacija se zažene. +1. Nato se model uvozi. +1. Nato se na domači poti prikaže index.html. + +Na poti `/predict` se zgodi več stvari, ko je obrazec poslan: + +1. Spremenljivke obrazca se zberejo in pretvorijo v numpy array. Nato se pošljejo modelu in vrne se napoved. +2. Države, ki jih želimo prikazati, se ponovno prikažejo kot berljivo besedilo iz njihove predvidene kode države, in ta vrednost se pošlje nazaj v index.html, da se prikaže v predlogi. + +Uporaba modela na ta način, z Flask in shranjenim modelom, je razmeroma preprosta. Najtežje je razumeti, kakšne oblike morajo biti podatki, ki jih je treba poslati modelu, da dobite napoved. To je odvisno od tega, kako je bil model treniran. Ta model zahteva tri podatkovne točke za vnos, da vrne napoved. + +V profesionalnem okolju lahko vidite, kako pomembna je dobra komunikacija med ljudmi, ki trenirajo model, in tistimi, ki ga uporabljajo v spletni ali mobilni aplikaciji. V našem primeru ste to le vi! + +--- + +## 🚀 Izziv + +Namesto da delate v beležki in uvozite model v aplikacijo Flask, bi lahko model trenirali kar znotraj aplikacije Flask! Poskusite pretvoriti svojo Python kodo v beležki, morda po tem, ko so vaši podatki očiščeni, da trenirate model znotraj aplikacije na poti, imenovani `train`. Kakšne so prednosti in slabosti tega pristopa? + +## [Po-lekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Obstaja veliko načinov za gradnjo spletne aplikacije, ki uporablja modele strojnega učenja. Naredite seznam načinov, kako bi lahko uporabili JavaScript ali Python za gradnjo spletne aplikacije, ki izkorišča strojno učenje. Razmislite o arhitekturi: naj model ostane v aplikaciji ali naj živi v oblaku? Če slednje, kako bi dostopali do njega? Narišite arhitekturni model za rešitev spletne aplikacije z uporabo strojnega učenja. + +## Naloga + +[Preizkusite drugačen model](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/3-Web-App/1-Web-App/assignment.md b/translations/sl/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 00000000..e73f985f --- /dev/null +++ b/translations/sl/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,25 @@ + +# Poskusite drugačen model + +## Navodila + +Zdaj, ko ste izdelali eno spletno aplikacijo z uporabo treniranega regresijskega modela, uporabite enega od modelov iz prejšnje lekcije o regresiji, da ponovno ustvarite to spletno aplikacijo. Slog lahko ohranite ali ga oblikujete drugače, da odraža podatke o bučah. Bodite pozorni, da spremenite vhodne podatke, da bodo ustrezali metodi treniranja vašega modela. + +## Merila ocenjevanja + +| Merila | Odlično | Zadostno | Potrebne izboljšave | +| ------------------------ | --------------------------------------------------------- | ------------------------------------------------------- | ------------------------------------- | +| | Spletna aplikacija deluje, kot je pričakovano, in je nameščena v oblaku | Spletna aplikacija vsebuje napake ali prikazuje nepričakovane rezultate | Spletna aplikacija ne deluje pravilno | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/3-Web-App/README.md b/translations/sl/3-Web-App/README.md new file mode 100644 index 00000000..3ca88b6f --- /dev/null +++ b/translations/sl/3-Web-App/README.md @@ -0,0 +1,35 @@ + +# Ustvarite spletno aplikacijo za uporabo vašega ML modela + +V tem delu učnega načrta boste spoznali praktično temo strojnega učenja: kako shraniti vaš Scikit-learn model kot datoteko, ki jo lahko uporabite za napovedi znotraj spletne aplikacije. Ko je model shranjen, se boste naučili, kako ga uporabiti v spletni aplikaciji, zgrajeni v Flasku. Najprej boste ustvarili model z uporabo podatkov, ki se nanašajo na opažanja NLP-jev! Nato boste zgradili spletno aplikacijo, ki vam bo omogočila vnos števila sekund skupaj z vrednostmi zemljepisne širine in dolžine za napoved, katera država je poročala o opažanju NLP-ja. + + + +Fotografija avtorja Michael Herren na Unsplash + +## Lekcije + +1. [Ustvarite spletno aplikacijo](1-Web-App/README.md) + +## Zasluge + +"Ustvarite spletno aplikacijo" je bilo napisano z ♥️ avtorice [Jen Looper](https://twitter.com/jenlooper). + +♥️ Kvize je napisal Rohan Raj. + +Podatkovni niz je pridobljen iz [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +Arhitektura spletne aplikacije je bila delno predlagana v [tem članku](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) in [tem repozitoriju](https://github.com/abhinavsagar/machine-learning-deployment) avtorja Abhinav Sagar. + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/1-Introduction/README.md b/translations/sl/4-Classification/1-Introduction/README.md new file mode 100644 index 00000000..0d9352ab --- /dev/null +++ b/translations/sl/4-Classification/1-Introduction/README.md @@ -0,0 +1,313 @@ + +# Uvod v klasifikacijo + +V teh štirih lekcijah boste raziskovali eno temeljnih področij klasičnega strojnega učenja - _klasifikacijo_. Preučili bomo uporabo različnih algoritmov za klasifikacijo z uporabo nabora podatkov o vseh čudovitih azijskih in indijskih kuhinjah. Upam, da ste lačni! + + + +> Praznujte panazijske kuhinje v teh lekcijah! Slika: [Jen Looper](https://twitter.com/jenlooper) + +Klasifikacija je oblika [nadzorovanega učenja](https://wikipedia.org/wiki/Supervised_learning), ki ima veliko skupnega s tehnikami regresije. Če je strojno učenje namenjeno napovedovanju vrednosti ali imen stvari z uporabo naborov podatkov, potem klasifikacijo običajno delimo v dve skupini: _binarna klasifikacija_ in _večrazredna klasifikacija_. + +[](https://youtu.be/eg8DJYwdMyg "Uvod v klasifikacijo") + +> 🎥 Kliknite zgornjo sliko za video: MIT-jev John Guttag predstavlja klasifikacijo + +Zapomnite si: + +- **Linearna regresija** vam je pomagala napovedati odnose med spremenljivkami in natančno predvideti, kam bo padla nova podatkovna točka glede na to črto. Na primer, lahko ste napovedali _kakšna bo cena buče septembra v primerjavi z decembrom_. +- **Logistična regresija** vam je pomagala odkriti "binarne kategorije": pri tej ceni, _ali je ta buča oranžna ali ne-oranžna_? + +Klasifikacija uporablja različne algoritme za določanje drugih načinov ugotavljanja oznake ali razreda podatkovne točke. Delali bomo s temi podatki o kuhinjah, da ugotovimo, ali lahko na podlagi skupine sestavin določimo izvorno kuhinjo. + +## [Predlekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Ta lekcija je na voljo tudi v jeziku R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Uvod + +Klasifikacija je ena temeljnih dejavnosti raziskovalcev strojnega učenja in podatkovnih znanstvenikov. Od osnovne klasifikacije binarne vrednosti ("ali je to e-poštno sporočilo vsiljena pošta ali ne?") do zapletene klasifikacije slik in segmentacije s pomočjo računalniškega vida, je vedno koristno znati razvrstiti podatke v razrede in jim zastaviti vprašanja. + +Če proces opišemo na bolj znanstven način, vaša metoda klasifikacije ustvari napovedni model, ki vam omogoča, da preslikate odnos med vhodnimi in izhodnimi spremenljivkami. + + + +> Binarni in večrazredni problemi za algoritme klasifikacije. Infografika: [Jen Looper](https://twitter.com/jenlooper) + +Preden začnemo s procesom čiščenja podatkov, njihove vizualizacije in priprave za naloge strojnega učenja, se naučimo nekaj več o različnih načinih, kako lahko strojno učenje uporabimo za klasifikacijo podatkov. + +Izpeljana iz [statistike](https://wikipedia.org/wiki/Statistical_classification), klasifikacija s klasičnim strojnim učenjem uporablja značilnosti, kot so `kadilec`, `teža` in `starost`, za določanje _verjetnosti razvoja določene bolezni_. Kot tehnika nadzorovanega učenja, podobna regresijskim vajam, ki ste jih izvajali prej, so vaši podatki označeni, algoritmi strojnega učenja pa te oznake uporabljajo za klasifikacijo in napovedovanje razredov (ali 'značilnosti') nabora podatkov ter njihovo dodelitev skupini ali izidu. + +✅ Vzemite si trenutek in si zamislite nabor podatkov o kuhinjah. Na katera vprašanja bi lahko odgovoril večrazredni model? Na katera vprašanja bi lahko odgovoril binarni model? Kaj če bi želeli ugotoviti, ali določena kuhinja uporablja sabljiko? Kaj če bi želeli preveriti, ali bi lahko iz vrečke zvezdastega janeža, artičok, cvetače in hrena pripravili tipično indijsko jed? + +[](https://youtu.be/GuTeDbaNoEU "Nore skrivnostne košare") + +> 🎥 Kliknite zgornjo sliko za video. Celoten koncept oddaje 'Chopped' temelji na 'skrivnostni košari', kjer morajo kuharji iz naključnih sestavin pripraviti jed. Zagotovo bi jim model strojnega učenja pomagal! + +## Pozdravljen 'klasifikator' + +Vprašanje, ki si ga želimo zastaviti o tem naboru podatkov o kuhinjah, je pravzaprav **večrazredno vprašanje**, saj imamo na voljo več potencialnih nacionalnih kuhinj. Glede na skupino sestavin, v kateri od teh številnih razredov bodo podatki ustrezali? + +Scikit-learn ponuja več različnih algoritmov za klasifikacijo podatkov, odvisno od vrste problema, ki ga želite rešiti. V naslednjih dveh lekcijah se boste naučili več o teh algoritmih. + +## Vaja - očistite in uravnotežite svoje podatke + +Prva naloga, preden začnemo s tem projektom, je očistiti in **uravnotežiti** podatke za boljše rezultate. Začnite z prazno datoteko _notebook.ipynb_ v korenski mapi te mape. + +Prva stvar, ki jo morate namestiti, je [imblearn](https://imbalanced-learn.org/stable/). To je paket Scikit-learn, ki vam bo omogočil boljše uravnoteženje podatkov (več o tej nalogi boste izvedeli v nadaljevanju). + +1. Za namestitev `imblearn` zaženite `pip install`, kot sledi: + + ```python + pip install imblearn + ``` + +1. Uvozite pakete, ki jih potrebujete za uvoz in vizualizacijo podatkov, prav tako uvozite `SMOTE` iz `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Zdaj ste pripravljeni na uvoz podatkov. + +1. Naslednja naloga je uvoz podatkov: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Z uporabo `read_csv()` boste prebrali vsebino csv datoteke _cusines.csv_ in jo shranili v spremenljivko `df`. + +1. Preverite obliko podatkov: + + ```python + df.head() + ``` + + Prvih pet vrstic izgleda takole: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Pridobite informacije o teh podatkih z uporabo `info()`: + + ```python + df.info() + ``` + + Vaš izpis je podoben: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Vaja - spoznavanje kuhinj + +Zdaj postane delo bolj zanimivo. Odkrijmo porazdelitev podatkov po kuhinjah. + +1. Prikaz podatkov kot stolpce z uporabo `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Število kuhinj je omejeno, vendar je porazdelitev podatkov neenakomerna. To lahko popravite! Preden to storite, raziščite še malo. + +1. Ugotovite, koliko podatkov je na voljo za vsako kuhinjo, in jih izpišite: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + Izpis izgleda takole: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Odkrijte sestavine + +Zdaj lahko globlje raziščete podatke in ugotovite, katere so tipične sestavine za posamezno kuhinjo. Odstraniti morate ponavljajoče se podatke, ki povzročajo zmedo med kuhinjami, zato se lotimo tega problema. + +1. Ustvarite funkcijo `create_ingredient()` v Pythonu za ustvarjanje podatkovnega okvira sestavin. Ta funkcija bo začela z odstranitvijo neuporabnega stolpca in razvrstila sestavine po njihovem številu: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Zdaj lahko uporabite to funkcijo, da dobite idejo o desetih najbolj priljubljenih sestavinah po kuhinji. + +1. Pokličite `create_ingredient()` in jo prikažite z uporabo `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Enako storite za japonske podatke: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Zdaj za kitajske sestavine: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Prikažite indijske sestavine: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Na koncu prikažite korejske sestavine: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Zdaj odstranite najpogostejše sestavine, ki povzročajo zmedo med različnimi kuhinjami, z uporabo `drop()`: + + Vsi imajo radi riž, česen in ingver! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Uravnotežite nabor podatkov + +Zdaj, ko ste očistili podatke, uporabite [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Synthetic Minority Over-sampling Technique" - za njihovo uravnoteženje. + +1. Pokličite `fit_resample()`, ta strategija ustvari nove vzorce z interpolacijo. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Z uravnoteženjem podatkov boste dosegli boljše rezultate pri klasifikaciji. Pomislite na binarno klasifikacijo. Če je večina vaših podatkov enega razreda, bo model strojnega učenja ta razred pogosteje napovedal, zgolj zato, ker je zanj več podatkov. Uravnoteženje podatkov odstrani to neravnovesje. + +1. Zdaj lahko preverite število oznak na sestavino: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Vaš izpis izgleda takole: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Podatki so zdaj čisti, uravnoteženi in zelo okusni! + +1. Zadnji korak je shranjevanje uravnoteženih podatkov, vključno z oznakami in značilnostmi, v nov podatkovni okvir, ki ga lahko izvozite v datoteko: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Še enkrat si oglejte podatke z uporabo `transformed_df.head()` in `transformed_df.info()`. Shranite kopijo teh podatkov za uporabo v prihodnjih lekcijah: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + Ta svež CSV je zdaj na voljo v korenski mapi podatkov. + +--- + +## 🚀Izziv + +Ta učni načrt vsebuje več zanimivih naborov podatkov. Prebrskajte mape `data` in preverite, ali katera vsebuje nabore podatkov, ki bi bili primerni za binarno ali večrazredno klasifikacijo? Na katera vprašanja bi lahko odgovorili s tem naborom podatkov? + +## [Po-lekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Raziščite API za SMOTE. Za katere primere uporabe je najbolj primeren? Katere težave rešuje? + +## Naloga + +[Raziščite metode klasifikacije](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/1-Introduction/assignment.md b/translations/sl/4-Classification/1-Introduction/assignment.md new file mode 100644 index 00000000..ce64f928 --- /dev/null +++ b/translations/sl/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Raziskovanje metod klasifikacije + +## Navodila + +V [dokumentaciji Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) boste našli obsežen seznam načinov za klasifikacijo podatkov. Opravite majhno raziskovanje v teh dokumentih: vaš cilj je poiskati metode klasifikacije in jih povezati z naborom podatkov iz tega učnega načrta, vprašanjem, ki ga lahko zastavite, ter tehniko klasifikacije. Ustvarite preglednico ali tabelo v .doc datoteki in pojasnite, kako bi nabor podatkov deloval z algoritmom klasifikacije. + +## Merila ocenjevanja + +| Merila | Odlično | Zadostno | Potrebna izboljšava | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | Predstavljen je dokument, ki zajema pregled 5 algoritmov skupaj s tehniko klasifikacije. Pregled je dobro razložen in podroben. | Predstavljen je dokument, ki zajema pregled 3 algoritmov skupaj s tehniko klasifikacije. Pregled je dobro razložen in podroben. | Predstavljen je dokument, ki zajema pregled manj kot treh algoritmov skupaj s tehniko klasifikacije, pregled pa ni dobro razložen ali podroben. | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/1-Introduction/solution/Julia/README.md b/translations/sl/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..cb73e280 --- /dev/null +++ b/translations/sl/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/2-Classifiers-1/README.md b/translations/sl/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 00000000..8915e216 --- /dev/null +++ b/translations/sl/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,253 @@ + +# Razvrščevalniki kuhinj 1 + +V tej lekciji boste uporabili podatkovni niz, ki ste ga shranili v prejšnji lekciji, poln uravnoteženih in čistih podatkov o kuhinjah. + +Ta podatkovni niz boste uporabili z različnimi razvrščevalniki, da _napoveste določeno nacionalno kuhinjo na podlagi skupine sestavin_. Med tem boste spoznali več o tem, kako lahko algoritme uporabimo za naloge razvrščanja. + +## [Predlekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) +# Priprava + +Če ste zaključili [Lekcijo 1](../1-Introduction/README.md), preverite, ali datoteka _cleaned_cuisines.csv_ obstaja v korenskem imeniku `/data` za te štiri lekcije. + +## Vaja - napoved nacionalne kuhinje + +1. V mapi _notebook.ipynb_ te lekcije uvozite to datoteko skupaj s knjižnico Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Podatki izgledajo takole: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Zdaj uvozite še nekaj knjižnic: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Razdelite koordinate X in y v dva podatkovna okvira za učenje. `cuisine` lahko uporabite kot podatkovni okvir z oznakami: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Videti bo takole: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Odstranite stolpca `Unnamed: 0` in `cuisine` z uporabo funkcije `drop()`. Preostale podatke shranite kot značilnosti za učenje: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Vaše značilnosti izgledajo takole: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +Zdaj ste pripravljeni na učenje modela! + +## Izbira razvrščevalnika + +Zdaj, ko so vaši podatki čisti in pripravljeni za učenje, morate izbrati algoritem za nalogo. + +Scikit-learn razvršča razvrščanje pod Nadzorovano učenje, v tej kategoriji pa najdete veliko načinov za razvrščanje. [Raznolikost](https://scikit-learn.org/stable/supervised_learning.html) je na prvi pogled precej osupljiva. Naslednje metode vključujejo tehnike razvrščanja: + +- Linearni modeli +- Podporni vektorski stroji +- Stohastični gradientni spust +- Najbližji sosedje +- Gaussovi procesi +- Odločitvena drevesa +- Metode ansambla (glasovalni razvrščevalnik) +- Večrazredni in večizhodni algoritmi (večrazredna in večoznačna razvrstitev, večrazredna-večizhodna razvrstitev) + +> Za razvrščanje podatkov lahko uporabite tudi [nevronske mreže](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification), vendar to presega obseg te lekcije. + +### Kateri razvrščevalnik izbrati? + +Torej, kateri razvrščevalnik izbrati? Pogosto je smiselno preizkusiti več razvrščevalnikov in iskati najboljši rezultat. Scikit-learn ponuja [primerjavo](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html) na ustvarjenem podatkovnem nizu, kjer primerja KNeighbors, SVC na dva načina, GaussianProcessClassifier, DecisionTreeClassifier, RandomForestClassifier, MLPClassifier, AdaBoostClassifier, GaussianNB in QuadraticDiscriminationAnalysis, pri čemer so rezultati vizualizirani: + + +> Grafi, ustvarjeni v dokumentaciji Scikit-learn + +> AutoML to težavo elegantno reši tako, da te primerjave izvaja v oblaku, kar vam omogoča izbiro najboljšega algoritma za vaše podatke. Preizkusite ga [tukaj](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) + +### Boljši pristop + +Boljši način kot naključno ugibanje je, da sledite idejam na tem prenosljivem [ML plonk listu](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott). Tukaj ugotovimo, da imamo za našo večrazredno težavo nekaj možnosti: + + +> Del Microsoftovega plonk lista algoritmov, ki podrobno opisuje možnosti za večrazredno razvrščanje + +✅ Prenesite ta plonk list, natisnite ga in obesite na steno! + +### Razmišljanje + +Poglejmo, ali lahko z razmišljanjem izberemo različne pristope glede na omejitve, ki jih imamo: + +- **Nevronske mreže so pretežke**. Glede na naš čist, a minimalen podatkovni niz in dejstvo, da izvajamo učenje lokalno prek beležk, so nevronske mreže pretežke za to nalogo. +- **Ni razvrščevalnika za dva razreda**. Ne uporabljamo razvrščevalnika za dva razreda, zato izključimo one-vs-all. +- **Odločitveno drevo ali logistična regresija bi lahko delovala**. Odločitveno drevo bi lahko delovalo, prav tako logistična regresija za večrazredne podatke. +- **Večrazredna izboljšana odločitvena drevesa rešujejo drugačen problem**. Večrazredna izboljšana odločitvena drevesa so najbolj primerna za neparametrične naloge, npr. naloge za ustvarjanje razvrstitev, zato za nas niso uporabna. + +### Uporaba Scikit-learn + +Za analizo podatkov bomo uporabili Scikit-learn. Vendar pa obstaja veliko načinov za uporabo logistične regresije v Scikit-learn. Oglejte si [parametre za nastavitev](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +V bistvu sta dva pomembna parametra - `multi_class` in `solver` - ki ju moramo določiti, ko Scikit-learn prosimo za izvedbo logistične regresije. Vrednost `multi_class` določa določeno vedenje. Vrednost `solver` določa, kateri algoritem uporabiti. Vsi reševalci ne morejo biti združeni z vsemi vrednostmi `multi_class`. + +Po dokumentaciji, v primeru večrazredne naloge, algoritem za učenje: + +- **Uporablja shemo one-vs-rest (OvR)**, če je možnost `multi_class` nastavljena na `ovr` +- **Uporablja izgubo navzkrižne entropije**, če je možnost `multi_class` nastavljena na `multinomial`. (Trenutno možnost `multinomial` podpirajo samo reševalci ‘lbfgs’, ‘sag’, ‘saga’ in ‘newton-cg’.) + +> 🎓 'Shema' tukaj je lahko 'ovr' (one-vs-rest) ali 'multinomial'. Ker je logistična regresija zasnovana za podporo binarni razvrstitvi, ji te sheme omogočajo boljše obravnavanje večrazrednih nalog razvrščanja. [vir](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 'Solver' je definiran kot "algoritem za uporabo pri optimizacijskem problemu". [vir](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn ponuja to tabelo za razlago, kako reševalci obravnavajo različne izzive, ki jih predstavljajo različne vrste podatkovnih struktur: + + + +## Vaja - razdelitev podatkov + +Osredotočimo se na logistično regresijo za naš prvi poskus učenja, saj ste se o njej nedavno učili v prejšnji lekciji. +Razdelite svoje podatke v skupine za učenje in testiranje z uporabo funkcije `train_test_split()`: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## Vaja - uporaba logistične regresije + +Ker uporabljate večrazredno nalogo, morate izbrati, katero _shemo_ uporabiti in kateri _reševalec_ nastaviti. Uporabite LogisticRegression z večrazredno nastavitvijo in reševalcem **liblinear** za učenje. + +1. Ustvarite logistično regresijo z `multi_class` nastavljeno na `ovr` in reševalcem nastavljenim na `liblinear`: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ Preizkusite drugega reševalca, kot je `lbfgs`, ki je pogosto nastavljen kot privzet. +> Upoštevajte, uporabite funkcijo Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) za sploščitev vaših podatkov, kadar je to potrebno. +Natančnost je dobra pri več kot **80%**! + +1. Ta model lahko preizkusite z eno vrstico podatkov (#50): + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + Rezultat se izpiše: + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ Poskusite z drugo številko vrstice in preverite rezultate. + +1. Če želite podrobneje raziskati, lahko preverite natančnost te napovedi: + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + Rezultat se izpiše - indijska kuhinja je najboljša ugotovitev z dobro verjetnostjo: + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ Ali lahko razložite, zakaj je model precej prepričan, da gre za indijsko kuhinjo? + +1. Pridobite več podrobnosti z izpisom poročila o klasifikaciji, kot ste to storili pri lekcijah o regresiji: + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀Izziv + +V tej lekciji ste uporabili očiščene podatke za izdelavo modela strojnega učenja, ki lahko napove nacionalno kuhinjo na podlagi serije sestavin. Vzemite si čas in preberite številne možnosti, ki jih Scikit-learn ponuja za klasifikacijo podatkov. Podrobneje raziščite koncept 'solverja', da boste razumeli, kaj se dogaja v ozadju. + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled & Samostojno učenje + +Podrobneje raziščite matematiko za logistično regresijo v [tej lekciji](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) +## Naloga + +[Preučite solverje](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/2-Classifiers-1/assignment.md b/translations/sl/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 00000000..6fbd955b --- /dev/null +++ b/translations/sl/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,23 @@ + +# Preučite reševalnike +## Navodila + +V tej lekciji ste spoznali različne reševalnike, ki združujejo algoritme s procesom strojnega učenja za ustvarjanje natančnega modela. Preglejte reševalnike, navedene v lekciji, in izberite dva. S svojimi besedami primerjajte in primerjajte ta dva reševalnika. Kakšno vrsto problema rešujeta? Kako delujeta z različnimi podatkovnimi strukturami? Zakaj bi izbrali enega namesto drugega? +## Merila + +| Merila | Izjemno | Zadostno | Potrebne izboljšave | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | Predstavljen je .doc dokument z dvema odstavkoma, vsak o enem reševalniku, s premišljenimi primerjavami. | Predstavljen je .doc dokument z enim odstavkom | Naloga je nepopolna | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/sl/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 00000000..402d7838 --- /dev/null +++ b/translations/sl/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/3-Classifiers-2/README.md b/translations/sl/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 00000000..a78d428a --- /dev/null +++ b/translations/sl/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,249 @@ + +# Razvrščevalniki kuhinj 2 + +V tej drugi lekciji o razvrščanju boste raziskali več načinov za razvrščanje numeričnih podatkov. Prav tako boste spoznali posledice izbire enega razvrščevalnika namesto drugega. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +### Predpogoji + +Predvidevamo, da ste zaključili prejšnje lekcije in imate očiščen nabor podatkov v svoji mapi `data`, imenovan _cleaned_cuisines.csv_, ki se nahaja v korenski mapi tega 4-lekcijskega sklopa. + +### Priprava + +Vaša datoteka _notebook.ipynb_ je bila naložena z očiščenim naborom podatkov, ki je razdeljen na podatkovna okvira X in y, pripravljena za proces gradnje modela. + +## Zemljevid razvrščanja + +Prej ste se naučili o različnih možnostih razvrščanja podatkov z uporabo Microsoftovega priročnika. Scikit-learn ponuja podoben, vendar bolj podroben priročnik, ki vam lahko dodatno pomaga zožiti izbiro ocenjevalnikov (drugi izraz za razvrščevalnike): + + +> Nasvet: [obiskujte ta zemljevid na spletu](https://scikit-learn.org/stable/tutorial/machine_learning_map/) in kliknite po poti za branje dokumentacije. + +### Načrt + +Ta zemljevid je zelo koristen, ko imate jasno predstavo o svojih podatkih, saj lahko 'hodite' po njegovih poteh do odločitve: + +- Imamo >50 vzorcev +- Želimo napovedati kategorijo +- Imamo označene podatke +- Imamo manj kot 100K vzorcev +- ✨ Lahko izberemo Linear SVC +- Če to ne deluje, ker imamo numerične podatke + - Lahko poskusimo ✨ KNeighbors Classifier + - Če to ne deluje, poskusimo ✨ SVC in ✨ Ensemble Classifiers + +To je zelo koristna pot za sledenje. + +## Naloga - razdelite podatke + +Sledimo tej poti in začnemo z uvozom nekaterih knjižnic za uporabo. + +1. Uvozite potrebne knjižnice: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Razdelite svoje podatke na trening in test: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linearni SVC razvrščevalnik + +Support-Vector clustering (SVC) je del družine tehnik strojnega učenja Support-Vector Machines (več o tem spodaj). Pri tej metodi lahko izberete 'jedro' za odločanje, kako razvrstiti oznake. Parameter 'C' se nanaša na 'regularizacijo', ki uravnava vpliv parametrov. Jedro je lahko eno izmed [več možnosti](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); tukaj ga nastavimo na 'linearno', da zagotovimo uporabo linearnega SVC. Privzeta vrednost za verjetnost je 'false'; tukaj jo nastavimo na 'true', da pridobimo ocene verjetnosti. Naključno stanje nastavimo na '0', da premešamo podatke za pridobitev verjetnosti. + +### Naloga - uporabite linearni SVC + +Začnite z ustvarjanjem matrike razvrščevalnikov. Postopoma boste dodajali tej matriki, ko bomo testirali. + +1. Začnite z Linearnim SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Natrenirajte svoj model z Linearnim SVC in natisnite poročilo: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Rezultat je precej dober: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors razvrščevalnik + +K-Neighbors je del družine metod strojnega učenja "neighbors", ki se lahko uporablja za nadzorovano in nenadzorovano učenje. Pri tej metodi se ustvari vnaprej določeno število točk, okoli katerih se zbirajo podatki, da se lahko za podatke napovejo posplošene oznake. + +### Naloga - uporabite K-Neighbors razvrščevalnik + +Prejšnji razvrščevalnik je bil dober in je dobro deloval s podatki, vendar morda lahko dosežemo boljšo natančnost. Poskusite K-Neighbors razvrščevalnik. + +1. Dodajte vrstico v svojo matriko razvrščevalnikov (dodajte vejico za element Linear SVC): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Rezultat je nekoliko slabši: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Preberite več o [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Support Vector razvrščevalnik + +Support-Vector razvrščevalniki so del družine metod strojnega učenja [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine), ki se uporabljajo za naloge razvrščanja in regresije. SVM "preslika primere treninga v točke v prostoru", da maksimizira razdaljo med dvema kategorijama. Naknadni podatki so preslikani v ta prostor, da se lahko napove njihova kategorija. + +### Naloga - uporabite Support Vector razvrščevalnik + +Poskusimo doseči nekoliko boljšo natančnost s Support Vector razvrščevalnikom. + +1. Dodajte vejico za element K-Neighbors in nato dodajte to vrstico: + + ```python + 'SVC': SVC(), + ``` + + Rezultat je zelo dober! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Preberite več o [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Ensemble razvrščevalniki + +Sledimo poti do samega konca, čeprav je bil prejšnji test zelo dober. Poskusimo nekaj 'Ensemble razvrščevalnikov', natančneje Random Forest in AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Rezultat je zelo dober, še posebej za Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Preberite več o [Ensemble razvrščevalnikih](https://scikit-learn.org/stable/modules/ensemble.html) + +Ta metoda strojnega učenja "združuje napovedi več osnovnih ocenjevalnikov", da izboljša kakovost modela. V našem primeru smo uporabili Random Trees in AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), metoda povprečenja, gradi 'gozd' 'odločilnih dreves', ki so prežeta z naključnostjo, da se izogne prekomernemu prileganju. Parameter n_estimators je nastavljen na število dreves. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) prilagodi razvrščevalnik naboru podatkov in nato prilagodi kopije tega razvrščevalnika istemu naboru podatkov. Osredotoča se na uteži nepravilno razvrščenih elementov in prilagodi prileganje za naslednji razvrščevalnik, da jih popravi. + +--- + +## 🚀Izziv + +Vsaka od teh tehnik ima veliko število parametrov, ki jih lahko prilagodite. Raziskujte privzete parametre vsake metode in razmislite, kaj bi pomenilo prilagajanje teh parametrov za kakovost modela. + +## [Zaključni kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +V teh lekcijah je veliko žargona, zato si vzemite trenutek za pregled [tega seznama](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) uporabne terminologije! + +## Naloga + +[Parameter play](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni prevod s strani človeka. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/3-Classifiers-2/assignment.md b/translations/sl/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 00000000..45b1da25 --- /dev/null +++ b/translations/sl/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,25 @@ + +# Igra s parametri + +## Navodila + +Pri delu s temi klasifikatorji je veliko parametrov, ki so privzeto nastavljeni. Intellisense v VS Code vam lahko pomaga raziskati te parametre. Uporabite eno od tehnik strojnega učenja za klasifikacijo, ki so predstavljene v tej lekciji, in ponovno trenirajte modele, pri čemer prilagodite različne vrednosti parametrov. Ustvarite beležko, v kateri pojasnite, zakaj nekatere spremembe izboljšajo kakovost modela, medtem ko druge poslabšajo. Bodite podrobni v svojem odgovoru. + +## Merila ocenjevanja + +| Merilo | Odlično | Zadostno | Potrebne izboljšave | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Predstavljena je beležka z v celoti izdelanim klasifikatorjem, prilagojenimi parametri in pojasnili v besedilnih poljih | Beležka je delno predstavljena ali slabo pojasnjena | Beležka je hroščata ali pomanjkljiva | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/sl/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 00000000..270433eb --- /dev/null +++ b/translations/sl/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno nadomestno besedilo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/4-Applied/README.md b/translations/sl/4-Classification/4-Applied/README.md new file mode 100644 index 00000000..21a0dfea --- /dev/null +++ b/translations/sl/4-Classification/4-Applied/README.md @@ -0,0 +1,329 @@ + +# Zgradite spletno aplikacijo za priporočanje kulinarike + +V tej lekciji boste zgradili model za klasifikacijo z uporabo nekaterih tehnik, ki ste se jih naučili v prejšnjih lekcijah, ter z okusnim kulinaričnim naborom podatkov, ki smo ga uporabljali skozi celotno serijo. Poleg tega boste zgradili majhno spletno aplikacijo, ki bo uporabljala shranjen model, pri čemer boste izkoristili Onnx-ov spletni runtime. + +Ena najbolj uporabnih praktičnih aplikacij strojnega učenja je gradnja sistemov za priporočanje, in danes lahko naredite prvi korak v tej smeri! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Kliknite zgornjo sliko za video: Jen Looper gradi spletno aplikacijo z uporabo klasificiranih kulinaričnih podatkov + +## [Predlekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +V tej lekciji se boste naučili: + +- Kako zgraditi model in ga shraniti kot Onnx model +- Kako uporabiti Netron za pregled modela +- Kako uporabiti vaš model v spletni aplikaciji za sklepanje + +## Zgradite svoj model + +Gradnja aplikativnih sistemov strojnega učenja je pomemben del uporabe teh tehnologij v poslovnih sistemih. Modele lahko uporabite znotraj svojih spletnih aplikacij (in jih tako po potrebi uporabite v offline kontekstu) z uporabo Onnx-a. + +V [prejšnji lekciji](../../3-Web-App/1-Web-App/README.md) ste zgradili regresijski model o opažanjih NLP-jev, ga "pickle-ali" in uporabili v Flask aplikaciji. Čeprav je ta arhitektura zelo uporabna, gre za polno Python aplikacijo, vaše zahteve pa lahko vključujejo uporabo JavaScript aplikacije. + +V tej lekciji lahko zgradite osnovni sistem za sklepanje, ki temelji na JavaScript-u. Najprej pa morate trenirati model in ga pretvoriti za uporabo z Onnx-om. + +## Naloga - trenirajte klasifikacijski model + +Najprej trenirajte klasifikacijski model z uporabo očiščenega nabora podatkov o kulinariki, ki smo ga uporabljali. + +1. Začnite z uvozom uporabnih knjižnic: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Potrebujete '[skl2onnx](https://onnx.ai/sklearn-onnx/)', da pomagate pretvoriti vaš Scikit-learn model v Onnx format. + +1. Nato obdelajte podatke na enak način kot v prejšnjih lekcijah, tako da preberete CSV datoteko z uporabo `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Odstranite prvi dve nepotrebni stolpci in shranite preostale podatke kot 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Shranite oznake kot 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Začnite rutino treniranja + +Uporabili bomo knjižnico 'SVC', ki ima dobro natančnost. + +1. Uvozite ustrezne knjižnice iz Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Ločite podatke na učne in testne sklope: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Zgradite klasifikacijski model SVC, kot ste to storili v prejšnji lekciji: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Zdaj preizkusite svoj model z uporabo `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Izpišite poročilo o klasifikaciji, da preverite kakovost modela: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Kot smo videli prej, je natančnost dobra: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Pretvorite svoj model v Onnx + +Poskrbite, da bo pretvorba izvedena z ustreznim številom tenzorjev. Ta nabor podatkov ima 380 sestavin, zato morate to število označiti v `FloatTensorType`: + +1. Pretvorite z uporabo števila tenzorjev 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Ustvarite onx in shranite kot datoteko **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Opomba: V vašem skriptu za pretvorbo lahko podate [možnosti](https://onnx.ai/sklearn-onnx/parameterized.html). V tem primeru smo nastavili 'nocl' na True in 'zipmap' na False. Ker gre za klasifikacijski model, imate možnost odstraniti ZipMap, ki ustvari seznam slovarjev (ni potrebno). `nocl` se nanaša na vključitev informacij o razredih v model. Zmanjšajte velikost modela tako, da nastavite `nocl` na 'True'. + +Zagon celotnega zvezka bo zdaj zgradil Onnx model in ga shranil v to mapo. + +## Preglejte svoj model + +Onnx modeli niso zelo vidni v Visual Studio Code, vendar obstaja zelo dobra brezplačna programska oprema, ki jo mnogi raziskovalci uporabljajo za vizualizacijo modela, da se prepričajo, da je pravilno zgrajen. Prenesite [Netron](https://github.com/lutzroeder/Netron) in odprite datoteko model.onnx. Videli boste vizualizacijo vašega preprostega modela, z njegovimi 380 vhodi in klasifikatorjem: + + + +Netron je uporabno orodje za pregled vaših modelov. + +Zdaj ste pripravljeni uporabiti ta zanimiv model v spletni aplikaciji. Zgradimo aplikacijo, ki bo uporabna, ko boste pogledali v svoj hladilnik in poskušali ugotoviti, katero kombinacijo preostalih sestavin lahko uporabite za pripravo določene kulinarike, kot jo določi vaš model. + +## Zgradite spletno aplikacijo za priporočanje + +Svoj model lahko uporabite neposredno v spletni aplikaciji. Ta arhitektura omogoča tudi lokalno delovanje in celo offline uporabo, če je potrebno. Začnite z ustvarjanjem datoteke `index.html` v isti mapi, kjer ste shranili svojo datoteko `model.onnx`. + +1. V tej datoteki _index.html_ dodajte naslednjo oznako: + + ```html + + + + + + ... + + + ``` + +1. Zdaj, znotraj oznak `body`, dodajte nekaj oznak za prikaz seznama potrditvenih polj, ki odražajo nekatere sestavine: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Opazite, da je vsakemu potrditvenemu polju dodeljena vrednost. To odraža indeks, kjer je sestavina najdena glede na nabor podatkov. Jabolko, na primer, v tem abecednem seznamu zaseda peti stolpec, zato je njegova vrednost '4', saj začnemo šteti pri 0. Posvetujte se s [preglednico sestavin](../../../../4-Classification/data/ingredient_indexes.csv), da odkrijete indeks določene sestavine. + + Nadaljujte delo v datoteki index.html in dodajte blok skripta, kjer je model poklican po zadnjem zapiralnem ``. + +1. Najprej uvozite [Onnx Runtime](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime omogoča izvajanje vaših Onnx modelov na širokem spektru strojne opreme, vključno z optimizacijami in API-jem za uporabo. + +1. Ko je Runtime na mestu, ga lahko pokličete: + + ```html + + ``` + +V tej kodi se dogaja več stvari: + +1. Ustvarili ste polje 380 možnih vrednosti (1 ali 0), ki se nastavijo in pošljejo modelu za sklepanje, odvisno od tega, ali je potrditveno polje označeno. +2. Ustvarili ste polje potrditvenih polj in način za določanje, ali so označena, v funkciji `init`, ki se pokliče ob zagonu aplikacije. Ko je potrditveno polje označeno, se polje `ingredients` spremeni, da odraža izbrano sestavino. +3. Ustvarili ste funkcijo `testCheckboxes`, ki preverja, ali je bilo katero potrditveno polje označeno. +4. Uporabite funkcijo `startInference`, ko je gumb pritisnjen, in če je katero potrditveno polje označeno, začnete sklepanje. +5. Rutina sklepanja vključuje: + 1. Nastavitev asinhronega nalaganja modela + 2. Ustvarjanje strukture Tensor za pošiljanje modelu + 3. Ustvarjanje 'feeds', ki odražajo vhod `float_input`, ki ste ga ustvarili med treniranjem modela (lahko uporabite Netron za preverjanje tega imena) + 4. Pošiljanje teh 'feeds' modelu in čakanje na odgovor + +## Preizkusite svojo aplikacijo + +Odprite terminal v Visual Studio Code v mapi, kjer se nahaja vaša datoteka index.html. Poskrbite, da imate [http-server](https://www.npmjs.com/package/http-server) globalno nameščen, in vnesite `http-server` v ukazni vrstici. Odpre se localhost, kjer lahko vidite svojo spletno aplikacijo. Preverite, katera kulinarika je priporočena glede na različne sestavine: + + + +Čestitamo, ustvarili ste spletno aplikacijo za 'priporočanje' z nekaj polji. Vzemite si čas za nadgradnjo tega sistema! + +## 🚀Izziv + +Vaša spletna aplikacija je zelo osnovna, zato jo nadaljujte z nadgradnjo z uporabo sestavin in njihovih indeksov iz podatkov [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Katere kombinacije okusov delujejo za pripravo določene nacionalne jedi? + +## [Po-lekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Čeprav je ta lekcija le na kratko obravnavala uporabnost ustvarjanja sistema za priporočanje sestavin, je to področje aplikacij strojnega učenja zelo bogato z zgledi. Preberite več o tem, kako so ti sistemi zgrajeni: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Naloga + +[Zgradite nov sistem za priporočanje](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/4-Applied/assignment.md b/translations/sl/4-Classification/4-Applied/assignment.md new file mode 100644 index 00000000..7da4f63b --- /dev/null +++ b/translations/sl/4-Classification/4-Applied/assignment.md @@ -0,0 +1,25 @@ + +# Ustvari priporočilni sistem + +## Navodila + +Glede na vaje v tej lekciji zdaj veste, kako zgraditi spletno aplikacijo na osnovi JavaScripta z uporabo Onnx Runtime in pretvorjenega Onnx modela. Poskusite ustvariti nov priporočilni sistem z uporabo podatkov iz teh lekcij ali drugih virov (prosimo, navedite vir). Morda bi lahko ustvarili priporočilni sistem za hišne ljubljenčke glede na različne osebnostne lastnosti ali priporočilni sistem za glasbene žanre glede na razpoloženje osebe. Bodite ustvarjalni! + +## Merila + +| Merilo | Odlično | Zadostno | Potrebno izboljšanje | +| -------- | ----------------------------------------------------------------------- | ------------------------------------ | --------------------------------- | +| | Predstavljena sta spletna aplikacija in zvezek, oba dobro dokumentirana in delujoča | Eden od teh dveh manjka ali ima pomanjkljivosti | Oba manjkata ali imata pomanjkljivosti | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/4-Classification/README.md b/translations/sl/4-Classification/README.md new file mode 100644 index 00000000..209d3f28 --- /dev/null +++ b/translations/sl/4-Classification/README.md @@ -0,0 +1,41 @@ + +# Začetek s klasifikacijo + +## Regionalna tema: Okusne azijske in indijske kuhinje 🍜 + +V Aziji in Indiji so prehranske tradicije izjemno raznolike in zelo okusne! Poglejmo podatke o regionalnih kuhinjah, da bi bolje razumeli njihove sestavine. + + +> Fotografija avtorja Lisheng Chang na Unsplash + +## Kaj se boste naučili + +V tem poglavju boste nadgradili svoje predhodno znanje o regresiji in spoznali druge klasifikatorje, ki jih lahko uporabite za boljše razumevanje podatkov. + +> Obstajajo uporabna orodja z malo kode, ki vam lahko pomagajo pri učenju dela s klasifikacijskimi modeli. Poskusite [Azure ML za to nalogo](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Lekcije + +1. [Uvod v klasifikacijo](1-Introduction/README.md) +2. [Več klasifikatorjev](2-Classifiers-1/README.md) +3. [Še drugi klasifikatorji](3-Classifiers-2/README.md) +4. [Uporabljeni ML: izdelava spletne aplikacije](4-Applied/README.md) + +## Avtorji + +"Začetek s klasifikacijo" sta napisali z ♥️ [Cassie Breviu](https://www.twitter.com/cassiebreviu) in [Jen Looper](https://www.twitter.com/jenlooper) + +Podatki o okusnih kuhinjah so bili pridobljeni iz [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/1-Visualize/README.md b/translations/sl/5-Clustering/1-Visualize/README.md new file mode 100644 index 00000000..db7f1eed --- /dev/null +++ b/translations/sl/5-Clustering/1-Visualize/README.md @@ -0,0 +1,347 @@ + +# Uvod v razvrščanje v skupine + +Razvrščanje v skupine je vrsta [nenadzorovanega učenja](https://wikipedia.org/wiki/Unsupervised_learning), ki predpostavlja, da je podatkovni niz neoznačen ali da njegovi vnosi niso povezani z vnaprej določenimi izhodi. Uporablja različne algoritme za razvrščanje neoznačenih podatkov in zagotavlja skupine glede na vzorce, ki jih zazna v podatkih. + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 Kliknite zgornjo sliko za video. Medtem ko študirate strojno učenje z razvrščanjem v skupine, uživajte ob nigerijskih plesnih skladbah - to je visoko ocenjena pesem iz leta 2014 skupine PSquare. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +### Uvod + +[Razvrščanje v skupine](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) je zelo uporabno za raziskovanje podatkov. Poglejmo, ali lahko pomaga odkriti trende in vzorce v načinu, kako nigerijsko občinstvo uživa glasbo. + +✅ Vzemite si trenutek in razmislite o uporabi razvrščanja v skupine. V resničnem življenju se razvrščanje zgodi, kadar imate kup perila in morate razvrstiti oblačila družinskih članov 🧦👕👖🩲. V podatkovni znanosti se razvrščanje zgodi, ko poskušate analizirati uporabnikove preference ali določiti značilnosti katerega koli neoznačenega podatkovnega niza. Razvrščanje na nek način pomaga razumeti kaos, kot je predal za nogavice. + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 Kliknite zgornjo sliko za video: John Guttag z MIT-a predstavlja razvrščanje v skupine. + +V profesionalnem okolju se razvrščanje lahko uporablja za določanje stvari, kot je segmentacija trga, na primer za ugotavljanje, katere starostne skupine kupujejo določene izdelke. Druga uporaba bi bila odkrivanje anomalij, morda za zaznavanje goljufij iz podatkovnega niza transakcij s kreditnimi karticami. Lahko pa uporabite razvrščanje za določanje tumorjev v seriji medicinskih skenov. + +✅ Razmislite za trenutek, kako ste morda naleteli na razvrščanje 'v naravi', v bančništvu, e-trgovini ali poslovnem okolju. + +> 🎓 Zanimivo je, da analiza skupin izvira iz področij antropologije in psihologije v 30. letih prejšnjega stoletja. Si lahko predstavljate, kako bi jo takrat uporabljali? + +Druga možnost je, da jo uporabite za razvrščanje rezultatov iskanja - na primer po nakupovalnih povezavah, slikah ali ocenah. Razvrščanje je uporabno, kadar imate velik podatkovni niz, ki ga želite zmanjšati in na katerem želite opraviti bolj podrobno analizo, zato se tehnika lahko uporablja za spoznavanje podatkov, preden se zgradijo drugi modeli. + +✅ Ko so vaši podatki organizirani v skupine, jim dodelite ID skupine, kar je lahko uporabno pri ohranjanju zasebnosti podatkovnega niza; namesto bolj razkrivajočih identifikacijskih podatkov se lahko sklicujete na podatkovno točko z njenim ID-jem skupine. Ali lahko pomislite na druge razloge, zakaj bi se sklicevali na ID skupine namesto na druge elemente skupine za identifikacijo? + +Poglobite svoje razumevanje tehnik razvrščanja v tem [učnem modulu](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott). + +## Začetek z razvrščanjem v skupine + +[Scikit-learn ponuja širok nabor](https://scikit-learn.org/stable/modules/clustering.html) metod za izvajanje razvrščanja v skupine. Vrsta, ki jo izberete, bo odvisna od vašega primera uporabe. Po dokumentaciji ima vsaka metoda različne prednosti. Tukaj je poenostavljena tabela metod, ki jih podpira Scikit-learn, in njihovih ustreznih primerov uporabe: + +| Ime metode | Primer uporabe | +| :-------------------------- | :-------------------------------------------------------------------- | +| K-Means | splošna uporaba, induktivna | +| Affinity propagation | številne, neenakomerne skupine, induktivna | +| Mean-shift | številne, neenakomerne skupine, induktivna | +| Spectral clustering | malo, enakomerne skupine, transduktivna | +| Ward hierarchical clustering | številne, omejene skupine, transduktivna | +| Agglomerative clustering | številne, omejene, neevklidske razdalje, transduktivna | +| DBSCAN | neploska geometrija, neenakomerne skupine, transduktivna | +| OPTICS | neploska geometrija, neenakomerne skupine z različno gostoto, transduktivna | +| Gaussian mixtures | ploska geometrija, induktivna | +| BIRCH | velik podatkovni niz z odstopanji, induktivna | + +> 🎓 Kako ustvarjamo skupine, je močno povezano s tem, kako združujemo podatkovne točke v skupine. Razložimo nekaj terminologije: +> +> 🎓 ['Transduktivno' vs. 'induktivno'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Transduktivno sklepanje izhaja iz opazovanih primerov usposabljanja, ki se preslikajo na specifične testne primere. Induktivno sklepanje izhaja iz primerov usposabljanja, ki se preslikajo na splošna pravila, ki se nato uporabijo na testnih primerih. +> +> Primer: Predstavljajte si, da imate podatkovni niz, ki je le delno označen. Nekatere stvari so 'plošče', nekatere 'CD-ji', nekatere pa so prazne. Vaša naloga je zagotoviti oznake za prazne. Če izberete induktivni pristop, bi usposobili model, ki išče 'plošče' in 'CD-je', ter te oznake uporabili na neoznačenih podatkih. Ta pristop bo imel težave pri razvrščanju stvari, ki so dejansko 'kasete'. Transduktivni pristop pa učinkoviteje obravnava te neznane podatke, saj deluje na združevanju podobnih predmetov in nato dodeli oznako skupini. V tem primeru bi skupine lahko odražale 'okrogle glasbene stvari' in 'kvadratne glasbene stvari'. +> +> 🎓 ['Neploska' vs. 'ploska' geometrija](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Izpeljano iz matematične terminologije, neploska vs. ploska geometrija se nanaša na merjenje razdalj med točkami bodisi s 'plosko' ([evklidsko](https://wikipedia.org/wiki/Euclidean_geometry)) bodisi z 'neplosko' (neevklidsko) geometrijsko metodo. +> +>'Ploska' v tem kontekstu se nanaša na evklidsko geometrijo (deli katere se učijo kot 'ravninska' geometrija), medtem ko se 'neploska' nanaša na neevklidsko geometrijo. Kaj ima geometrija skupnega s strojno inteligenco? Kot dve področji, ki temeljita na matematiki, mora obstajati skupen način merjenja razdalj med točkami v skupinah, kar se lahko izvede na 'ploski' ali 'neploski' način, odvisno od narave podatkov. [Evklidske razdalje](https://wikipedia.org/wiki/Euclidean_distance) se merijo kot dolžina odseka med dvema točkama. [Neevklidske razdalje](https://wikipedia.org/wiki/Non-Euclidean_geometry) se merijo vzdolž krivulje. Če se vaši podatki, vizualizirani, ne nahajajo na ravnini, boste morda morali uporabiti specializiran algoritem za obravnavo. +> + +> Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Razdalje'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Skupine so opredeljene z matriko razdalj, npr. razdaljami med točkami. Te razdalje je mogoče meriti na več načinov. Evklidske skupine so opredeljene z povprečjem vrednosti točk in vsebujejo 'centroid' ali osrednjo točko. Razdalje se tako merijo glede na razdaljo do tega centroida. Neevklidske razdalje se nanašajo na 'clustroid', točko, ki je najbližja drugim točkam. Clustroidi so lahko opredeljeni na različne načine. +> +> 🎓 ['Omejeno'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Omejeno razvrščanje](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) uvaja 'polnadzorovano' učenje v to nenadzorovano metodo. Razmerja med točkami so označena kot 'ne smejo se povezati' ali 'morajo se povezati', tako da se na podatkovni niz vsilijo nekatera pravila. +> +>Primer: Če je algoritem sproščen na seriji neoznačenih ali delno označenih podatkov, so lahko skupine, ki jih ustvari, slabe kakovosti. V zgornjem primeru bi skupine lahko združevale 'okrogle glasbene stvari', 'kvadratne glasbene stvari', 'trikotne stvari' in 'piškote'. Če so podane nekatere omejitve ali pravila ("predmet mora biti iz plastike", "predmet mora biti sposoben proizvajati glasbo"), to lahko pomaga 'omejiti' algoritem, da sprejme boljše odločitve. +> +> 🎓 'Gostota' +> +> Podatki, ki so 'hrupni', se štejejo za 'goste'. Razdalje med točkami v vsaki od njihovih skupin se lahko ob pregledu izkažejo za bolj ali manj goste ali 'natrpane', zato je treba te podatke analizirati z ustrezno metodo razvrščanja. [Ta članek](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) prikazuje razliko med uporabo algoritmov K-Means in HDBSCAN za raziskovanje hrupnega podatkovnega niza z neenakomerno gostoto skupin. + +## Algoritmi za razvrščanje v skupine + +Obstaja več kot 100 algoritmov za razvrščanje v skupine, njihova uporaba pa je odvisna od narave podatkov. Oglejmo si nekatere glavne: + +- **Hierarhično razvrščanje**. Če je predmet razvrščen glede na svojo bližino bližnjemu predmetu, namesto bolj oddaljenemu, se skupine oblikujejo na podlagi razdalje njihovih članov do in od drugih predmetov. Scikit-learnova aglomerativna razvrstitev je hierarhična. + +  + > Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Razvrščanje po centroidih**. Ta priljubljen algoritem zahteva izbiro 'k', ali število skupin, ki jih je treba oblikovati, nato pa algoritem določi osrednjo točko skupine in zbira podatke okoli te točke. [K-means razvrščanje](https://wikipedia.org/wiki/K-means_clustering) je priljubljena različica razvrščanja po centroidih. Center je določen glede na najbližje povprečje, od tod tudi ime. Kvadratna razdalja od skupine je minimizirana. + +  + > Infografika avtorja [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Razvrščanje na podlagi porazdelitve**. Temelji na statističnem modeliranju, razvrščanje na podlagi porazdelitve se osredotoča na določanje verjetnosti, da podatkovna točka pripada skupini, in ji ustrezno dodeli mesto. Metode Gaussovih mešanic spadajo v to vrsto. + +- **Razvrščanje na podlagi gostote**. Podatkovne točke so dodeljene skupinam glede na njihovo gostoto ali njihovo združevanje okoli drugih točk. Podatkovne točke, ki so daleč od skupine, se štejejo za odstopanja ali hrup. DBSCAN, Mean-shift in OPTICS spadajo v to vrsto razvrščanja. + +- **Razvrščanje na podlagi mreže**. Za večdimenzionalne podatkovne nize se ustvari mreža, podatki pa se razdelijo med celice mreže, s čimer se ustvarijo skupine. + +## Vaja - razvrstite svoje podatke + +Razvrščanje kot tehnika je močno podprto z ustrezno vizualizacijo, zato začnimo z vizualizacijo naših glasbenih podatkov. Ta vaja nam bo pomagala odločiti, katero metodo razvrščanja bi bilo najbolj učinkovito uporabiti glede na naravo teh podatkov. + +1. Odprite datoteko [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) v tej mapi. + +1. Uvozite paket `Seaborn` za dobro vizualizacijo podatkov. + + ```python + !pip install seaborn + ``` + +1. Dodajte podatke o pesmih iz [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Naložite podatkovni okvir z nekaterimi podatki o pesmih. Pripravite se na raziskovanje teh podatkov z uvozom knjižnic in izpisom podatkov: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Preverite prvih nekaj vrstic podatkov: + + | | ime | album | izvajalec | glavni žanr izvajalca | datum izdaje | dolžina | priljubljenost | plesnost | akustičnost | energija | instrumentalnost | živost | glasnost | govornost | tempo | časovni podpis | + | --- | ------------------------ | ---------------------------- | ------------------- | --------------------- | ------------ | ------ | ------------- | ------------ | ------------ | ------ | ---------------- | ------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternativni r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | +| 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | +| 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | +| 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Pridobite nekaj informacij o podatkovnem okviru z uporabo `info()`: + + ```python + df.info() + ``` + + Izhod je videti takole: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Dvakrat preverite, ali obstajajo manjkajoče vrednosti, tako da pokličete `isnull()` in preverite, da je vsota 0: + + ```python + df.isnull().sum() + ``` + + Videti je dobro: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Opis podatkov: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% | 2014 | 199305 | 0 | 0.681 | 0.089525 | 0.669 | 0 | 0.07565 | -6.29875 | 0.0591 | 102.96125 | 4 | + | 50% | 2016 | 218509 | 13 | 0.761 | 0.2205 | 0.7845 | 0.000004 | 0.1035 | -4.5585 | 0.09795 | 112.7145 | 4 | + | 75% | 2017 | 242098.5 | 31 | 0.8295 | 0.403 | 0.87575 | 0.000234 | 0.164 | -3.331 | 0.177 | 125.03925 | 4 | + | max | 2020 | 511738 | 73 | 0.966 | 0.954 | 0.995 | 0.91 | 0.811 | 0.582 | 0.514 | 206.007 | 5 | + +> 🤔 Če delamo s klastriranjem, nenadzorovano metodo, ki ne zahteva označenih podatkov, zakaj prikazujemo te podatke z oznakami? V fazi raziskovanja podatkov so koristne, vendar za delovanje algoritmov klastriranja niso nujno potrebne. Stolpčne oznake bi lahko odstranili in se sklicevali na podatke po številki stolpca. + +Poglejte splošne vrednosti podatkov. Upoštevajte, da priljubljenost lahko znaša '0', kar kaže na pesmi, ki nimajo uvrstitve. Te bomo kmalu odstranili. + +1. Uporabite stolpčni graf za ugotavljanje najbolj priljubljenih žanrov: + + ```python + import seaborn as sns + + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top[:5].index,y=top[:5].values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +  + +✅ Če želite videti več najvišjih vrednosti, spremenite zgornji `[:5]` v večjo vrednost ali ga odstranite, da vidite vse. + +Upoštevajte, da ko je najvišji žanr opisan kot 'Missing', to pomeni, da ga Spotify ni razvrstil, zato ga odstranimo. + +1. Odstranite manjkajoče podatke z njihovo filtracijo + + ```python + df = df[df['artist_top_genre'] != 'Missing'] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + + Zdaj ponovno preverite žanre: + +  + +1. Trije najboljši žanri močno prevladujejo v tem naboru podatkov. Osredotočimo se na `afro dancehall`, `afropop` in `nigerian pop`, dodatno filtrirajmo nabor podatkov, da odstranimo vse z vrednostjo priljubljenosti 0 (kar pomeni, da ni bilo razvrščeno glede na priljubljenost v naboru podatkov in se lahko za naše namene šteje kot šum): + + ```python + df = df[(df['artist_top_genre'] == 'afro dancehall') | (df['artist_top_genre'] == 'afropop') | (df['artist_top_genre'] == 'nigerian pop')] + df = df[(df['popularity'] > 0)] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +1. Hitro preverite, ali podatki močno korelirajo na kakšen poseben način: + + ```python + corrmat = df.corr(numeric_only=True) + f, ax = plt.subplots(figsize=(12, 9)) + sns.heatmap(corrmat, vmax=.8, square=True) + ``` + +  + + Edina močna korelacija je med `energy` in `loudness`, kar ni preveč presenetljivo, saj je glasna glasba običajno precej energična. Sicer so korelacije razmeroma šibke. Zanimivo bo videti, kaj lahko algoritem klastriranja naredi iz teh podatkov. + + > 🎓 Upoštevajte, da korelacija ne pomeni vzročnosti! Imamo dokaz korelacije, vendar ne dokaz vzročnosti. [Zabavna spletna stran](https://tylervigen.com/spurious-correlations) ima nekaj vizualizacij, ki poudarjajo to točko. + +Ali obstaja kakšna konvergenca v tem naboru podatkov glede na zaznano priljubljenost pesmi in plesnost? FacetGrid kaže, da obstajajo koncentrični krogi, ki se ujemajo, ne glede na žanr. Ali je mogoče, da se nigerijski okusi za ta žanr konvergirajo na določeni ravni plesnosti? + +✅ Preizkusite različne podatkovne točke (energija, glasnost, govorljivost) in več ali različne glasbene žanre. Kaj lahko odkrijete? Oglejte si tabelo `df.describe()` za splošno razporeditev podatkovnih točk. + +### Naloga - razporeditev podatkov + +Ali se ti trije žanri bistveno razlikujejo v zaznavanju njihove plesnosti glede na njihovo priljubljenost? + +1. Preučite razporeditev podatkov za priljubljenost in plesnost naših treh najboljših žanrov vzdolž dane osi x in y. + + ```python + sns.set_theme(style="ticks") + + g = sns.jointplot( + data=df, + x="popularity", y="danceability", hue="artist_top_genre", + kind="kde", + ) + ``` + + Lahko odkrijete koncentrične kroge okoli splošne točke konvergence, ki prikazujejo razporeditev točk. + + > 🎓 Upoštevajte, da ta primer uporablja graf KDE (Kernel Density Estimate), ki predstavlja podatke z uporabo kontinuirane krivulje gostote verjetnosti. To nam omogoča interpretacijo podatkov pri delu z več razporeditvami. + + Na splošno se trije žanri ohlapno uskladijo glede na njihovo priljubljenost in plesnost. Določanje skupin v teh ohlapno usklajenih podatkih bo izziv: + +  + +1. Ustvarite razpršeni graf: + + ```python + sns.FacetGrid(df, hue="artist_top_genre", height=5) \ + .map(plt.scatter, "popularity", "danceability") \ + .add_legend() + ``` + + Razpršeni graf na istih oseh kaže podoben vzorec konvergence + +  + +Na splošno lahko za klastriranje uporabite razpršene grafe za prikaz skupin podatkov, zato je obvladovanje te vrste vizualizacije zelo koristno. V naslednji lekciji bomo uporabili te filtrirane podatke in uporabili klastriranje k-means za odkrivanje skupin v teh podatkih, ki se zanimivo prekrivajo. + +--- + +## 🚀Izziv + +V pripravi na naslednjo lekcijo naredite graf o različnih algoritmih klastriranja, ki jih lahko odkrijete in uporabite v produkcijskem okolju. Kakšne vrste težav poskuša klastriranje rešiti? + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Preden uporabite algoritme klastriranja, kot smo se naučili, je dobro razumeti naravo vašega nabora podatkov. Preberite več o tej temi [tukaj](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Ta koristen članek](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) vas vodi skozi različne načine, kako se različni algoritmi klastriranja obnašajo glede na različne oblike podatkov. + +## Naloga + +[Raziskujte druge vizualizacije za klastriranje](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/1-Visualize/assignment.md b/translations/sl/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 00000000..bb69baee --- /dev/null +++ b/translations/sl/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,25 @@ + +# Raziskovanje drugih vizualizacij za gručenje + +## Navodila + +V tej lekciji ste spoznali nekaj tehnik vizualizacije, ki vam pomagajo pri pripravi podatkov za gručenje. Razpršeni diagrami (scatterplots) so še posebej uporabni za iskanje skupin objektov. Raziščite različne načine in knjižnice za ustvarjanje razpršenih diagramov ter svoje ugotovitve dokumentirajte v zvezku. Uporabite lahko podatke iz te lekcije, drugih lekcij ali podatke, ki jih pridobite sami (vendar v zvezku navedite vir podatkov). Narišite nekaj razpršenih diagramov in pojasnite, kaj ste odkrili. + +## Merila + +| Merilo | Odlično | Zadostno | Potrebno izboljšanje | +| --------| -------------------------------------------------------------- | ------------------------------------------------------------------------------------- | ---------------------------------- | +| | Predstavljen je zvezek s petimi dobro dokumentiranimi diagrami | Predstavljen je zvezek z manj kot petimi diagrami, ki je manj dobro dokumentiran | Predstavljen je nepopoln zvezek | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/sl/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 00000000..0c19fe41 --- /dev/null +++ b/translations/sl/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/2-K-Means/README.md b/translations/sl/5-Clustering/2-K-Means/README.md new file mode 100644 index 00000000..3396843f --- /dev/null +++ b/translations/sl/5-Clustering/2-K-Means/README.md @@ -0,0 +1,261 @@ + +# K-Means grozdenje + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +V tej lekciji se boste naučili, kako ustvariti grozde z uporabo Scikit-learn in nigerijskega glasbenega nabora podatkov, ki ste ga uvozili prej. Pokrili bomo osnove K-Means za grozdenje. Upoštevajte, da obstaja veliko načinov za delo z grozdi, kot ste se naučili v prejšnji lekciji, in metoda, ki jo uporabite, je odvisna od vaših podatkov. Poskusili bomo K-Means, saj je to najpogostejša tehnika grozdenja. Začnimo! + +Pojmi, o katerih se boste učili: + +- Silhuetno ocenjevanje +- Metoda komolca +- Inercija +- Varianca + +## Uvod + +[K-Means grozdenje](https://wikipedia.org/wiki/K-means_clustering) je metoda, ki izvira iz področja obdelave signalov. Uporablja se za razdelitev in razvrščanje skupin podatkov v 'k' grozde z uporabo serije opazovanj. Vsako opazovanje deluje tako, da razvrsti določeno podatkovno točko najbližje njenemu 'povprečju' ali središčni točki grozda. + +Grozde je mogoče vizualizirati kot [Voronoijeve diagrame](https://wikipedia.org/wiki/Voronoi_diagram), ki vključujejo točko (ali 'seme') in njeno ustrezno regijo. + + + +> Infografika avtorice [Jen Looper](https://twitter.com/jenlooper) + +Postopek K-Means grozdenja [poteka v treh korakih](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Algoritem izbere k-število središčnih točk z vzorčenjem iz nabora podatkov. Nato se zanka nadaljuje: + 1. Vsak vzorec dodeli najbližjemu centroidu. + 2. Ustvari nove centroide z izračunom povprečne vrednosti vseh vzorcev, dodeljenih prejšnjim centroidom. + 3. Nato izračuna razliko med novimi in starimi centroidi ter ponavlja, dokler se centroidi ne stabilizirajo. + +Ena od pomanjkljivosti uporabe K-Means je, da morate določiti 'k', torej število centroidov. Na srečo metoda 'komolca' pomaga oceniti dobro začetno vrednost za 'k'. To boste poskusili čez trenutek. + +## Predpogoj + +Delali boste v datoteki [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb), ki vključuje uvoz podatkov in predhodno čiščenje, ki ste ga opravili v prejšnji lekciji. + +## Naloga - priprava + +Začnite tako, da ponovno pregledate podatke o pesmih. + +1. Ustvarite boxplot za vsak stolpec z uporabo funkcije `boxplot()`: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Ti podatki so nekoliko hrupni: z opazovanjem vsakega stolpca kot boxplota lahko vidite odstopajoče vrednosti. + +  + +Lahko bi pregledali nabor podatkov in odstranili te odstopajoče vrednosti, vendar bi to podatke precej zmanjšalo. + +1. Za zdaj izberite, katere stolpce boste uporabili za nalogo grozdenja. Izberite tiste s podobnimi razponi in kodirajte stolpec `artist_top_genre` kot numerične podatke: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Zdaj morate izbrati, koliko grozdov boste ciljali. Veste, da obstajajo 3 glasbeni žanri, ki smo jih izluščili iz nabora podatkov, zato poskusimo s 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Vidite natisnjen niz s predvidenimi grozdi (0, 1 ali 2) za vsako vrstico podatkovnega okvira. + +1. Uporabite ta niz za izračun 'silhuetne ocene': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Silhuetna ocena + +Iščite silhuetno oceno bližje 1. Ta ocena se giblje od -1 do 1, in če je ocena 1, je grozd gost in dobro ločen od drugih grozdov. Vrednost blizu 0 predstavlja prekrivajoče se grozde z vzorci, ki so zelo blizu odločitveni meji sosednjih grozdov. [(Vir)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Naša ocena je **0,53**, torej nekje na sredini. To kaže, da naši podatki niso posebej primerni za to vrsto grozdenja, vendar nadaljujmo. + +### Naloga - izdelava modela + +1. Uvozite `KMeans` in začnite postopek grozdenja. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Tukaj je nekaj delov, ki jih je vredno pojasniti. + + > 🎓 range: To so iteracije postopka grozdenja. + + > 🎓 random_state: "Določa generacijo naključnih števil za inicializacijo centroidov." [Vir](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "vsota kvadratov znotraj grozda" meri povprečno kvadratno razdaljo vseh točk znotraj grozda do centroida grozda. [Vir](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inercija: Algoritmi K-Means poskušajo izbrati centroide, da minimizirajo 'inercijo', "merilo, kako notranje koherentni so grozdi." [Vir](https://scikit-learn.org/stable/modules/clustering.html). Vrednost se doda spremenljivki wcss pri vsaki iteraciji. + + > 🎓 k-means++: V [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) lahko uporabite optimizacijo 'k-means++', ki "inicializira centroide tako, da so (na splošno) oddaljeni drug od drugega, kar vodi do verjetno boljših rezultatov kot naključna inicializacija." + +### Metoda komolca + +Prej ste domnevali, da bi morali izbrati 3 grozde, ker ste ciljali 3 glasbene žanre. Je to res? + +1. Uporabite metodo 'komolca', da se prepričate. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Uporabite spremenljivko `wcss`, ki ste jo ustvarili v prejšnjem koraku, da ustvarite graf, ki prikazuje, kje je 'pregib' v komolcu, kar označuje optimalno število grozdov. Morda je **res** 3! + +  + +## Naloga - prikaz grozdov + +1. Poskusite postopek znova, tokrat nastavite tri grozde in prikažite grozde kot razpršen diagram: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Preverite natančnost modela: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Natančnost tega modela ni zelo dobra, oblika grozdov pa vam daje namig, zakaj. + +  + + Ti podatki so preveč neuravnoteženi, premalo korelirani in med vrednostmi stolpcev je preveč variance, da bi jih dobro razvrstili v grozde. Pravzaprav so grozdi, ki se oblikujejo, verjetno močno vplivani ali pristranski zaradi treh kategorij žanrov, ki smo jih opredelili zgoraj. To je bil učni proces! + + V dokumentaciji Scikit-learn lahko vidite, da ima model, kot je ta, z grozdi, ki niso dobro razmejeni, težavo z 'varianco': + +  + > Infografika iz Scikit-learn + +## Varianca + +Varianca je definirana kot "povprečje kvadratnih razlik od povprečja" [(Vir)](https://www.mathsisfun.com/data/standard-deviation.html). V kontekstu tega problema grozdenja se nanaša na podatke, pri katerih se številke našega nabora podatkov preveč oddaljujejo od povprečja. + +✅ To je odličen trenutek, da razmislite o vseh načinih, kako bi lahko odpravili to težavo. Bi še malo prilagodili podatke? Uporabili druge stolpce? Uporabili drugačen algoritem? Namig: Poskusite [normalizirati podatke](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) in preizkusiti druge stolpce. + +> Poskusite ta '[kalkulator variance](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)', da bolje razumete koncept. + +--- + +## 🚀Izziv + +Preživite nekaj časa s tem zvezkom in prilagodite parametre. Ali lahko izboljšate natančnost modela z dodatnim čiščenjem podatkov (na primer odstranjevanjem odstopajočih vrednosti)? Lahko uporabite uteži, da določene vzorce podatkov bolj poudarite. Kaj še lahko storite, da ustvarite boljše grozde? + +Namig: Poskusite normalizirati podatke. V zvezku je komentirana koda, ki dodaja standardno skaliranje, da stolpci podatkov bolj spominjajo drug na drugega glede na razpon. Ugotovili boste, da se silhuetna ocena zniža, vendar se 'pregib' v grafu komolca zgladi. To je zato, ker neobdelani podatki omogočajo, da podatki z manj varianco nosijo večjo težo. Preberite več o tej težavi [tukaj](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Oglejte si simulator K-Means [kot je ta](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). S tem orodjem lahko vizualizirate vzorčne podatkovne točke in določite njihove centroide. Lahko urejate naključnost podatkov, število grozdov in število centroidov. Ali vam to pomaga pridobiti predstavo o tem, kako je mogoče podatke razvrstiti? + +Prav tako si oglejte [ta priročnik o K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) s Stanforda. + +## Naloga + +[Preizkusite različne metode grozdenja](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/2-K-Means/assignment.md b/translations/sl/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 00000000..ee5d54d2 --- /dev/null +++ b/translations/sl/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,25 @@ + +# Preizkusite različne metode grozdenja + +## Navodila + +V tej lekciji ste se naučili o grozdenju s K-sredinami (K-Means). Včasih metoda K-sredin ni primerna za vaše podatke. Ustvarite beležnico z uporabo podatkov iz teh lekcij ali od drugod (navedite vir) in prikažite drugo metodo grozdenja, ki NE uporablja K-sredin. Kaj ste se naučili? + +## Merila + +| Merilo | Odlično | Zadostno | Potrebne izboljšave | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | Predstavljena je beležnica z dobro dokumentiranim modelom grozdenja | Predstavljena je beležnica brez dobre dokumentacije in/ali nepopolna | Predloženo je nepopolno delo | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/sl/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 00000000..9d93c14d --- /dev/null +++ b/translations/sl/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za rezervacijo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/5-Clustering/README.md b/translations/sl/5-Clustering/README.md new file mode 100644 index 00000000..99327b58 --- /dev/null +++ b/translations/sl/5-Clustering/README.md @@ -0,0 +1,42 @@ + +# Modeli za gručenje v strojnem učenju + +Gručenje je naloga strojnega učenja, pri kateri iščemo predmete, ki so si med seboj podobni, in jih združujemo v skupine, imenovane gruče. Kar razlikuje gručenje od drugih pristopov v strojnem učenju, je dejstvo, da se stvari dogajajo samodejno; pravzaprav lahko rečemo, da je to nasprotje nadzorovanega učenja. + +## Regionalna tema: modeli za gručenje glasbenih okusov nigerijskega občinstva 🎧 + +Raznoliko nigerijsko občinstvo ima raznolike glasbene okuse. Z uporabo podatkov, pridobljenih s Spotifyja (navdihnjeno s [tem člankom](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), si poglejmo nekaj glasbe, ki je priljubljena v Nigeriji. Ta podatkovni niz vključuje podatke o različnih pesmih, kot so ocena 'plesnosti', 'akustičnosti', glasnosti, 'govorljivosti', priljubljenosti in energije. Zanimivo bo odkriti vzorce v teh podatkih! + + + +> Fotografija Marcele Laskoski na Unsplash + +V tej seriji lekcij boste odkrili nove načine za analizo podatkov z uporabo tehnik gručenja. Gručenje je še posebej uporabno, kadar vaš podatkovni niz nima oznak. Če pa oznake obstajajo, so tehnike klasifikacije, kot ste jih spoznali v prejšnjih lekcijah, morda bolj uporabne. V primerih, ko želite združiti neoznačene podatke, je gručenje odličen način za odkrivanje vzorcev. + +> Obstajajo uporabna orodja z malo kode, ki vam lahko pomagajo pri delu z modeli za gručenje. Poskusite [Azure ML za to nalogo](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Lekcije + +1. [Uvod v gručenje](1-Visualize/README.md) +2. [Gručenje s K-Means](2-K-Means/README.md) + +## Zasluge + +Te lekcije so bile napisane z 🎶 s strani [Jen Looper](https://www.twitter.com/jenlooper) z uporabnimi pregledi s strani [Rishit Dagli](https://rishit_dagli) in [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Podatkovni niz [Nigerijske pesmi](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) je bil pridobljen s Kaggleja, kot je bil pridobljen s Spotifyja. + +Uporabni primeri K-Means, ki so pomagali pri ustvarjanju te lekcije, vključujejo to [raziskovanje irisa](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), ta [uvodni zvezek](https://www.kaggle.com/prashant111/k-means-clustering-with-python) in ta [hipotetični primer nevladne organizacije](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering). + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/1-Introduction-to-NLP/README.md b/translations/sl/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 00000000..61d0ef57 --- /dev/null +++ b/translations/sl/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,179 @@ + +# Uvod v obdelavo naravnega jezika + +Ta lekcija zajema kratko zgodovino in pomembne koncepte *obdelave naravnega jezika* (ONJ), podpodročja *računalniške lingvistike*. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +ONJ, kot jo pogosto imenujemo, je eno najbolj znanih področij, kjer se strojno učenje uporablja in vključuje v produkcijsko programsko opremo. + +✅ Ali lahko pomislite na programsko opremo, ki jo uporabljate vsak dan in ki verjetno vključuje ONJ? Kaj pa vaši programi za urejanje besedil ali mobilne aplikacije, ki jih redno uporabljate? + +Naučili se boste: + +- **Ideje o jezikih**. Kako so se jeziki razvijali in katera so bila glavna področja raziskovanja. +- **Definicije in koncepti**. Spoznali boste definicije in koncepte, kako računalniki obdelujejo besedilo, vključno z razčlenjevanjem, slovnico ter prepoznavanjem samostalnikov in glagolov. V tej lekciji so vključene nekatere naloge s kodiranjem, prav tako pa so predstavljeni pomembni koncepti, ki se jih boste naučili kodirati v naslednjih lekcijah. + +## Računalniška lingvistika + +Računalniška lingvistika je področje raziskav in razvoja, ki že desetletja preučuje, kako lahko računalniki delujejo z jeziki, jih razumejo, prevajajo in komunicirajo z njimi. Obdelava naravnega jezika (ONJ) je sorodno področje, osredotočeno na to, kako računalniki obdelujejo 'naravne' ali človeške jezike. + +### Primer - narekovanje na telefonu + +Če ste kdaj narekovali svojemu telefonu namesto tipkanja ali vprašali virtualnega asistenta, je vaš govor pretvorjen v besedilo in nato obdelan oziroma *razčlenjen* iz jezika, ki ste ga govorili. Zaznane ključne besede so nato obdelane v obliki, ki jo telefon ali asistent razume in na katero lahko ukrepa. + + +> Resnično razumevanje jezika je težko! Slika: [Jen Looper](https://twitter.com/jenlooper) + +### Kako je ta tehnologija mogoča? + +To je mogoče, ker je nekdo napisal računalniški program, ki to omogoča. Pred nekaj desetletji so nekateri pisci znanstvene fantastike napovedovali, da bodo ljudje večinoma govorili s svojimi računalniki, ki bodo vedno natančno razumeli, kaj mislijo. Žal se je izkazalo, da je ta problem težji, kot so mnogi mislili. Čeprav je danes veliko bolje razumljen, še vedno obstajajo pomembni izzivi pri doseganju 'popolne' obdelave naravnega jezika, zlasti ko gre za razumevanje pomena stavka. To je še posebej težavno pri razumevanju humorja ali zaznavanju čustev, kot je sarkazem, v stavku. + +Morda se zdaj spomnite šolskih ur, kjer je učitelj razlagal dele stavčne slovnice. V nekaterih državah se učenci učijo slovnice in lingvistike kot samostojnega predmeta, v mnogih pa so te teme vključene v učenje jezika: bodisi vašega prvega jezika v osnovni šoli (učenje branja in pisanja) bodisi morda drugega jezika v srednji šoli. Ne skrbite, če niste strokovnjak za razlikovanje med samostalniki in glagoli ali prislovi in pridevniki! + +Če se vam zdi težko razlikovati med *enostavnim sedanjikom* in *sedanjim trpnikom*, niste edini. To je izziv za mnoge ljudi, tudi za naravne govorce jezika. Dobra novica je, da so računalniki zelo dobri pri uporabi formalnih pravil, in naučili se boste pisati kodo, ki lahko *razčleni* stavek tako dobro kot človek. Večji izziv, ki ga boste raziskali kasneje, je razumevanje *pomena* in *čustev* stavka. + +## Predznanje + +Za to lekcijo je glavni pogoj sposobnost branja in razumevanja jezika te lekcije. Ni matematičnih nalog ali enačb za reševanje. Čeprav je avtor to lekcijo napisal v angleščini, je prevedena tudi v druge jezike, zato morda berete prevod. Obstajajo primeri, kjer se uporablja več različnih jezikov (za primerjavo različnih slovničnih pravil jezikov). Ti *niso* prevedeni, vendar je razlagalno besedilo prevedeno, zato bi moral biti pomen jasen. + +Za naloge s kodiranjem boste uporabljali Python, primeri pa so napisani v Pythonu 3.8. + +V tem razdelku boste potrebovali in uporabljali: + +- **Razumevanje Pythona 3**. Razumevanje programskega jezika Python 3, ta lekcija uporablja vnos, zanke, branje datotek, tabele. +- **Visual Studio Code + razširitev**. Uporabili bomo Visual Studio Code in njegovo razširitev za Python. Lahko pa uporabite tudi IDE za Python po svoji izbiri. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) je poenostavljena knjižnica za obdelavo besedila v Pythonu. Sledite navodilom na strani TextBlob za namestitev na vaš sistem (namestite tudi korpuse, kot je prikazano spodaj): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Nasvet: Python lahko zaženete neposredno v okolju VS Code. Preverite [dokumentacijo](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) za več informacij. + +## Pogovor z računalniki + +Zgodovina poskusov, da bi računalniki razumeli človeški jezik, sega desetletja nazaj. Eden prvih znanstvenikov, ki je razmišljal o obdelavi naravnega jezika, je bil *Alan Turing*. + +### 'Turingov test' + +Ko je Turing v 50. letih raziskoval *umetno inteligenco*, je razmišljal, ali bi lahko izvedli pogovorni test, kjer bi človek in računalnik (prek tipkanja) komunicirala, pri čemer človek ne bi bil prepričan, ali se pogovarja z drugim človekom ali računalnikom. + +Če po določenem času pogovora človek ne bi mogel ugotoviti, ali odgovori prihajajo od računalnika ali ne, bi lahko rekli, da računalnik *razmišlja*? + +### Navdih - 'igra posnemanja' + +Ideja za to je prišla iz družabne igre *Igra posnemanja*, kjer je zasliševalec sam v sobi in mora ugotoviti, kdo od dveh oseb (v drugi sobi) je moški in kdo ženska. Zasliševalec lahko pošilja zapiske in mora poskušati oblikovati vprašanja, kjer pisni odgovori razkrivajo spol skrivnostne osebe. Seveda se igralci v drugi sobi trudijo zavajati zasliševalca z odgovori, ki ga zmedejo, hkrati pa dajejo vtis, da odgovarjajo iskreno. + +### Razvoj Elize + +V 60. letih je znanstvenik z MIT, *Joseph Weizenbaum*, razvil [*Elizo*](https://wikipedia.org/wiki/ELIZA), računalniškega 'terapevta', ki je postavljal vprašanja in dajal vtis, da razume odgovore. Vendar pa, čeprav je Eliza lahko razčlenila stavek in prepoznala določene slovnične strukture in ključne besede, da bi dala razumen odgovor, ni mogla *razumeti* stavka. Če je bila Elizi predstavljena poved v obliki "**Jaz sem** žalosten", bi morda preuredila in zamenjala besede v stavku, da bi oblikovala odgovor "Kako dolgo ste **vi** žalostni?". + +To je dalo vtis, da Eliza razume izjavo in postavlja nadaljnje vprašanje, medtem ko je v resnici le spreminjala čas in dodajala nekaj besed. Če Eliza ni mogla prepoznati ključne besede, za katero je imela odgovor, bi namesto tega podala naključen odgovor, ki bi lahko ustrezal številnim različnim izjavam. Elizo je bilo mogoče zlahka pretentati, na primer, če je uporabnik napisal "**Ti si** kolo", bi morda odgovorila "Kako dolgo sem **jaz** kolo?", namesto bolj smiselnega odgovora. + +[](https://youtu.be/RMK9AphfLco "Pogovor z Elizo") + +> 🎥 Kliknite zgornjo sliko za video o izvirnem programu ELIZA + +> Opomba: Izvirni opis [Elize](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract), objavljen leta 1966, lahko preberete, če imate račun ACM. Alternativno lahko o Elizi preberete na [Wikipediji](https://wikipedia.org/wiki/ELIZA). + +## Vaja - kodiranje osnovnega pogovornega bota + +Pogovorni bot, kot je Eliza, je program, ki pridobiva uporabniški vnos in daje vtis, da razume in inteligentno odgovarja. Za razliko od Elize naš bot ne bo imel več pravil, ki bi dajala vtis inteligentnega pogovora. Namesto tega bo imel bot le eno sposobnost: nadaljevati pogovor z naključnimi odgovori, ki bi lahko delovali v skoraj vsakem trivialnem pogovoru. + +### Načrt + +Koraki pri gradnji pogovornega bota: + +1. Natisnite navodila, kako naj uporabnik komunicira z botom. +2. Zaženite zanko: + 1. Sprejmite uporabniški vnos. + 2. Če uporabnik zahteva izhod, izstopite. + 3. Obdelajte uporabniški vnos in določite odgovor (v tem primeru je odgovor naključna izbira iz seznama možnih splošnih odgovorov). + 4. Natisnite odgovor. +3. Vrni se na korak 2. + +### Gradnja bota + +Zdaj bomo ustvarili bota. Začeli bomo z definiranjem nekaterih fraz. + +1. Ustvarite tega bota sami v Pythonu z naslednjimi naključnimi odgovori: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Tukaj je nekaj primerov izhoda za orientacijo (uporabniški vnos je na vrsticah, ki se začnejo z `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Ena možna rešitev naloge je [tukaj](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py). + + ✅ Ustavi se in razmisli + + 1. Ali menite, da bi naključni odgovori 'pretentali' nekoga, da bi mislil, da bot dejansko razume? + 2. Katere funkcije bi bot potreboval, da bi bil bolj učinkovit? + 3. Če bi bot resnično 'razumel' pomen stavka, ali bi moral 'zapomniti' pomen prejšnjih stavkov v pogovoru? + +--- + +## 🚀 Izziv + +Izberite enega od zgornjih elementov "ustavi se in razmisli" in ga poskusite implementirati v kodi ali napišite rešitev na papirju z uporabo psevdo kode. + +V naslednji lekciji boste spoznali številne druge pristope k razčlenjevanju naravnega jezika in strojnega učenja. + +## [Kviz po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Oglejte si spodnje reference za dodatne priložnosti za branje. + +### Reference + +1. Schubert, Lenhart, "Computational Linguistics", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
ocena | Pozitivna ocena | Oznake | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Trenutno to ni hotel, ampak gradbišče. Terorizirali so me od zgodnjega jutra in ves dan z nesprejemljivim gradbenim hrupom, medtem ko sem počival po dolgem potovanju in delal v sobi. Ljudje so delali ves dan, npr. z udarnimi kladivi v sosednjih sobah. Prosil sem za zamenjavo sobe, vendar ni bilo na voljo tihe sobe. Da bi bilo še huje, so mi zaračunali preveč. Odjavil sem se zvečer, saj sem moral zgodaj zjutraj na let in prejel ustrezen račun. Dan kasneje je hotel brez mojega soglasja izvedel dodatno bremenitev, ki je presegala ceno rezervacije. To je grozno mesto. Ne kaznujte se z rezervacijo tukaj. | Nič. Grozno mesto. Izogibajte se. | Poslovno potovanje Par Standardna dvoposteljna soba Bivanje 2 noči | + +Kot lahko vidite, gost ni imel prijetnega bivanja v tem hotelu. Hotel ima dobro povprečno oceno 7.8 in 1945 ocen, vendar mu je ta ocenjevalec dal oceno 2.5 in napisal 115 besed o tem, kako negativno je bilo njegovo bivanje. Če v stolpcu Positive_Review ni napisal ničesar, bi lahko sklepali, da ni bilo nič pozitivnega, vendar je napisal 7 opozorilnih besed. Če bi šteli samo besede namesto pomena ali sentimenta besed, bi lahko imeli izkrivljen pogled na namen ocenjevalca. Nenavadno je, da je njihova ocena 2.5 zmedena, saj če je bilo bivanje v hotelu tako slabo, zakaj sploh dati kakršne koli točke? Pri podrobnem pregledu nabora podatkov boste videli, da je najnižja možna ocena 2.5, ne 0. Najvišja možna ocena je 10. + +##### Oznake + +Kot je bilo omenjeno zgoraj, se na prvi pogled zdi ideja uporabe `Tags` za kategorizacijo podatkov smiselna. Na žalost te oznake niso standardizirane, kar pomeni, da so v določenem hotelu možnosti *Enoposteljna soba*, *Dvoposteljna soba* in *Zakonska soba*, v naslednjem hotelu pa *Deluxe enoposteljna soba*, *Klasična soba Queen* in *Izvrstna soba King*. To so morda iste stvari, vendar je toliko različic, da izbira postane: + +1. Poskus spremeniti vse izraze v en sam standard, kar je zelo težko, ker ni jasno, kakšna bi bila pot pretvorbe v vsakem primeru (npr. *Klasična enoposteljna soba* se preslika v *Enoposteljna soba*, vendar *Superior Queen soba z vrtom ali pogledom na mesto* je veliko težje preslikati) + +1. Lahko uporabimo pristop NLP in izmerimo pogostost določenih izrazov, kot so *Samostojni*, *Poslovni popotnik* ali *Družina z majhnimi otroki*, kot se nanašajo na vsak hotel, ter to vključimo v priporočilo + +Oznake so običajno (vendar ne vedno) eno polje, ki vsebuje seznam 5 do 6 vrednosti, ločenih z vejicami, ki se nanašajo na *Vrsto potovanja*, *Vrsto gostov*, *Vrsto sobe*, *Število nočitev* in *Vrsto naprave, na kateri je bila oddana ocena*. Ker pa nekateri ocenjevalci ne izpolnijo vsakega polja (morda pustijo eno prazno), vrednosti niso vedno v istem vrstnem redu. + +Na primer, vzemimo *Vrsto skupine*. V tem polju v stolpcu `Tags` je 1025 edinstvenih možnosti, na žalost pa se le nekatere nanašajo na skupino (nekatere so vrsta sobe itd.). Če filtrirate samo tiste, ki omenjajo družino, rezultati vsebujejo veliko rezultatov tipa *Družinska soba*. Če vključite izraz *z*, tj. štejete vrednosti *Družina z*, so rezultati boljši, saj več kot 80.000 od 515.000 rezultatov vsebuje frazo "Družina z majhnimi otroki" ali "Družina z starejšimi otroki". + +To pomeni, da stolpec oznak ni popolnoma neuporaben za nas, vendar bo potrebno nekaj dela, da ga naredimo uporabnega. + +##### Povprečna ocena hotela + +Obstaja nekaj nenavadnosti ali neskladnosti z naborom podatkov, ki jih ne morem razložiti, vendar so tukaj prikazane, da se jih zavedate pri gradnji svojih modelov. Če jih razložite, nam to prosim sporočite v razdelku za razpravo! + +Nabor podatkov ima naslednje stolpce, povezane s povprečno oceno in številom ocen: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Hotel z največ ocenami v tem naboru podatkov je *Britannia International Hotel Canary Wharf* s 4789 ocenami od 515.000. Če pa pogledamo vrednost `Total_Number_of_Reviews` za ta hotel, je 9086. Lahko bi sklepali, da obstaja veliko več ocen brez besedilnih ocen, zato bi morda morali dodati vrednost stolpca `Additional_Number_of_Scoring`. Ta vrednost je 2682, in če jo dodamo k 4789, dobimo 7471, kar je še vedno 1615 manj od `Total_Number_of_Reviews`. + +Če vzamete stolpec `Average_Score`, bi lahko sklepali, da gre za povprečje ocen v naboru podatkov, vendar opis iz Kaggle pravi: "*Povprečna ocena hotela, izračunana na podlagi najnovejšega komentarja v zadnjem letu*". To se ne zdi zelo uporabno, vendar lahko izračunamo svoje povprečje na podlagi ocen v naboru podatkov. Če vzamemo isti hotel kot primer, je podana povprečna ocena hotela 7.1, vendar je izračunana ocena (povprečna ocena ocenjevalca *v* naboru podatkov) 6.8. To je blizu, vendar ni enaka vrednost, in lahko le ugibamo, da so ocene podane v ocenah `Additional_Number_of_Scoring` povečale povprečje na 7.1. Na žalost brez načina za testiranje ali dokazovanje te trditve je težko uporabiti ali zaupati `Average_Score`, `Additional_Number_of_Scoring` in `Total_Number_of_Reviews`, ko temeljijo na podatkih, ki jih nimamo. + +Da bi stvari še bolj zapletli, ima hotel z drugim največjim številom ocen izračunano povprečno oceno 8.12, medtem ko je podana povprečna ocena v naboru podatkov 8.1. Ali je ta pravilna ocena naključje ali je prvi hotel neskladje? + +Ob možnosti, da bi ti hoteli lahko bili odstopajoči, in da morda večina vrednosti ustreza (nekateri pa ne iz nekega razloga), bomo v naslednjem koraku napisali kratek program za raziskovanje vrednosti v naboru podatkov in določitev pravilne uporabe (ali neuporabe) vrednosti. +> 🚨 Opozorilo + +> Pri delu s tem naborom podatkov boste pisali kodo, ki izračuna nekaj iz besedila, ne da bi morali sami prebrati ali analizirati besedilo. To je bistvo NLP-ja: interpretacija pomena ali sentimenta brez potrebe po človeškem posredovanju. Vendar pa obstaja možnost, da boste prebrali nekatere negativne ocene. Svetoval bi vam, da tega ne počnete, saj ni potrebno. Nekatere od teh ocen so nesmiselne ali nepomembne negativne ocene hotelov, kot na primer: "Vreme ni bilo dobro," kar je zunaj nadzora hotela ali kogarkoli drugega. Toda obstaja tudi temna plat nekaterih ocen. Včasih so negativne ocene rasistične, seksistične ali starostno diskriminatorne. To je žalostno, vendar pričakovano v naboru podatkov, pridobljenem z javne spletne strani. Nekateri ocenjevalci pustijo ocene, ki bi jih lahko dojemali kot neprijetne, nelagodne ali vznemirljive. Bolje je, da koda izmeri sentiment, kot da jih sami preberete in se ob tem vznemirite. Kljub temu gre za manjšino, ki piše takšne stvari, vendar vseeno obstajajo. +## Vaja - Raziskovanje podatkov +### Nalaganje podatkov + +Dovolj je bilo vizualnega pregledovanja podatkov, zdaj boste napisali nekaj kode in dobili odgovore! Ta del uporablja knjižnico pandas. Vaša prva naloga je zagotoviti, da lahko naložite in preberete podatke iz datoteke CSV. Knjižnica pandas ima hiter nalagalnik za CSV, rezultat pa je shranjen v dataframe, kot v prejšnjih lekcijah. CSV, ki ga nalagamo, ima več kot pol milijona vrstic, vendar le 17 stolpcev. Pandas vam ponuja veliko zmogljivih načinov za interakcijo z dataframe, vključno z možnostjo izvajanja operacij na vsaki vrstici. + +Od tu naprej v tej lekciji bodo vključeni odlomki kode, razlage kode in razprave o tem, kaj rezultati pomenijo. Uporabite priloženi _notebook.ipynb_ za svojo kodo. + +Začnimo z nalaganjem datoteke s podatki, ki jo boste uporabljali: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Ko so podatki naloženi, lahko na njih izvajamo operacije. To kodo obdržite na vrhu svojega programa za naslednji del. + +## Raziskovanje podatkov + +V tem primeru so podatki že *čisti*, kar pomeni, da so pripravljeni za delo in ne vsebujejo znakov v drugih jezikih, ki bi lahko povzročili težave algoritmom, ki pričakujejo samo angleške znake. + +✅ Morda boste morali delati s podatki, ki zahtevajo začetno obdelavo, da jih formatirate, preden uporabite tehnike NLP, vendar tokrat ne. Če bi morali, kako bi obravnavali ne-angleške znake? + +Vzemite si trenutek, da se prepričate, da lahko po nalaganju podatkov z njimi raziskujete s kodo. Zelo enostavno je osredotočiti se na stolpca `Negative_Review` in `Positive_Review`. Napolnjena sta z naravnim besedilom, ki ga lahko obdelajo vaši NLP algoritmi. Ampak počakajte! Preden se lotite NLP in sentimenta, sledite spodnji kodi, da ugotovite, ali vrednosti v podatkovnem naboru ustrezajo vrednostim, ki jih izračunate s pandas. + +## Operacije na dataframe + +Prva naloga v tej lekciji je preveriti, ali so naslednje trditve pravilne, tako da napišete kodo, ki preučuje dataframe (brez spreminjanja). + +> Kot pri mnogih programerskih nalogah obstaja več načinov za izvedbo, vendar je dobro priporočilo, da to storite na najpreprostejši in najlažji način, še posebej, če bo to lažje razumeti, ko se boste kasneje vrnili k tej kodi. Pri dataframe obstaja obsežen API, ki pogosto ponuja učinkovit način za dosego želenega. + +Obravnavajte naslednja vprašanja kot naloge kodiranja in jih poskusite rešiti brez gledanja rešitve. + +1. Izpišite *obliko* dataframe, ki ste ga pravkar naložili (oblika je število vrstic in stolpcev). +2. Izračunajte frekvenčno število za narodnosti ocenjevalcev: + 1. Koliko različnih vrednosti je v stolpcu `Reviewer_Nationality` in katere so? + 2. Katera narodnost ocenjevalcev je najpogostejša v podatkovnem naboru (izpišite državo in število ocen)? + 3. Katere so naslednjih 10 najpogostejših narodnosti in njihovo frekvenčno število? +3. Kateri hotel je bil najpogosteje ocenjen za vsako od 10 najpogostejših narodnosti ocenjevalcev? +4. Koliko ocen je na hotel (frekvenčno število ocen na hotel) v podatkovnem naboru? +5. Čeprav obstaja stolpec `Average_Score` za vsak hotel v podatkovnem naboru, lahko izračunate tudi povprečno oceno (pridobite povprečje vseh ocen ocenjevalcev v podatkovnem naboru za vsak hotel). Dodajte nov stolpec v svoj dataframe z naslovom stolpca `Calc_Average_Score`, ki vsebuje to izračunano povprečje. +6. Ali imajo hoteli enako (zaokroženo na 1 decimalno mesto) vrednost `Average_Score` in `Calc_Average_Score`? + 1. Poskusite napisati funkcijo v Pythonu, ki sprejme Series (vrstico) kot argument in primerja vrednosti, pri čemer izpiše sporočilo, ko vrednosti niso enake. Nato uporabite metodo `.apply()`, da obdelate vsako vrstico s funkcijo. +7. Izračunajte in izpišite, koliko vrstic ima stolpec `Negative_Review` z vrednostjo "No Negative". +8. Izračunajte in izpišite, koliko vrstic ima stolpec `Positive_Review` z vrednostjo "No Positive". +9. Izračunajte in izpišite, koliko vrstic ima stolpec `Positive_Review` z vrednostjo "No Positive" **in** stolpec `Negative_Review` z vrednostjo "No Negative". + +### Odgovori s kodo + +1. Izpišite *obliko* dataframe, ki ste ga pravkar naložili (oblika je število vrstic in stolpcev). + + ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` + +2. Izračunajte frekvenčno število za narodnosti ocenjevalcev: + + 1. Koliko različnih vrednosti je v stolpcu `Reviewer_Nationality` in katere so? + 2. Katera narodnost ocenjevalcev je najpogostejša v podatkovnem naboru (izpišite državo in število ocen)? + + ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` + + 3. Katere so naslednjih 10 najpogostejših narodnosti in njihovo frekvenčno število? + + ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` + +3. Kateri hotel je bil najpogosteje ocenjen za vsako od 10 najpogostejših narodnosti ocenjevalcev? + + ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` + +4. Koliko ocen je na hotel (frekvenčno število ocen na hotel) v podatkovnem naboru? + + ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` + | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | + | :----------------------------------------: | :---------------------: | :-----------------: | + | Britannia International Hotel Canary Wharf | 9086 | 4789 | + | Park Plaza Westminster Bridge London | 12158 | 4169 | + | Copthorne Tara Hotel London Kensington | 7105 | 3578 | + | ... | ... | ... | + | Mercure Paris Porte d Orleans | 110 | 10 | + | Hotel Wagner | 135 | 10 | + | Hotel Gallitzinberg | 173 | 8 | + + Morda boste opazili, da se rezultati *štetja v podatkovnem naboru* ne ujemajo z vrednostjo v `Total_Number_of_Reviews`. Ni jasno, ali ta vrednost v podatkovnem naboru predstavlja skupno število ocen, ki jih je hotel imel, vendar niso bile vse pridobljene, ali pa je bil uporabljen kakšen drug izračun. `Total_Number_of_Reviews` se v modelu ne uporablja zaradi te nejasnosti. + +5. Čeprav obstaja stolpec `Average_Score` za vsak hotel v podatkovnem naboru, lahko izračunate tudi povprečno oceno (pridobite povprečje vseh ocen ocenjevalcev v podatkovnem naboru za vsak hotel). Dodajte nov stolpec v svoj dataframe z naslovom stolpca `Calc_Average_Score`, ki vsebuje to izračunano povprečje. Izpišite stolpce `Hotel_Name`, `Average_Score` in `Calc_Average_Score`. + + ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` + + Morda se sprašujete o vrednosti `Average_Score` in zakaj se včasih razlikuje od izračunanega povprečja. Ker ne moremo vedeti, zakaj se nekatere vrednosti ujemajo, druge pa imajo razlike, je v tem primeru najvarneje uporabiti ocene, ki jih imamo, za izračun povprečja sami. Kljub temu so razlike običajno zelo majhne, tukaj so hoteli z največjim odstopanjem med povprečjem iz podatkovnega niza in izračunanim povprečjem: + + | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | + | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | + | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | + | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | + | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | + | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | + | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | + | ... | ... | ... | ... | + | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | + | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | + | 0.9 | 6.8 | 5.9 | Villa Eugenie | + | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | + | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | + + Ker ima le 1 hotel razliko v oceni večjo od 1, to pomeni, da lahko verjetno ignoriramo razliko in uporabimo izračunano povprečno oceno. + +6. Izračunajte in izpišite, koliko vrstic ima stolpec `Negative_Review` z vrednostjo "No Negative". + +7. Izračunajte in izpišite, koliko vrstic ima stolpec `Positive_Review` z vrednostjo "No Positive". + +8. Izračunajte in izpišite, koliko vrstic ima stolpec `Positive_Review` z vrednostjo "No Positive" **in** stolpec `Negative_Review` z vrednostjo "No Negative". + + ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` + +## Drug način + +Drug način za štetje elementov brez Lambdas in uporaba funkcije sum za štetje vrstic: + + ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` + + Morda ste opazili, da je 127 vrstic, ki imajo vrednosti "No Negative" in "No Positive" v stolpcih `Negative_Review` in `Positive_Review`. To pomeni, da je ocenjevalec hotelu dal numerično oceno, vendar se je odločil, da ne napiše niti pozitivne niti negativne ocene. Na srečo je to majhno število vrstic (127 od 515738, ali 0,02%), zato verjetno ne bo vplivalo na naš model ali rezultate v nobeni smeri, vendar morda ne bi pričakovali, da bo podatkovni nabor ocen vseboval vrstice brez ocen, zato je vredno raziskati podatke, da odkrijete takšne vrstice. + +Zdaj, ko ste raziskali podatkovni nabor, boste v naslednji lekciji filtrirali podatke in dodali analizo sentimenta. + +--- +## 🚀Izziv + +Ta lekcija prikazuje, kot smo videli v prejšnjih lekcijah, kako izjemno pomembno je razumeti svoje podatke in njihove posebnosti, preden na njih izvajate operacije. Besedilni podatki, zlasti, zahtevajo skrbno preučitev. Prebrskajte različne podatkovne nize, bogate z besedilom, in preverite, ali lahko odkrijete področja, ki bi lahko v model vnesla pristranskost ali izkrivljen sentiment. + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Vzemite [to učno pot o NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott), da odkrijete orodja, ki jih lahko preizkusite pri gradnji modelov, bogatih z govorom in besedilom. + +## Naloga + +[NLTK](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/sl/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 00000000..e78d5e95 --- /dev/null +++ b/translations/sl/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,19 @@ + +# NLTK + +## Navodila + +NLTK je priznana knjižnica za uporabo v računalniški lingvistiki in obdelavi naravnega jezika. Izkoristite to priložnost, da preberete '[NLTK knjigo](https://www.nltk.org/book/)' in preizkusite njene vaje. V tej neocenjeni nalogi boste podrobneje spoznali to knjižnico. + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 00000000..9c852da9 --- /dev/null +++ b/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazume ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 00000000..826065f4 --- /dev/null +++ b/translations/sl/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,15 @@ + +to je začasno nadomestilo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/5-Hotel-Reviews-2/README.md b/translations/sl/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 00000000..1686f5eb --- /dev/null +++ b/translations/sl/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,389 @@ + +# Analiza sentimenta s hotelskimi ocenami + +Zdaj, ko ste podrobno raziskali podatkovni niz, je čas, da filtrirate stolpce in nato uporabite tehnike NLP na podatkovnem nizu, da pridobite nove vpoglede o hotelih. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +### Operacije filtriranja in analize sentimenta + +Kot ste verjetno opazili, ima podatkovni niz nekaj težav. Nekateri stolpci so napolnjeni z neuporabnimi informacijami, drugi se zdijo napačni. Če so pravilni, ni jasno, kako so bili izračunani, in odgovore ni mogoče neodvisno preveriti z lastnimi izračuni. + +## Naloga: malo več obdelave podatkov + +Podatke očistite še malo. Dodajte stolpce, ki bodo uporabni kasneje, spremenite vrednosti v drugih stolpcih in nekatere stolpce popolnoma odstranite. + +1. Začetna obdelava stolpcev + + 1. Odstranite `lat` in `lng`. + + 2. Zamenjajte vrednosti `Hotel_Address` z naslednjimi vrednostmi (če naslov vsebuje ime mesta in države, ga spremenite v samo mesto in državo). + + To so edina mesta in države v podatkovnem nizu: + + Amsterdam, Nizozemska + + Barcelona, Španija + + London, Združeno kraljestvo + + Milano, Italija + + Pariz, Francija + + Dunaj, Avstrija + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Zdaj lahko poizvedujete podatke na ravni države: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Nizozemska | 105 | + | Barcelona, Španija | 211 | + | London, Združeno kraljestvo | 400 | + | Milano, Italija | 162 | + | Pariz, Francija | 458 | + | Dunaj, Avstrija | 158 | + +2. Obdelava stolpcev meta-ocene hotela + + 1. Odstranite `Additional_Number_of_Scoring`. + + 2. Zamenjajte `Total_Number_of_Reviews` s skupnim številom ocen za ta hotel, ki so dejansko v podatkovnem nizu. + + 3. Zamenjajte `Average_Score` z lastno izračunano oceno. + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Obdelava stolpcev ocen + + 1. Odstranite `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` in `days_since_review`. + + 2. Obdržite `Reviewer_Score`, `Negative_Review` in `Positive_Review` takšne, kot so. + + 3. Za zdaj obdržite `Tags`. + + - V naslednjem razdelku bomo izvedli dodatne operacije filtriranja na oznakah, nato pa bodo oznake odstranjene. + +4. Obdelava stolpcev ocenjevalcev + + 1. Odstranite `Total_Number_of_Reviews_Reviewer_Has_Given`. + + 2. Obdržite `Reviewer_Nationality`. + +### Stolpec oznak + +Stolpec `Tag` je problematičen, saj je seznam (v obliki besedila), shranjen v stolpcu. Na žalost vrstni red in število podsekcij v tem stolpcu nista vedno enaka. Težko je za človeka identificirati pravilne fraze, ki bi ga zanimale, ker je 515.000 vrstic in 1427 hotelov, vsak pa ima nekoliko drugačne možnosti, ki jih lahko izbere ocenjevalec. Tukaj pride NLP do izraza. Besedilo lahko pregledate, najdete najpogostejše fraze in jih preštejete. + +Na žalost nas ne zanimajo posamezne besede, temveč večbesedne fraze (npr. *Poslovno potovanje*). Zagon algoritma za frekvenčno porazdelitev večbesednih fraz na toliko podatkov (6762646 besed) bi lahko trajal izjemno dolgo, vendar brez pregleda podatkov bi se zdelo, da je to nujen strošek. Tukaj je koristna raziskovalna analiza podatkov, saj ste videli vzorec oznak, kot so `[' Poslovno potovanje ', ' Samostojni potnik ', ' Enoposteljna soba ', ' Bivanje 5 noči ', ' Oddano z mobilne naprave ']`, lahko začnete spraševati, ali je mogoče močno zmanjšati obdelavo, ki jo morate opraviti. Na srečo je to mogoče - vendar morate najprej slediti nekaj korakom, da določite zanimive oznake. + +### Filtriranje oznak + +Ne pozabite, da je cilj podatkovnega niza dodati sentiment in stolpce, ki vam bodo pomagali izbrati najboljši hotel (za vas ali morda za stranko, ki vas prosi, da ustvarite bot za priporočanje hotelov). Morate se vprašati, ali so oznake koristne ali ne v končnem podatkovnem nizu. Tukaj je ena interpretacija (če bi potrebovali podatkovni niz za druge namene, bi lahko bile oznake drugače vključene/izključene): + +1. Vrsta potovanja je pomembna in naj ostane. +2. Vrsta skupine gostov je pomembna in naj ostane. +3. Vrsta sobe, apartmaja ali studia, v katerem je gost bival, je nepomembna (vsi hoteli imajo v bistvu enake sobe). +4. Naprava, na kateri je bila ocena oddana, je nepomembna. +5. Število noči, ki jih je ocenjevalec bival, *bi* lahko bilo pomembno, če bi daljše bivanje povezali z večjim zadovoljstvom hotela, vendar je to malo verjetno in verjetno nepomembno. + +Povzetek: **obdržite 2 vrsti oznak in odstranite ostale**. + +Najprej ne želite šteti oznak, dokler niso v boljši obliki, kar pomeni odstranitev oglatih oklepajev in narekovajev. To lahko storite na več načinov, vendar želite najhitrejši, saj bi obdelava velike količine podatkov lahko trajala dolgo. Na srečo ima pandas enostaven način za izvedbo vsakega od teh korakov. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Vsaka oznaka postane nekaj takega: `Poslovno potovanje, Samostojni potnik, Enoposteljna soba, Bivanje 5 noči, Oddano z mobilne naprave`. + +Nato naletite na težavo. Nekatere ocene ali vrstice imajo 5 stolpcev, nekatere 3, nekatere 6. To je rezultat načina, kako je bil podatkovni niz ustvarjen, in težko ga je popraviti. Želite dobiti frekvenčno število vsake fraze, vendar so v različnih vrstah v vsaki oceni, zato je lahko število napačno, hotel pa morda ne dobi oznake, ki si jo zasluži. + +Namesto tega boste uporabili različne vrste v svojo korist, saj je vsaka oznaka večbesedna, hkrati pa ločena z vejico! Najenostavnejši način za to je, da ustvarite 6 začasnih stolpcev, v katere vstavite vsako oznako glede na njen vrstni red v oznaki. Nato lahko združite teh 6 stolpcev v en velik stolpec in zaženete metodo `value_counts()` na nastalem stolpcu. Če to natisnete, boste videli, da je bilo 2428 edinstvenih oznak. Tukaj je majhen vzorec: + +| Oznaka | Število | +| ------------------------------- | ------- | +| Prostočasno potovanje | 417778 | +| Oddano z mobilne naprave | 307640 | +| Par | 252294 | +| Bivanje 1 noč | 193645 | +| Bivanje 2 noči | 133937 | +| Samostojni potnik | 108545 | +| Bivanje 3 noči | 95821 | +| Poslovno potovanje | 82939 | +| Skupina | 65392 | +| Družina z majhnimi otroki | 61015 | +| Bivanje 4 noči | 47817 | +| Dvoposteljna soba | 35207 | +| Standardna dvoposteljna soba | 32248 | +| Superior dvoposteljna soba | 31393 | +| Družina z večjimi otroki | 26349 | +| Deluxe dvoposteljna soba | 24823 | +| Dvoposteljna ali enoposteljna soba | 22393 | +| Bivanje 5 noči | 20845 | +| Standardna dvoposteljna ali enoposteljna soba | 17483 | +| Klasična dvoposteljna soba | 16989 | +| Superior dvoposteljna ali enoposteljna soba | 13570 | +| 2 sobe | 12393 | + +Nekatere pogoste oznake, kot je `Oddano z mobilne naprave`, nam niso koristne, zato bi jih bilo pametno odstraniti, preden štejemo pojavnost fraz, vendar je to tako hitra operacija, da jih lahko pustite notri in jih ignorirate. + +### Odstranjevanje oznak dolžine bivanja + +Odstranjevanje teh oznak je prvi korak, saj nekoliko zmanjša skupno število oznak, ki jih je treba upoštevati. Upoštevajte, da jih ne odstranite iz podatkovnega niza, temveč se odločite, da jih ne upoštevate kot vrednosti za štetje/obdržanje v podatkovnem nizu ocen. + +| Dolžina bivanja | Število | +| --------------- | ------- | +| Bivanje 1 noč | 193645 | +| Bivanje 2 noči | 133937 | +| Bivanje 3 noči | 95821 | +| Bivanje 4 noči | 47817 | +| Bivanje 5 noči | 20845 | +| Bivanje 6 noči | 9776 | +| Bivanje 7 noči | 7399 | +| Bivanje 8 noči | 2502 | +| Bivanje 9 noči | 1293 | +| ... | ... | + +Obstaja ogromna raznolikost sob, apartmajev, studiev, stanovanj in podobno. Vse to pomeni približno isto stvar in ni relevantno za vas, zato jih odstranite iz obravnave. + +| Vrsta sobe | Število | +| ------------------------------ | ------- | +| Dvoposteljna soba | 35207 | +| Standardna dvoposteljna soba | 32248 | +| Superior dvoposteljna soba | 31393 | +| Deluxe dvoposteljna soba | 24823 | +| Dvoposteljna ali enoposteljna soba | 22393 | +| Standardna dvoposteljna ali enoposteljna soba | 17483 | +| Klasična dvoposteljna soba | 16989 | +| Superior dvoposteljna ali enoposteljna soba | 13570 | + +Na koncu, in to je razveseljivo (ker ni zahtevalo veliko obdelave), boste ostali z naslednjimi *koristnimi* oznakami: + +| Oznaka | Število | +| ------------------------------------------- | ------- | +| Prostočasno potovanje | 417778 | +| Par | 252294 | +| Samostojni potnik | 108545 | +| Poslovno potovanje | 82939 | +| Skupina (združeno s Potniki s prijatelji) | 67535 | +| Družina z majhnimi otroki | 61015 | +| Družina z večjimi otroki | 26349 | +| S hišnim ljubljenčkom | 1405 | + +Lahko bi trdili, da je `Potniki s prijatelji` približno enako kot `Skupina`, in to bi bilo pošteno združiti, kot je prikazano zgoraj. Koda za identifikacijo pravilnih oznak je v [zvezku z oznakami](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +Zadnji korak je ustvariti nove stolpce za vsako od teh oznak. Nato za vsako vrstico ocene, če stolpec `Tag` ustreza enemu od novih stolpcev, dodajte 1, če ne, dodajte 0. Končni rezultat bo število, koliko ocenjevalcev je izbralo ta hotel (v agregatu) za, recimo, poslovno ali prostočasno potovanje, ali za bivanje s hišnim ljubljenčkom, kar je koristna informacija pri priporočanju hotela. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Shranite datoteko + +Na koncu shranite podatkovni niz, kot je zdaj, z novim imenom. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Operacije analize sentimenta + +V tem zadnjem razdelku boste uporabili analizo sentimenta na stolpcih ocen in shranili rezultate v podatkovni niz. + +## Naloga: naložite in shranite filtrirane podatke + +Upoštevajte, da zdaj nalagate filtrirani podatkovni niz, ki je bil shranjen v prejšnjem razdelku, **ne** originalnega podatkovnega niza. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Odstranjevanje nepomembnih besed + +Če bi izvedli analizo sentimenta na stolpcih negativnih in pozitivnih ocen, bi to lahko trajalo dolgo. Testirano na zmogljivem prenosniku z hitrim procesorjem je trajalo 12–14 minut, odvisno od uporabljenega knjižničnega orodja za analizo sentimenta. To je (relativno) dolgo, zato je vredno raziskati, ali je mogoče to pospešiti. + +Odstranjevanje nepomembnih besed, ali pogostih angleških besed, ki ne spreminjajo sentimenta stavka, je prvi korak. Z odstranitvijo teh besed bi morala analiza sentimenta potekati hitreje, vendar ne biti manj natančna (saj nepomembne besede ne vplivajo na sentiment, vendar upočasnjujejo analizo). + +Najdaljša negativna ocena je imela 395 besed, vendar po odstranitvi nepomembnih besed ima 195 besed. + +Odstranjevanje nepomembnih besed je tudi hitra operacija; odstranjevanje nepomembnih besed iz 2 stolpcev ocen čez 515.000 vrstic je trajalo 3,3 sekunde na testni napravi. Lahko traja nekoliko več ali manj časa, odvisno od hitrosti procesorja vaše naprave, RAM-a, ali imate SSD in nekaterih drugih dejavnikov. Relativna kratkost operacije pomeni, da če izboljša čas analize sentimenta, je vredno to storiti. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Izvajanje analize sentimenta + +Zdaj morate izračunati analizo sentimenta za oba stolpca ocen, negativne in pozitivne, ter rezultat shraniti v 2 nova stolpca. Test sentimenta bo primerjava z oceno ocenjevalca za isto oceno. Na primer, če sentiment meni, da ima negativna ocena sentiment 1 (izjemno pozitiven sentiment) in pozitivna ocena sentiment 1, vendar je ocenjevalec hotelu dal najnižjo možno oceno, potem bodisi besedilo ocene ne ustreza oceni, bodisi analizator sentimenta ni mogel pravilno prepoznati sentimenta. Pričakujete lahko, da bodo nekatere ocene sentimenta popolnoma napačne, kar bo pogosto razložljivo, npr. ocena bi lahko bila izjemno sarkastična "Seveda sem OBOŽEVAL spanje v sobi brez ogrevanja", analizator sentimenta pa meni, da je to pozitiven sentiment, čeprav bi človek, ki to bere, vedel, da gre za sarkazem. +NLTK ponuja različne analizatorje sentimenta, s katerimi se lahko učite, in jih lahko zamenjate ter preverite, ali je sentiment bolj ali manj natančen. Tukaj je uporabljena analiza sentimenta VADER. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, junij 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Kasneje v programu, ko ste pripravljeni izračunati sentiment, ga lahko uporabite za vsako oceno na naslednji način: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +To traja približno 120 sekund na mojem računalniku, vendar se bo čas razlikoval glede na računalnik. Če želite natisniti rezultate in preveriti, ali sentiment ustreza oceni: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Zadnja stvar, ki jo morate narediti s datoteko, preden jo uporabite v izzivu, je, da jo shranite! Prav tako bi morali razmisliti o preurejanju vseh novih stolpcev, da bodo bolj pregledni (za človeka je to kozmetična sprememba). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Zaženite celotno kodo za [analizni zvezek](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (po tem, ko ste zagnali [zvezek za filtriranje](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), da ustvarite datoteko Hotel_Reviews_Filtered.csv). + +Če povzamemo, koraki so: + +1. Izvirna datoteka **Hotel_Reviews.csv** je bila raziskana v prejšnji lekciji z [raziskovalnim zvezkom](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv je filtriran z [zvezkom za filtriranje](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), kar ustvari **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv je obdelan z [zvezkom za analizo sentimenta](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb), kar ustvari **Hotel_Reviews_NLP.csv** +4. Uporabite Hotel_Reviews_NLP.csv v NLP izzivu spodaj + +### Zaključek + +Ko ste začeli, ste imeli podatkovno zbirko s stolpci in podatki, vendar ni bilo vse mogoče preveriti ali uporabiti. Raziskali ste podatke, filtrirali, kar ni bilo potrebno, pretvorili oznake v nekaj uporabnega, izračunali svoje povprečje, dodali nekaj stolpcev sentimenta in upajmo, da ste se naučili nekaj zanimivega o obdelavi naravnega besedila. + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Izziv + +Zdaj, ko imate analizirano podatkovno zbirko za sentiment, preverite, ali lahko uporabite strategije, ki ste se jih naučili v tem učnem načrtu (morda razvrščanje v skupine?), da določite vzorce glede sentimenta. + +## Pregled in samostojno učenje + +Vzemite [ta modul Learn](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott), da se naučite več in uporabite različna orodja za raziskovanje sentimenta v besedilu. + +## Naloga + +[Preizkusite drugo podatkovno zbirko](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/sl/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 00000000..30ff0d96 --- /dev/null +++ b/translations/sl/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,25 @@ + +# Poskusite drugačen nabor podatkov + +## Navodila + +Zdaj, ko ste se naučili uporabljati NLTK za dodeljevanje sentimenta besedilu, poskusite z drugačnim naborom podatkov. Verjetno boste morali opraviti nekaj obdelave podatkov, zato ustvarite beležko in dokumentirajte svoj miselni proces. Kaj odkrijete? + +## Merila + +| Merila | Odlično | Zadostno | Potrebno izboljšanje | +| ------- | ----------------------------------------------------------------------------------------------------------------- | ---------------------------------------- | ----------------------- | +| | Predstavljena sta popolna beležka in nabor podatkov z dobro dokumentiranimi celicami, ki pojasnjujejo, kako je sentiment dodeljen | Beležka nima dobrih pojasnil | Beležka je pomanjkljiva | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 00000000..43906387 --- /dev/null +++ b/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za rezervacijo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 00000000..d16c16c3 --- /dev/null +++ b/translations/sl/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,15 @@ + +to je začasno nadomestilo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/README.md b/translations/sl/6-NLP/README.md new file mode 100644 index 00000000..3d93170a --- /dev/null +++ b/translations/sl/6-NLP/README.md @@ -0,0 +1,38 @@ + +# Začetek z obdelavo naravnega jezika + +Obdelava naravnega jezika (NLP) je sposobnost računalniškega programa, da razume človeški jezik, kot je govorjen in pisan – temu pravimo naravni jezik. Gre za sestavni del umetne inteligence (AI). NLP obstaja že več kot 50 let in ima korenine na področju jezikoslovja. Celotno področje je usmerjeno v pomoč strojem pri razumevanju in obdelavi človeškega jezika. To se nato lahko uporablja za izvajanje nalog, kot so preverjanje črkovanja ali strojno prevajanje. Ima številne praktične aplikacije na različnih področjih, vključno z medicinskimi raziskavami, iskalniki in poslovno analitiko. + +## Regionalna tema: Evropski jeziki in literatura ter romantični hoteli Evrope ❤️ + +V tem delu učnega načrta boste spoznali eno najpogostejših uporab strojnega učenja: obdelavo naravnega jezika (NLP). Ta kategorija umetne inteligence, ki izhaja iz računalniškega jezikoslovja, predstavlja most med ljudmi in stroji prek glasovne ali besedilne komunikacije. + +V teh lekcijah bomo spoznali osnove NLP z gradnjo majhnih pogovornih botov, da bi razumeli, kako strojno učenje pomaga, da so ti pogovori vse bolj 'pametni'. Potovali boste nazaj v čas in se pogovarjali z Elizabeth Bennett in gospodom Darcyjem iz klasičnega romana Jane Austen, **Prevzetnost in pristranost**, objavljenega leta 1813. Nato boste svoje znanje nadgradili z učenjem o analizi sentimenta prek hotelskih ocen v Evropi. + + +> Fotografija avtorice Elaine Howlin na Unsplash + +## Lekcije + +1. [Uvod v obdelavo naravnega jezika](1-Introduction-to-NLP/README.md) +2. [Pogoste naloge in tehnike NLP](2-Tasks/README.md) +3. [Prevajanje in analiza sentimenta s strojnim učenjem](3-Translation-Sentiment/README.md) +4. [Priprava vaših podatkov](4-Hotel-Reviews-1/README.md) +5. [NLTK za analizo sentimenta](5-Hotel-Reviews-2/README.md) + +## Avtorji + +Te lekcije o obdelavi naravnega jezika so bile napisane s ☕ avtorja [Stephen Howell](https://twitter.com/Howell_MSFT) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/6-NLP/data/README.md b/translations/sl/6-NLP/data/README.md new file mode 100644 index 00000000..d3738401 --- /dev/null +++ b/translations/sl/6-NLP/data/README.md @@ -0,0 +1,15 @@ + +Prenesite podatke o ocenah hotela v to mapo. + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/1-Introduction/README.md b/translations/sl/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 00000000..33296c27 --- /dev/null +++ b/translations/sl/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,199 @@ + +# Uvod v napovedovanje časovnih vrst + + + +> Sketchnote avtorja [Tomomi Imura](https://www.twitter.com/girlie_mac) + +V tej lekciji in naslednji boste spoznali osnove napovedovanja časovnih vrst, zanimivega in dragocenega dela repertoarja znanstvenika za strojno učenje, ki je nekoliko manj poznan kot drugi tematski sklopi. Napovedovanje časovnih vrst je nekakšna 'kristalna krogla': na podlagi preteklega delovanja spremenljivke, kot je cena, lahko napovemo njeno prihodnjo potencialno vrednost. + +[](https://youtu.be/cBojo1hsHiI "Uvod v napovedovanje časovnih vrst") + +> 🎥 Kliknite zgornjo sliko za video o napovedovanju časovnih vrst + +## [Predlekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +Gre za uporabno in zanimivo področje z resnično vrednostjo za poslovanje, saj ima neposredno aplikacijo pri reševanju težav s cenami, zalogami in dobavnimi verigami. Čeprav se za pridobivanje boljših vpogledov v prihodnje delovanje vse bolj uporabljajo tehnike globokega učenja, napovedovanje časovnih vrst ostaja področje, ki ga močno zaznamujejo klasične tehnike strojnega učenja. + +> Koristno gradivo o časovnih vrstah univerze Penn State najdete [tukaj](https://online.stat.psu.edu/stat510/lesson/1) + +## Uvod + +Predstavljajte si, da upravljate mrežo pametnih parkirnih števcev, ki zagotavljajo podatke o tem, kako pogosto in kako dolgo se uporabljajo skozi čas. + +> Kaj če bi lahko na podlagi preteklega delovanja števca napovedali njegovo prihodnjo vrednost v skladu z zakoni ponudbe in povpraševanja? + +Natančno napovedovanje, kdaj ukrepati za dosego cilja, je izziv, ki ga je mogoče rešiti z napovedovanjem časovnih vrst. Morda ljudje ne bi bili navdušeni, če bi morali plačati več v času največje zasedenosti, ko iščejo parkirno mesto, vendar bi bil to zanesljiv način za ustvarjanje prihodkov za čiščenje ulic! + +Raziskali bomo nekaj vrst algoritmov časovnih vrst in začeli z beležko za čiščenje in pripravo podatkov. Podatki, ki jih boste analizirali, so vzeti iz tekmovanja GEFCom2014 za napovedovanje. Vključujejo 3 leta urnih vrednosti porabe električne energije in temperature med letoma 2012 in 2014. Glede na zgodovinske vzorce porabe električne energije in temperature lahko napoveste prihodnje vrednosti porabe električne energije. + +V tem primeru se boste naučili, kako napovedati eno časovno točko vnaprej, pri čemer boste uporabili le zgodovinske podatke o porabi. Preden začnete, pa je koristno razumeti, kaj se dogaja v ozadju. + +## Nekatere definicije + +Ko naletite na izraz 'časovne vrste', morate razumeti njegovo uporabo v različnih kontekstih. + +🎓 **Časovne vrste** + +V matematiki so "časovne vrste zaporedje podatkovnih točk, ki so indeksirane (ali navedene ali narisane) v časovnem zaporedju. Najpogosteje so časovne vrste zaporedje, zajeto v enakih časovnih intervalih." Primer časovnih vrst je dnevna zaključna vrednost [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). Uporaba grafov časovnih vrst in statističnega modeliranja je pogosto prisotna pri obdelavi signalov, vremenskih napovedih, napovedovanju potresov in drugih področjih, kjer se dogodki pojavljajo in podatkovne točke lahko narišemo skozi čas. + +🎓 **Analiza časovnih vrst** + +Analiza časovnih vrst je analiza zgoraj omenjenih podatkov časovnih vrst. Podatki časovnih vrst lahko zavzamejo različne oblike, vključno z 'prekinjenimi časovnimi vrstami', ki zaznavajo vzorce v razvoju časovnih vrst pred in po prekinjajočem dogodku. Vrsta analize, ki je potrebna za časovne vrste, je odvisna od narave podatkov. Podatki časovnih vrst sami lahko zavzamejo obliko zaporedja številk ali znakov. + +Analiza uporablja različne metode, vključno s frekvenčno domeno in časovno domeno, linearne in nelinearne metode ter druge. [Preberite več](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) o številnih načinih analize te vrste podatkov. + +🎓 **Napovedovanje časovnih vrst** + +Napovedovanje časovnih vrst je uporaba modela za napovedovanje prihodnjih vrednosti na podlagi vzorcev, ki jih prikazujejo prej zbrani podatki, kot so se pojavili v preteklosti. Čeprav je mogoče uporabiti regresijske modele za raziskovanje podatkov časovnih vrst, pri čemer so časovni indeksi x spremenljivke na grafu, je takšne podatke najbolje analizirati s posebnimi vrstami modelov. + +Podatki časovnih vrst so seznam urejenih opazovanj, za razliko od podatkov, ki jih je mogoče analizirati z linearno regresijo. Najpogostejši model je ARIMA, kratica za "Avtoregresivno Integrirano Premično Povprečje". + +[ARIMA modeli](https://online.stat.psu.edu/stat510/lesson/1/1.1) "povezujejo trenutno vrednost serije s preteklimi vrednostmi in preteklimi napakami napovedi." Najbolj so primerni za analizo podatkov v časovni domeni, kjer so podatki urejeni skozi čas. + +> Obstaja več vrst ARIMA modelov, o katerih lahko preberete [tukaj](https://people.duke.edu/~rnau/411arim.htm) in jih boste obravnavali v naslednji lekciji. + +V naslednji lekciji boste zgradili ARIMA model z uporabo [Univariatnih časovnih vrst](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), ki se osredotočajo na eno spremenljivko, ki spreminja svojo vrednost skozi čas. Primer te vrste podatkov je [ta podatkovni niz](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm), ki beleži mesečno koncentracijo CO2 na observatoriju Mauna Loa: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Prepoznajte spremenljivko, ki se spreminja skozi čas v tem podatkovnem nizu. + +## Značilnosti podatkov časovnih vrst, ki jih je treba upoštevati + +Ko opazujete podatke časovnih vrst, lahko opazite, da imajo [določene značilnosti](https://online.stat.psu.edu/stat510/lesson/1/1.1), ki jih morate upoštevati in omiliti, da bi bolje razumeli njihove vzorce. Če podatke časovnih vrst obravnavate kot potencialni 'signal', ki ga želite analizirati, lahko te značilnosti obravnavate kot 'šum'. Pogosto boste morali zmanjšati ta 'šum' z uporabo nekaterih statističnih tehnik. + +Tukaj je nekaj konceptov, ki jih morate poznati, da lahko delate s časovnimi vrstami: + +🎓 **Trendi** + +Trendi so opredeljeni kot merljive rasti in padci skozi čas. [Preberite več](https://machinelearningmastery.com/time-series-trends-in-python). V kontekstu časovnih vrst gre za to, kako uporabiti in, če je potrebno, odstraniti trende iz časovnih vrst. + +🎓 **[Sezonskost](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Sezonskost je opredeljena kot periodična nihanja, kot so na primer praznični nakupovalni vrhovi, ki lahko vplivajo na prodajo. [Oglejte si](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm), kako različne vrste grafov prikazujejo sezonskost v podatkih. + +🎓 **Izstopajoče vrednosti** + +Izstopajoče vrednosti so daleč od standardne variance podatkov. + +🎓 **Dolgotrajni cikli** + +Neodvisno od sezonskosti lahko podatki prikazujejo dolgotrajne cikle, kot je gospodarska recesija, ki traja dlje kot eno leto. + +🎓 **Konstanta varianca** + +Skozi čas nekateri podatki prikazujejo konstantna nihanja, kot je poraba energije podnevi in ponoči. + +🎓 **Nenadne spremembe** + +Podatki lahko prikazujejo nenadno spremembo, ki jo je treba dodatno analizirati. Nenadno zaprtje podjetij zaradi COVID-a, na primer, je povzročilo spremembe v podatkih. + +✅ Tukaj je [primer grafa časovnih vrst](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python), ki prikazuje dnevno porabo valute v igri skozi nekaj let. Ali lahko v teh podatkih prepoznate katere koli od zgoraj navedenih značilnosti? + + + +## Naloga - začetek z podatki o porabi energije + +Začnimo z ustvarjanjem modela časovnih vrst za napovedovanje prihodnje porabe energije glede na preteklo porabo. + +> Podatki v tem primeru so vzeti iz tekmovanja GEFCom2014 za napovedovanje. Vključujejo 3 leta urnih vrednosti porabe električne energije in temperature med letoma 2012 in 2014. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli in Rob J. Hyndman, "Probabilistic energy forecasting: Global Energy Forecasting Competition 2014 and beyond", International Journal of Forecasting, vol.32, no.3, pp 896-913, julij-september, 2016. + +1. V mapi `working` te lekcije odprite datoteko _notebook.ipynb_. Začnite z dodajanjem knjižnic, ki vam bodo pomagale naložiti in vizualizirati podatke. + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Upoštevajte, da uporabljate datoteke iz priložene mape `common`, ki nastavijo vaše okolje in poskrbijo za prenos podatkov. + +2. Nato preglejte podatke kot podatkovni okvir z uporabo `load_data()` in `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Vidite lahko, da sta dva stolpca, ki predstavljata datum in porabo: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Zdaj narišite podatke z uporabo `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Zdaj narišite prvi teden julija 2014, tako da ga podate kot vhod v `energy` v vzorcu `[od datuma]: [do datuma]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Čudovit graf! Oglejte si te grafe in preverite, ali lahko določite katere koli od zgoraj navedenih značilnosti. Kaj lahko sklepamo z vizualizacijo podatkov? + +V naslednji lekciji boste ustvarili ARIMA model za izdelavo napovedi. + +--- + +## 🚀Izziv + +Naredite seznam vseh industrij in področij raziskovanja, ki bi lahko imeli koristi od napovedovanja časovnih vrst. Ali lahko pomislite na aplikacijo teh tehnik v umetnosti? V ekonometriji? Ekologiji? Maloprodaji? Industriji? Financah? Kje še? + +## [Po-lekcijski kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Čeprav jih tukaj ne bomo obravnavali, se včasih za izboljšanje klasičnih metod napovedovanja časovnih vrst uporabljajo nevronske mreže. Preberite več o njih [v tem članku](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Naloga + +[Vizualizirajte še več časovnih vrst](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/1-Introduction/assignment.md b/translations/sl/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 00000000..b39249fb --- /dev/null +++ b/translations/sl/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Vizualizirajte še nekaj časovnih vrst + +## Navodila + +Začeli ste se učiti o napovedovanju časovnih vrst, tako da ste si ogledali vrsto podatkov, ki zahtevajo to posebno modeliranje. Vizualizirali ste nekaj podatkov o energiji. Zdaj poiščite še nekaj drugih podatkov, ki bi koristili napovedovanju časovnih vrst. Poiščite tri primere (poskusite [Kaggle](https://kaggle.com) in [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) in ustvarite beležko za njihovo vizualizacijo. V beležki zabeležite vse posebne značilnosti, ki jih imajo (sezonskost, nenadne spremembe ali druge trende). + +## Merila + +| Merila | Odlično | Zadostno | Potrebna izboljšava | +| -------- | ----------------------------------------------------- | -------------------------------------------------- | --------------------------------------------------------------------------------------- | +| | Trije nabori podatkov so prikazani in razloženi v beležki | Dva nabora podatkov sta prikazana in razložena v beležki | Malo naborov podatkov je prikazanih ali razloženih v beležki ali predstavljeni podatki niso zadostni | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/sl/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..6b628ae9 --- /dev/null +++ b/translations/sl/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/sl/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 00000000..b79af9e4 --- /dev/null +++ b/translations/sl/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,15 @@ + +to je začasno nadomestilo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/2-ARIMA/README.md b/translations/sl/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 00000000..560e634b --- /dev/null +++ b/translations/sl/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,403 @@ + +# Napovedovanje časovnih vrst z ARIMA + +V prejšnji lekciji ste se naučili nekaj o napovedovanju časovnih vrst in naložili podatkovni niz, ki prikazuje nihanja električne obremenitve skozi časovno obdobje. + +🎥 Kliknite zgornjo sliko za video: Kratek uvod v modele ARIMA. Primer je narejen v R, vendar so koncepti univerzalni. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +V tej lekciji boste spoznali specifičen način za gradnjo modelov z [ARIMA: *A*uto*R*egresivno *I*ntegrirano *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). ARIMA modeli so še posebej primerni za podatke, ki kažejo [nestacionarnost](https://wikipedia.org/wiki/Stationary_process). + +## Splošni koncepti + +Da bi lahko delali z ARIMA, morate poznati nekaj osnovnih konceptov: + +- 🎓 **Stacionarnost**. V statističnem kontekstu stacionarnost pomeni podatke, katerih porazdelitev se ne spreminja, ko jih premaknemo v času. Nestacionarni podatki kažejo nihanja zaradi trendov, ki jih je treba transformirati za analizo. Sezonskost, na primer, lahko povzroči nihanja v podatkih, ki jih je mogoče odpraviti s procesom 'sezonskega razlikovanja'. + +- 🎓 **[Razlikovanje](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Razlikovanje podatkov, ponovno v statističnem kontekstu, se nanaša na proces transformacije nestacionarnih podatkov v stacionarne z odstranitvijo njihovega nespremenljivega trenda. "Razlikovanje odstrani spremembe v ravni časovne vrste, odpravi trend in sezonskost ter posledično stabilizira povprečje časovne vrste." [Študija Shixiong et al](https://arxiv.org/abs/1904.07632) + +## ARIMA v kontekstu časovnih vrst + +Razčlenimo dele ARIMA, da bolje razumemo, kako nam pomaga modelirati časovne vrste in napovedovati podatke. + +- **AR - za AutoRegresivno**. Avtoregresivni modeli, kot že ime pove, gledajo 'nazaj' v času, da analizirajo prejšnje vrednosti v vaših podatkih in naredijo predpostavke o njih. Te prejšnje vrednosti se imenujejo 'zaostanki'. Primer bi bili podatki, ki prikazujejo mesečno prodajo svinčnikov. Skupna prodaja vsakega meseca bi se štela kot 'spremenljivka v razvoju' v podatkovnem nizu. Ta model je zgrajen tako, da se "spremenljivka v razvoju regresira na svoje zaostale (tj. prejšnje) vrednosti." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - za Integrirano**. V nasprotju s podobnimi modeli 'ARMA' se 'I' v ARIMA nanaša na njegovo *[integrirano](https://wikipedia.org/wiki/Order_of_integration)* lastnost. Podatki so 'integrirani', ko se uporabijo koraki razlikovanja za odpravo nestacionarnosti. + +- **MA - za Premično Povprečje**. Vidik [premičnega povprečja](https://wikipedia.org/wiki/Moving-average_model) v tem modelu se nanaša na izhodno spremenljivko, ki je določena z opazovanjem trenutnih in preteklih vrednosti zaostankov. + +Zaključek: ARIMA se uporablja za prilagoditev modela posebni obliki podatkov časovnih vrst čim bolj natančno. + +## Naloga - zgradite ARIMA model + +Odprite mapo [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) v tej lekciji in poiščite datoteko [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Zaženite beležko, da naložite knjižnico Python `statsmodels`; to boste potrebovali za modele ARIMA. + +1. Naložite potrebne knjižnice. + +1. Nato naložite še nekaj knjižnic, ki so uporabne za vizualizacijo podatkov: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Naložite podatke iz datoteke `/data/energy.csv` v Pandas dataframe in si jih oglejte: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Prikažite vse razpoložljive podatke o energiji od januarja 2012 do decembra 2014. Presenečenj ne bi smelo biti, saj smo te podatke videli v prejšnji lekciji: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Zdaj pa zgradimo model! + +### Ustvarite učne in testne podatkovne nize + +Zdaj so vaši podatki naloženi, zato jih lahko ločite na učni in testni niz. Model boste trenirali na učnem nizu. Kot običajno, ko bo model končal učenje, boste ocenili njegovo natančnost z uporabo testnega niza. Poskrbeti morate, da testni niz zajema kasnejše časovno obdobje od učnega niza, da zagotovite, da model ne pridobi informacij iz prihodnjih časovnih obdobij. + +1. Dodelite dvomesečno obdobje od 1. septembra do 31. oktobra 2014 učnemu nizu. Testni niz bo vključeval dvomesečno obdobje od 1. novembra do 31. decembra 2014: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Ker ti podatki odražajo dnevno porabo energije, obstaja močan sezonski vzorec, vendar je poraba najbolj podobna porabi v bolj nedavnih dneh. + +1. Vizualizirajte razlike: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Zato bi moralo biti dovolj, da za učenje podatkov uporabimo relativno majhno časovno okno. + + > Opomba: Ker funkcija, ki jo uporabljamo za prilagoditev modela ARIMA, uporablja validacijo znotraj vzorca med prilagajanjem, bomo izpustili validacijske podatke. + +### Pripravite podatke za učenje + +Zdaj morate pripraviti podatke za učenje z izvajanjem filtriranja in skaliranja podatkov. Filtrirajte svoj podatkovni niz, da vključite le potrebna časovna obdobja in stolpce, ter skalirajte podatke, da zagotovite, da so prikazani v intervalu 0,1. + +1. Filtrirajte izvirni podatkovni niz, da vključite le prej omenjena časovna obdobja za vsak niz in le potrebni stolpec 'load' ter datum: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Lahko vidite obliko podatkov: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Skalirajte podatke, da bodo v razponu (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Vizualizirajte izvirne in skalirane podatke: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Izvirni podatki + +  + + > Skalirani podatki + +1. Zdaj, ko ste kalibrirali skalirane podatke, lahko skalirate testne podatke: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Implementirajte ARIMA + +Čas je, da implementirate ARIMA! Zdaj boste uporabili knjižnico `statsmodels`, ki ste jo prej namestili. + +Zdaj morate slediti več korakom: + + 1. Določite model z uporabo `SARIMAX()` in podajte parametre modela: parametre p, d in q ter parametre P, D in Q. + 2. Pripravite model za učne podatke z uporabo funkcije fit(). + 3. Naredite napovedi z uporabo funkcije `forecast()` in določite število korakov (obzorje), ki jih želite napovedati. + +> 🎓 Kaj pomenijo vsi ti parametri? V modelu ARIMA obstajajo 3 parametri, ki pomagajo modelirati glavne vidike časovne vrste: sezonskost, trend in šum. Ti parametri so: + +`p`: parameter, povezan z avtoregresivnim vidikom modela, ki vključuje *pretekle* vrednosti. +`d`: parameter, povezan z integriranim delom modela, ki vpliva na količino *razlikovanja* (🎓 spomnite se razlikovanja 👆?), ki se uporabi na časovni vrsti. +`q`: parameter, povezan z delom modela, ki se nanaša na premično povprečje. + +> Opomba: Če vaši podatki vsebujejo sezonski vidik - kar ti podatki vsebujejo -, uporabimo sezonski ARIMA model (SARIMA). V tem primeru morate uporabiti še en niz parametrov: `P`, `D` in `Q`, ki opisujejo enake povezave kot `p`, `d` in `q`, vendar ustrezajo sezonskim komponentam modela. + +1. Začnite z nastavitvijo želene vrednosti obzorja. Poskusimo s 3 urami: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Izbira najboljših vrednosti za parametre modela ARIMA je lahko zahtevna, saj je nekoliko subjektivna in časovno intenzivna. Morda boste želeli uporabiti funkcijo `auto_arima()` iz knjižnice [`pyramid`](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html). + +1. Za zdaj poskusite nekaj ročnih izbir, da najdete dober model. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Tabela rezultatov je natisnjena. + +Zgradili ste svoj prvi model! Zdaj moramo najti način za njegovo oceno. + +### Ocenite svoj model + +Za oceno svojega modela lahko izvedete tako imenovano validacijo `walk forward`. V praksi se modeli časovnih vrst ponovno trenirajo vsakič, ko so na voljo novi podatki. To omogoča modelu, da naredi najboljšo napoved na vsakem časovnem koraku. + +Začnite na začetku časovne vrste z uporabo te tehnike, trenirajte model na učnem podatkovnem nizu. Nato naredite napoved za naslednji časovni korak. Napoved se oceni glede na znano vrednost. Učni niz se nato razširi, da vključuje znano vrednost, in proces se ponovi. + +> Opomba: Učno okno podatkovnega niza bi morali ohraniti fiksno za bolj učinkovito učenje, tako da vsakič, ko dodate novo opazovanje v učni niz, odstranite opazovanje z začetka niza. + +Ta proces zagotavlja bolj robustno oceno, kako bo model deloval v praksi. Vendar pa to prinaša računske stroške ustvarjanja toliko modelov. To je sprejemljivo, če so podatki majhni ali če je model preprost, vendar bi lahko bil problem pri večjih podatkih. + +Validacija z metodo walk-forward je zlati standard za ocenjevanje modelov časovnih vrst in jo priporočamo za vaše projekte. + +1. Najprej ustvarite testno podatkovno točko za vsak korak obzorja. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Podatki se horizontalno premaknejo glede na točko obzorja. + +1. Naredite napovedi za svoje testne podatke z uporabo tega drsnega okna v zanki dolžine testnih podatkov: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Lahko opazujete potek učenja: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Primerjajte napovedi z dejansko obremenitvijo: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Izhod + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Opazujte napovedi urnih podatkov v primerjavi z dejansko obremenitvijo. Kako natančen je model? + +### Preverite natančnost modela + +Preverite natančnost svojega modela z oceno njegove povprečne absolutne odstotne napake (MAPE) za vse napovedi. +> **🧮 Poglejmo matematiko** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) se uporablja za prikaz natančnosti napovedi kot razmerje, opredeljeno z zgornjo formulo. Razlika med dejansko vrednostjo in napovedano vrednostjo je deljena z dejansko vrednostjo. "Absolutna vrednost v tem izračunu se sešteje za vsako napovedano točko v času in deli s številom prilagojenih točk n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) +1. Izrazite enačbo v kodi: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Izračunajte MAPE za en korak: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE napovedi za en korak: 0.5570581332313952 % + +1. Izpišite MAPE za več korakov: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Nizka vrednost je najboljša: upoštevajte, da je napoved z MAPE 10 odstopanje za 10 %. + +1. Kot vedno je tovrstno merjenje natančnosti lažje razumeti vizualno, zato ga prikažimo na grafu: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Zelo lep graf, ki prikazuje model z dobro natančnostjo. Odlično opravljeno! + +--- + +## 🚀Izziv + +Raziskujte načine za testiranje natančnosti modela časovnih vrst. V tej lekciji smo se dotaknili MAPE, vendar obstajajo tudi druge metode, ki jih lahko uporabite. Raziskujte jih in jih označite. Koristen dokument najdete [tukaj](https://otexts.com/fpp2/accuracy.html). + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Ta lekcija se dotika le osnov napovedovanja časovnih vrst z ARIMA. Vzemite si čas za poglobitev znanja z raziskovanjem [tega repozitorija](https://microsoft.github.io/forecasting/) in njegovih različnih tipov modelov, da se naučite drugih načinov za gradnjo modelov časovnih vrst. + +## Naloga + +[Nov ARIMA model](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/2-ARIMA/assignment.md b/translations/sl/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 00000000..bfcd438a --- /dev/null +++ b/translations/sl/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,25 @@ + +# Nov ARIMA model + +## Navodila + +Zdaj, ko ste izdelali ARIMA model, ustvarite novega z novimi podatki (poskusite enega od [teh podatkovnih nizov z Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Svoje delo dokumentirajte v zvezku, vizualizirajte podatke in model ter preverite njegovo natančnost z uporabo MAPE. + +## Merila + +| Merila | Odlično | Zadostno | Potrebno izboljšanje | +| --------| -------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | Predstavljen je zvezek z novim ARIMA modelom, ki je bil izdelan, testiran in pojasnjen z vizualizacijami ter navedeno natančnostjo. | Predstavljen zvezek ni dokumentiran ali vsebuje napake | Predstavljen je nepopoln zvezek | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazuma ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/sl/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 00000000..8a56eb16 --- /dev/null +++ b/translations/sl/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/sl/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 00000000..584c1cbc --- /dev/null +++ b/translations/sl/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,15 @@ + +to je začasno mesto + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/3-SVR/README.md b/translations/sl/7-TimeSeries/3-SVR/README.md new file mode 100644 index 00000000..2aa3b63c --- /dev/null +++ b/translations/sl/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,393 @@ + +# Napovedovanje časovnih vrst z regresorjem podpornih vektorjev + +V prejšnji lekciji ste se naučili uporabljati model ARIMA za napovedovanje časovnih vrst. Zdaj si bomo ogledali model Support Vector Regressor, ki je regresijski model za napovedovanje neprekinjenih podatkov. + +## [Pre-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +V tej lekciji boste spoznali specifičen način gradnje modelov z [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) za regresijo, ali **SVR: Support Vector Regressor**. + +### SVR v kontekstu časovnih vrst [^1] + +Preden razumemo pomen SVR pri napovedovanju časovnih vrst, je pomembno poznati naslednje koncepte: + +- **Regresija:** Tehnika nadzorovanega učenja za napovedovanje neprekinjenih vrednosti na podlagi danih vhodnih podatkov. Ideja je prilagoditi krivuljo (ali premico) v prostoru značilnosti, ki zajame največje število podatkovnih točk. [Kliknite tukaj](https://en.wikipedia.org/wiki/Regression_analysis) za več informacij. +- **Support Vector Machine (SVM):** Vrsta modela nadzorovanega strojnega učenja, ki se uporablja za klasifikacijo, regresijo in zaznavanje odstopanj. Model je hiperploskev v prostoru značilnosti, ki v primeru klasifikacije deluje kot meja, v primeru regresije pa kot najboljša prilagoditvena premica. Pri SVM se pogosto uporablja funkcija jedra (Kernel function), ki transformira podatkovni niz v prostor z več dimenzijami, da postane lažje ločljiv. [Kliknite tukaj](https://en.wikipedia.org/wiki/Support-vector_machine) za več informacij o SVM. +- **Support Vector Regressor (SVR):** Vrsta SVM, ki najde najboljšo prilagoditveno premico (ki je v primeru SVM hiperploskev), ki zajame največje število podatkovnih točk. + +### Zakaj SVR? [^1] + +V prejšnji lekciji ste spoznali ARIMA, ki je zelo uspešna statistična linearna metoda za napovedovanje časovnih vrst. Vendar pa so podatki časovnih vrst pogosto *nelinearni*, kar linearni modeli ne morejo zajeti. V takih primerih sposobnost SVM, da upošteva nelinearnost podatkov pri regresijskih nalogah, naredi SVR uspešnega pri napovedovanju časovnih vrst. + +## Naloga - izdelava modela SVR + +Prvi koraki za pripravo podatkov so enaki kot v prejšnji lekciji o [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Odprite mapo [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) v tej lekciji in poiščite datoteko [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb). [^2] + +1. Zaženite beležko in uvozite potrebne knjižnice: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Naložite podatke iz datoteke `/data/energy.csv` v Pandas dataframe in si jih oglejte: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Prikažite vse razpoložljive podatke o energiji od januarja 2012 do decembra 2014: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Zdaj pa izdelajmo naš model SVR. + +### Ustvarjanje učnih in testnih podatkovnih nizov + +Ko so podatki naloženi, jih lahko ločite na učni in testni niz. Nato jih boste preoblikovali v podatkovni niz, ki temelji na časovnih korakih, kar bo potrebno za SVR. Model boste trenirali na učnem nizu. Ko bo model končal s treniranjem, boste ocenili njegovo natančnost na učnem nizu, testnem nizu in nato na celotnem podatkovnem nizu, da preverite splošno zmogljivost. Poskrbeti morate, da testni niz zajema poznejše obdobje v času od učnega niza, da zagotovite, da model ne pridobi informacij iz prihodnjih časovnih obdobij [^2] (situacija, znana kot *Overfitting*). + +1. Dodelite dvomesečno obdobje od 1. septembra do 31. oktobra 2014 učnemu nizu. Testni niz bo vključeval dvomesečno obdobje od 1. novembra do 31. decembra 2014: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Vizualizirajte razlike: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### Priprava podatkov za treniranje + +Zdaj morate pripraviti podatke za treniranje z izvajanjem filtriranja in skaliranja podatkov. Filtrirajte svoj podatkovni niz, da vključite samo potrebna časovna obdobja in stolpce, ter skalirajte podatke, da jih projicirate v interval 0,1. + +1. Filtrirajte izvirni podatkovni niz, da vključite samo omenjena časovna obdobja na nizih in samo potrebni stolpec 'load' ter datum: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Skalirajte učne podatke, da bodo v razponu (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Zdaj skalirajte testne podatke: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Ustvarjanje podatkov s časovnimi koraki [^1] + +Za SVR preoblikujete vhodne podatke v obliko `[batch, timesteps]`. Tako obstoječe `train_data` in `test_data` preoblikujete tako, da dodate novo dimenzijo, ki se nanaša na časovne korake. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Za ta primer vzamemo `timesteps = 5`. Tako so vhodni podatki za model podatki za prve 4 časovne korake, izhod pa bodo podatki za 5. časovni korak. + +```python +timesteps=5 +``` + +Pretvorba učnih podatkov v 2D tensor z uporabo ugnezdene listne komprehencije: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Pretvorba testnih podatkov v 2D tensor: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +Izbor vhodov in izhodov iz učnih in testnih podatkov: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Implementacija SVR [^1] + +Zdaj je čas za implementacijo SVR. Za več informacij o tej implementaciji si lahko ogledate [to dokumentacijo](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Za našo implementacijo sledimo tem korakom: + + 1. Definirajte model z uporabo `SVR()` in podajte hiperparametre modela: kernel, gamma, c in epsilon + 2. Pripravite model za učne podatke z uporabo funkcije `fit()` + 3. Izvedite napovedi z uporabo funkcije `predict()` + +Zdaj ustvarimo model SVR. Tukaj uporabimo [RBF kernel](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) in nastavimo hiperparametre gamma, C in epsilon na 0.5, 10 in 0.05. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Prilagoditev modela na učne podatke [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Izvedba napovedi modela [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Izdelali ste svoj SVR! Zdaj ga moramo oceniti. + +### Ocenjevanje modela [^1] + +Za ocenjevanje najprej skaliramo podatke nazaj na našo izvirno lestvico. Nato za preverjanje zmogljivosti prikažemo izvirni in napovedani časovni niz ter natisnemo rezultat MAPE. + +Skaliranje napovedanih in izvirnih izhodov: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Preverjanje zmogljivosti modela na učnih in testnih podatkih [^1] + +Iz podatkovnega niza izvlečemo časovne oznake za prikaz na x-osi našega grafa. Upoštevajte, da uporabljamo prvih ```timesteps-1``` vrednosti kot vhod za prvi izhod, zato se časovne oznake za izhod začnejo po tem. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Prikaz napovedi za učne podatke: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Natisnite MAPE za učne podatke + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Prikaz napovedi za testne podatke + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Natisnite MAPE za testne podatke + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Na testnem podatkovnem nizu imate zelo dober rezultat! + +### Preverjanje zmogljivosti modela na celotnem podatkovnem nizu [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Zelo lepi grafi, ki prikazujejo model z dobro natančnostjo. Odlično opravljeno! + +--- + +## 🚀Izziv + +- Poskusite prilagoditi hiperparametre (gamma, C, epsilon) med ustvarjanjem modela in ocenite podatke, da vidite, kateri nabor hiperparametrov daje najboljše rezultate na testnih podatkih. Za več informacij o teh hiperparametrih si lahko ogledate dokument [tukaj](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Poskusite uporabiti različne funkcije jedra za model in analizirajte njihovo zmogljivost na podatkovnem nizu. Koristen dokument najdete [tukaj](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Poskusite uporabiti različne vrednosti za `timesteps`, da model pogleda nazaj za napovedovanje. + +## [Post-lecture quiz](https://ff-quizzes.netlify.app/en/ml/) + +## Pregled in samostojno učenje + +Ta lekcija je bila namenjena predstavitvi uporabe SVR za napovedovanje časovnih vrst. Za več informacij o SVR si lahko ogledate [ta blog](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Ta [dokumentacija o scikit-learn](https://scikit-learn.org/stable/modules/svm.html) ponuja bolj celovito razlago o SVM na splošno, [SVR](https://scikit-learn.org/stable/modules/svm.html#regression) in tudi druge podrobnosti implementacije, kot so različne [funkcije jedra](https://scikit-learn.org/stable/modules/svm.html#kernel-functions), ki jih je mogoče uporabiti, ter njihovi parametri. + +## Naloga + +[Novi model SVR](assignment.md) + +## Zasluge + +[^1]: Besedilo, koda in izhod v tem razdelku je prispeval [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Besedilo, koda in izhod v tem razdelku je vzeto iz [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/3-SVR/assignment.md b/translations/sl/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 00000000..cb82c4f6 --- /dev/null +++ b/translations/sl/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,29 @@ + +# Nov model SVR + +## Navodila [^1] + +Zdaj, ko ste zgradili model SVR, zgradite novega z novimi podatki (poskusite enega od [teh podatkovnih nizov z Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Svoje delo dokumentirajte v zvezku, vizualizirajte podatke in svoj model ter preizkusite njegovo natančnost z ustreznimi grafi in MAPE. Prav tako poskusite prilagoditi različne hiperparametre in uporabiti različne vrednosti za časovne korake. + +## Merila [^1] + +| Merila | Odlično | Zadostno | Potrebno izboljšanje | +| -------- | ----------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | Predstavljen je zvezek z zgrajenim, testiranim in pojasnjenim modelom SVR, skupaj z vizualizacijami in navedeno natančnostjo. | Predstavljen zvezek ni dokumentiran ali vsebuje napake. | Predstavljen je nepopoln zvezek. | + + + +[^1]: Besedilo v tem razdelku temelji na [nalogi iz ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/7-TimeSeries/README.md b/translations/sl/7-TimeSeries/README.md new file mode 100644 index 00000000..3fffb560 --- /dev/null +++ b/translations/sl/7-TimeSeries/README.md @@ -0,0 +1,37 @@ + +# Uvod v napovedovanje časovnih vrst + +Kaj je napovedovanje časovnih vrst? Gre za napovedovanje prihodnjih dogodkov z analizo preteklih trendov. + +## Regionalna tema: svetovna poraba električne energije ✨ + +V teh dveh lekcijah boste spoznali napovedovanje časovnih vrst, nekoliko manj znano področje strojnega učenja, ki je kljub temu izjemno dragoceno za industrijske in poslovne aplikacije ter druge področja. Čeprav se lahko nevronske mreže uporabljajo za izboljšanje uporabnosti teh modelov, jih bomo preučevali v kontekstu klasičnega strojnega učenja, saj modeli pomagajo napovedovati prihodnjo uspešnost na podlagi preteklosti. + +Naša regionalna osredotočenost je poraba električne energije po svetu, zanimiv nabor podatkov za učenje o napovedovanju prihodnje porabe električne energije na podlagi vzorcev pretekle obremenitve. Vidite lahko, kako je takšno napovedovanje lahko izjemno koristno v poslovnem okolju. + + + +Fotografija [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) električnih stolpov na cesti v Rajasthanu na [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Lekcije + +1. [Uvod v napovedovanje časovnih vrst](1-Introduction/README.md) +2. [Izdelava ARIMA modelov časovnih vrst](2-ARIMA/README.md) +3. [Izdelava Support Vector Regressor za napovedovanje časovnih vrst](3-SVR/README.md) + +## Zasluge + +"Uvod v napovedovanje časovnih vrst" sta napisali ⚡️ [Francesca Lazzeri](https://twitter.com/frlazzeri) in [Jen Looper](https://twitter.com/jenlooper). Zvezki so se prvič pojavili na spletu v [Azure "Deep Learning For Time Series" repozitoriju](https://github.com/Azure/DeepLearningForTimeSeriesForecasting), ki ga je prvotno napisala Francesca Lazzeri. Lekcijo o SVR je napisal [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD). + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da se zavedate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/8-Reinforcement/1-QLearning/README.md b/translations/sl/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 00000000..f39ce4a9 --- /dev/null +++ b/translations/sl/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,256 @@ + +# Uvod v učenje z okrepitvijo in Q-učenje + + +> Sketchnote avtorja [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Učenje z okrepitvijo vključuje tri pomembne koncepte: agenta, določena stanja in niz dejanj za vsako stanje. Z izvajanjem dejanja v določenem stanju agent prejme nagrado. Predstavljajte si računalniško igro Super Mario. Vi ste Mario, nahajate se na ravni igre, stojite ob robu prepada. Nad vami je kovanec. Vi kot Mario, na določeni ravni igre, na določenem položaju ... to je vaše stanje. Če se premaknete korak v desno (dejanje), boste padli čez rob in prejeli nizko številčno oceno. Če pa pritisnete gumb za skok, boste dosegli točko in ostali živi. To je pozitiven izid, ki bi vam moral prinesti pozitivno številčno oceno. + +Z uporabo učenja z okrepitvijo in simulatorja (igre) se lahko naučite igrati igro tako, da maksimizirate nagrado, kar pomeni, da ostanete živi in dosežete čim več točk. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Kliknite zgornjo sliko, da poslušate Dmitryja, kako razpravlja o učenju z okrepitvijo + +## [Pred-predavanje kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Predpogoji in nastavitev + +V tej lekciji bomo eksperimentirali s kodo v Pythonu. Kodo iz Jupyter Notebooka iz te lekcije bi morali biti sposobni zagnati na svojem računalniku ali v oblaku. + +Odprite [notebook lekcije](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) in sledite lekciji za gradnjo. + +> **Opomba:** Če odpirate to kodo iz oblaka, morate pridobiti tudi datoteko [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), ki se uporablja v kodi notebooka. Dodajte jo v isto mapo kot notebook. + +## Uvod + +V tej lekciji bomo raziskali svet **[Peter in volk](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, ki ga je navdihnila glasbena pravljica ruskega skladatelja [Sergeja Prokofjeva](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Uporabili bomo **učenje z okrepitvijo**, da bomo Petru omogočili raziskovanje njegovega okolja, zbiranje okusnih jabolk in izogibanje volku. + +**Učenje z okrepitvijo** (RL) je tehnika učenja, ki nam omogoča, da se naučimo optimalnega vedenja **agenta** v določenem **okolju** z izvajanjem številnih eksperimentov. Agent v tem okolju mora imeti določen **cilj**, ki ga določa **funkcija nagrade**. + +## Okolje + +Za enostavnost si predstavljajmo Petrov svet kot kvadratno ploščo velikosti `širina` x `višina`, kot je ta: + + + +Vsaka celica na tej plošči je lahko: + +* **zemlja**, po kateri lahko Peter in druga bitja hodijo. +* **voda**, po kateri očitno ne morete hoditi. +* **drevo** ali **trava**, kjer se lahko spočijete. +* **jabolko**, ki predstavlja nekaj, kar bi Peter z veseljem našel, da se nahrani. +* **volk**, ki je nevaren in se mu je treba izogniti. + +Obstaja ločen Python modul, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), ki vsebuje kodo za delo s tem okoljem. Ker ta koda ni pomembna za razumevanje naših konceptov, bomo modul uvozili in ga uporabili za ustvarjanje vzorčne plošče (koda blok 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Ta koda bi morala natisniti sliko okolja, podobno zgornji. + +## Dejanja in politika + +V našem primeru bi bil Petrov cilj najti jabolko, medtem ko se izogiba volku in drugim oviram. Da bi to dosegel, se lahko preprosto sprehaja, dokler ne najde jabolka. + +Zato lahko na katerem koli položaju izbere eno od naslednjih dejanj: gor, dol, levo in desno. + +Ta dejanja bomo definirali kot slovar in jih preslikali v pare ustreznih sprememb koordinat. Na primer, premik v desno (`R`) bi ustrezal paru `(1,0)`. (koda blok 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Če povzamemo, strategija in cilj tega scenarija sta naslednja: + +- **Strategija** našega agenta (Petra) je definirana z tako imenovano **politiko**. Politika je funkcija, ki vrne dejanje v katerem koli danem stanju. V našem primeru je stanje problema predstavljeno s ploščo, vključno s trenutnim položajem igralca. + +- **Cilj** učenja z okrepitvijo je sčasoma naučiti dobro politiko, ki nam bo omogočila učinkovito reševanje problema. Vendar pa kot osnovo upoštevajmo najpreprostejšo politiko, imenovano **naključna hoja**. + +## Naključna hoja + +Najprej rešimo naš problem z implementacijo strategije naključne hoje. Pri naključni hoji bomo naključno izbrali naslednje dejanje iz dovoljenih dejanj, dokler ne dosežemo jabolka (koda blok 3). + +1. Implementirajte naključno hojo s spodnjo kodo: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + Klic funkcije `walk` bi moral vrniti dolžino ustrezne poti, ki se lahko razlikuje od enega zagona do drugega. + +1. Izvedite eksperiment hoje večkrat (recimo 100-krat) in natisnite rezultate statistike (koda blok 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Opazite, da je povprečna dolžina poti okoli 30-40 korakov, kar je precej, glede na to, da je povprečna razdalja do najbližjega jabolka okoli 5-6 korakov. + + Prav tako lahko vidite, kako izgleda Petrov premik med naključno hojo: + +  + +## Funkcija nagrade + +Da bi bila naša politika bolj inteligentna, moramo razumeti, katera dejanja so "boljša" od drugih. Za to moramo definirati naš cilj. + +Cilj lahko definiramo v smislu **funkcije nagrade**, ki bo vrnila neko vrednost ocene za vsako stanje. Višja kot je številka, boljša je nagrada. (koda blok 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Zanimivo pri funkcijah nagrade je, da v večini primerov *prejmemo bistveno nagrado šele na koncu igre*. To pomeni, da mora naš algoritem nekako zapomniti "dobre" korake, ki vodijo do pozitivne nagrade na koncu, in povečati njihov pomen. Podobno je treba odvračati vse poteze, ki vodijo do slabih rezultatov. + +## Q-učenje + +Algoritem, ki ga bomo tukaj obravnavali, se imenuje **Q-učenje**. V tem algoritmu je politika definirana s funkcijo (ali podatkovno strukturo), imenovano **Q-tabela**. Ta beleži "dobroto" vsakega dejanja v določenem stanju. + +Imenuje se Q-tabela, ker jo je pogosto priročno predstavljati kot tabelo ali večdimenzionalno matriko. Ker ima naša plošča dimenzije `širina` x `višina`, lahko Q-tabelo predstavimo z numpy matriko oblike `širina` x `višina` x `len(actions)`: (koda blok 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Opazite, da vse vrednosti Q-tabele inicializiramo z enako vrednostjo, v našem primeru - 0,25. To ustreza politiki "naključne hoje", ker so vse poteze v vsakem stanju enako dobre. Q-tabelo lahko posredujemo funkciji `plot`, da vizualiziramo tabelo na plošči: `m.plot(Q)`. + + + +V središču vsake celice je "puščica", ki označuje prednostno smer gibanja. Ker so vse smeri enake, je prikazana pika. + +Zdaj moramo zagnati simulacijo, raziskati naše okolje in se naučiti boljše porazdelitve vrednosti Q-tabele, kar nam bo omogočilo veliko hitrejše iskanje poti do jabolka. + +## Bistvo Q-učenja: Bellmanova enačba + +Ko se začnemo premikati, bo vsako dejanje imelo ustrezno nagrado, tj. teoretično lahko izberemo naslednje dejanje na podlagi najvišje takojšnje nagrade. Vendar pa v večini stanj poteza ne bo dosegla našega cilja doseči jabolko, zato ne moremo takoj odločiti, katera smer je boljša. + +> Ne pozabite, da ni pomemben trenutni rezultat, temveč končni rezultat, ki ga bomo dosegli na koncu simulacije. + +Da bi upoštevali to odloženo nagrado, moramo uporabiti načela **[dinamičnega programiranja](https://en.wikipedia.org/wiki/Dynamic_programming)**, ki nam omogočajo, da o problemu razmišljamo rekurzivno. + +Recimo, da smo zdaj v stanju *s* in se želimo premakniti v naslednje stanje *s'*. S tem bomo prejeli takojšnjo nagrado *r(s,a)*, določeno s funkcijo nagrade, plus neko prihodnjo nagrado. Če predpostavimo, da naša Q-tabela pravilno odraža "privlačnost" vsakega dejanja, bomo v stanju *s'* izbrali dejanje *a*, ki ustreza največji vrednosti *Q(s',a')*. Tako bo najboljša možna prihodnja nagrada, ki jo lahko dobimo v stanju *s*, definirana kot `max` + +## Preverjanje politike + +Ker Q-tabela prikazuje "privlačnost" vsakega dejanja v vsakem stanju, jo je precej enostavno uporabiti za določitev učinkovite navigacije v našem svetu. V najpreprostejšem primeru lahko izberemo dejanje, ki ustreza najvišji vrednosti v Q-tabeli: (koda 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Če zgornjo kodo poskusite večkrat, boste morda opazili, da se včasih "zatakne" in morate pritisniti gumb STOP v beležnici, da jo prekinete. To se zgodi, ker lahko pride do situacij, ko si dve stanji "kažeta" druga na drugo glede na optimalno Q-vrednost, zaradi česar agent neskončno prehaja med tema dvema stanjema. + +## 🚀Izziv + +> **Naloga 1:** Spremenite funkcijo `walk`, da omejite največjo dolžino poti na določeno število korakov (na primer 100) in opazujte, kako zgornja koda občasno vrne to vrednost. + +> **Naloga 2:** Spremenite funkcijo `walk`, da se ne vrača na mesta, kjer je že bil. To bo preprečilo, da bi se `walk` zanko ponavljal, vendar se agent še vedno lahko "ujame" na lokaciji, iz katere ne more pobegniti. + +## Navigacija + +Boljša navigacijska politika bi bila tista, ki smo jo uporabili med učenjem, in ki združuje izkoriščanje in raziskovanje. Pri tej politiki bomo vsako dejanje izbrali z določeno verjetnostjo, sorazmerno z vrednostmi v Q-tabeli. Ta strategija lahko še vedno povzroči, da se agent vrne na že raziskano mesto, vendar, kot lahko vidite iz spodnje kode, vodi do zelo kratke povprečne poti do želene lokacije (ne pozabite, da `print_statistics` simulacijo zažene 100-krat): (koda 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Po zagonu te kode bi morali dobiti precej krajšo povprečno dolžino poti kot prej, v razponu od 3 do 6. + +## Preučevanje učnega procesa + +Kot smo omenili, je učni proces ravnovesje med raziskovanjem in izkoriščanjem pridobljenega znanja o strukturi problemskega prostora. Videli smo, da so se rezultati učenja (sposobnost pomagati agentu najti kratko pot do cilja) izboljšali, vendar je zanimivo tudi opazovati, kako se povprečna dolžina poti spreminja med učnim procesom: + +Ugotovitve lahko povzamemo takole: + +- **Povprečna dolžina poti se poveča.** Na začetku opazimo, da se povprečna dolžina poti povečuje. To je verjetno zato, ker ko ne vemo ničesar o okolju, se zlahka ujamemo v slaba stanja, kot so voda ali volk. Ko se naučimo več in začnemo uporabljati to znanje, lahko okolje raziskujemo dlje, vendar še vedno ne vemo dobro, kje so jabolka. + +- **Dolžina poti se zmanjša, ko se naučimo več.** Ko se naučimo dovolj, postane agentu lažje doseči cilj, dolžina poti pa se začne zmanjševati. Vendar smo še vedno odprti za raziskovanje, zato pogosto odstopimo od najboljše poti in raziskujemo nove možnosti, kar podaljša pot. + +- **Dolžina se nenadoma poveča.** Na grafu opazimo tudi, da se dolžina na neki točki nenadoma poveča. To kaže na stohastično naravo procesa in na to, da lahko na neki točki "pokvarimo" koeficiente v Q-tabeli, tako da jih prepišemo z novimi vrednostmi. To bi morali idealno zmanjšati z zniževanjem učne stopnje (na primer, proti koncu učenja Q-tabeli dodajamo le majhne vrednosti). + +Na splošno je pomembno vedeti, da uspeh in kakovost učnega procesa močno odvisna od parametrov, kot so učna stopnja, zmanjševanje učne stopnje in faktor diskontiranja. Ti se pogosto imenujejo **hiperparametri**, da jih ločimo od **parametrov**, ki jih optimiziramo med učenjem (na primer koeficienti Q-tabele). Proces iskanja najboljših vrednosti hiperparametrov se imenuje **optimizacija hiperparametrov** in si zasluži ločeno obravnavo. + +## [Kvizi po predavanju](https://ff-quizzes.netlify.app/en/ml/) + +## Naloga +[Bolj realističen svet](assignment.md) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitne nesporazume ali napačne razlage, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/8-Reinforcement/1-QLearning/assignment.md b/translations/sl/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 00000000..438aa6e5 --- /dev/null +++ b/translations/sl/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,41 @@ + +# Bolj realističen svet + +V naši situaciji se je Peter lahko premikal skoraj brez utrujenosti ali lakote. V bolj realističnem svetu se mora občasno ustaviti, da si odpočije, in se tudi nahraniti. Naredimo naš svet bolj realističen z uvedbo naslednjih pravil: + +1. Pri premikanju iz enega kraja v drugega Peter izgublja **energijo** in pridobiva **utrujenost**. +2. Peter lahko pridobi več energije z uživanjem jabolk. +3. Peter se lahko znebi utrujenosti z počitkom pod drevesom ali na travi (tj. ko stopi na polje z drevesom ali travo - zeleno polje). +4. Peter mora najti in ubiti volka. +5. Da bi ubil volka, mora Peter imeti določene ravni energije in utrujenosti, sicer izgubi bitko. + +## Navodila + +Uporabite originalni zvezek [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) kot izhodišče za vašo rešitev. + +Spremenite funkcijo nagrajevanja glede na pravila igre, zaženite algoritem za okrepitev učenja, da se naučite najboljše strategije za zmago v igri, in primerjajte rezultate naključnega sprehoda z vašim algoritmom glede na število zmag in porazov. + +> **Note**: V vašem novem svetu je stanje bolj kompleksno in poleg človeške pozicije vključuje tudi ravni utrujenosti in energije. Stanje lahko predstavite kot nabor (Polje, energija, utrujenost) ali definirate razred za stanje (lahko ga tudi izpeljete iz `Board`), ali pa celo spremenite originalni razred `Board` znotraj [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py). + +V vaši rešitvi prosimo, da ohranite kodo, ki je odgovorna za strategijo naključnega sprehoda, in na koncu primerjajte rezultate vašega algoritma z naključnim sprehodom. + +> **Note**: Morda boste morali prilagoditi hiperparametre, da bo delovalo, še posebej število epoh. Ker je uspeh igre (boj z volkom) redek dogodek, lahko pričakujete precej daljši čas učenja. + +## Merila + +| Merilo | Odlično | Zadostno | Potrebno izboljšanje | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Predstavljen je zvezek z definicijo novih pravil sveta, algoritmom Q-Learning in nekaj besedilnimi razlagami. Q-Learning bistveno izboljša rezultate v primerjavi z naključnim sprehodom. | Predstavljen je zvezek, Q-Learning je implementiran in izboljša rezultate v primerjavi z naključnim sprehodom, vendar ne bistveno; ali zvezek je slabo dokumentiran in koda ni dobro strukturirana | Narejen je poskus redefinicije pravil sveta, vendar algoritem Q-Learning ne deluje ali funkcija nagrajevanja ni v celoti definirana | + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/sl/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 00000000..814c05fe --- /dev/null +++ b/translations/sl/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,15 @@ + +To je začasno mesto za izpolnitev + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/sl/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 00000000..4d0f947b --- /dev/null +++ b/translations/sl/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,15 @@ + +to je začasno nadomestilo + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/8-Reinforcement/2-Gym/README.md b/translations/sl/8-Reinforcement/2-Gym/README.md new file mode 100644 index 00000000..e6144e10 --- /dev/null +++ b/translations/sl/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,351 @@ + +# CartPole Drsanje + +Problem, ki smo ga reševali v prejšnji lekciji, se morda zdi kot igrača, ki ni uporabna v resničnih scenarijih. To ni res, saj veliko resničnih problemov deli podobne značilnosti – vključno z igranjem šaha ali Go. Ti problemi so podobni, ker imamo tudi tukaj ploščo z določenimi pravili in **diskretno stanje**. + +## [Predhodni kviz](https://ff-quizzes.netlify.app/en/ml/) + +## Uvod + +V tej lekciji bomo uporabili enaka načela Q-učenja za problem s **kontinuiranim stanjem**, tj. stanjem, ki ga določajo ena ali več realnih števil. Ukvarjali se bomo z naslednjim problemom: + +> **Problem**: Če želi Peter pobegniti volku, mora biti sposoben hitreje premikati. Videli bomo, kako se Peter lahko nauči drsati, zlasti ohranjati ravnotežje, z uporabo Q-učenja. + + + +> Peter in njegovi prijatelji postanejo ustvarjalni, da pobegnejo volku! Slika: [Jen Looper](https://twitter.com/jenlooper) + +Uporabili bomo poenostavljeno različico ohranjanja ravnotežja, znano kot problem **CartPole**. V svetu CartPole imamo horizontalni drsnik, ki se lahko premika levo ali desno, cilj pa je uravnotežiti vertikalno palico na vrhu drsnika. + +## Predpogoji + +V tej lekciji bomo uporabili knjižnico **OpenAI Gym** za simulacijo različnih **okolij**. Kodo te lekcije lahko zaženete lokalno (npr. iz Visual Studio Code), v tem primeru se bo simulacija odprla v novem oknu. Pri izvajanju kode na spletu boste morda morali narediti nekaj prilagoditev, kot je opisano [tukaj](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7). + +## OpenAI Gym + +V prejšnji lekciji so bila pravila igre in stanje podana z razredom `Board`, ki smo ga sami definirali. Tukaj bomo uporabili posebno **simulacijsko okolje**, ki bo simuliralo fiziko palice za uravnoteženje. Eno najbolj priljubljenih simulacijskih okolij za treniranje algoritmov za krepitev učenja se imenuje [Gym](https://gym.openai.com/), ki ga vzdržuje [OpenAI](https://openai.com/). Z uporabo tega Gym-a lahko ustvarimo različna **okolja**, od simulacije CartPole do Atari iger. + +> **Opomba**: Druge okolja, ki jih ponuja OpenAI Gym, si lahko ogledate [tukaj](https://gym.openai.com/envs/#classic_control). + +Najprej namestimo Gym in uvozimo potrebne knjižnice (koda blok 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Naloga - inicializacija okolja CartPole + +Za delo s problemom uravnoteženja CartPole moramo inicializirati ustrezno okolje. Vsako okolje je povezano z: + +- **Prostorom opazovanja**, ki določa strukturo informacij, ki jih prejmemo iz okolja. Pri problemu CartPole prejmemo položaj palice, hitrost in nekatere druge vrednosti. + +- **Prostorom akcij**, ki določa možne akcije. V našem primeru je prostor akcij diskreten in obsega dve akciji - **levo** in **desno**. (koda blok 2) + +1. Za inicializacijo vnesite naslednjo kodo: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Da vidimo, kako okolje deluje, zaženimo kratko simulacijo za 100 korakov. Na vsakem koraku podamo eno od akcij, ki jih je treba izvesti – v tej simulaciji naključno izberemo akcijo iz `action_space`. + +1. Zaženite spodnjo kodo in preverite rezultat. + + ✅ Ne pozabite, da je priporočljivo to kodo zagnati na lokalni Python namestitvi! (koda blok 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Videti bi morali nekaj podobnega tej sliki: + +  + +1. Med simulacijo moramo pridobiti opazovanja, da se odločimo, kako ukrepati. Pravzaprav funkcija koraka vrne trenutna opazovanja, funkcijo nagrade in zastavico "done", ki označuje, ali ima smisel nadaljevati simulacijo ali ne: (koda blok 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + V zvezku boste videli nekaj podobnega temu: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Vektor opazovanja, ki se vrne na vsakem koraku simulacije, vsebuje naslednje vrednosti: + - Položaj vozička + - Hitrost vozička + - Kot palice + - Hitrost vrtenja palice + +1. Pridobite minimalno in maksimalno vrednost teh števil: (koda blok 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Opazili boste tudi, da je vrednost nagrade na vsakem koraku simulacije vedno 1. To je zato, ker je naš cilj preživeti čim dlje, tj. ohraniti palico v razumno vertikalnem položaju čim dlje. + + ✅ Pravzaprav se simulacija CartPole šteje za rešeno, če nam uspe doseči povprečno nagrado 195 v 100 zaporednih poskusih. + +## Diskretizacija stanja + +Pri Q-učenju moramo zgraditi Q-tabelo, ki določa, kaj storiti v vsakem stanju. Da bi to lahko storili, mora biti stanje **diskretno**, natančneje, vsebovati mora končno število diskretnih vrednosti. Zato moramo nekako **diskretizirati** naša opazovanja in jih preslikati v končno množico stanj. + +Obstaja nekaj načinov, kako to storiti: + +- **Razdelitev na razrede**. Če poznamo interval določene vrednosti, lahko ta interval razdelimo na število **razredov** in nato vrednost zamenjamo s številko razreda, kateremu pripada. To lahko storimo z metodo numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). V tem primeru bomo natančno poznali velikost stanja, saj bo odvisna od števila razredov, ki jih izberemo za digitalizacijo. + +✅ Uporabimo lahko linearno interpolacijo, da vrednosti prenesemo na nek končni interval (recimo od -20 do 20), nato pa številke pretvorimo v cela števila z zaokroževanjem. To nam daje nekoliko manj nadzora nad velikostjo stanja, zlasti če ne poznamo natančnih razponov vhodnih vrednosti. Na primer, v našem primeru 2 od 4 vrednosti nimata zgornjih/spodnjih mej svojih vrednosti, kar lahko povzroči neskončno število stanj. + +V našem primeru bomo uporabili drugi pristop. Kot boste morda opazili kasneje, kljub neomejenim zgornjim/spodnjim mejam te vrednosti redko zavzamejo vrednosti zunaj določenih končnih intervalov, zato bodo ta stanja z ekstremnimi vrednostmi zelo redka. + +1. Tukaj je funkcija, ki bo vzela opazovanje iz našega modela in ustvarila nabor 4 celih števil: (koda blok 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Raziščimo še drugo metodo diskretizacije z uporabo razredov: (koda blok 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Zdaj zaženimo kratko simulacijo in opazujmo te diskretne vrednosti okolja. Preizkusite `discretize` in `discretize_bins` ter preverite, ali obstaja razlika. + + ✅ `discretize_bins` vrne številko razreda, ki je osnovana na 0. Tako za vrednosti vhodne spremenljivke okoli 0 vrne številko iz sredine intervala (10). Pri `discretize` nas ni skrbelo za razpon izhodnih vrednosti, kar omogoča, da so negativne, zato vrednosti stanja niso premaknjene, in 0 ustreza 0. (koda blok 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Odkomentirajte vrstico, ki se začne z `env.render`, če želite videti, kako se okolje izvaja. Sicer pa lahko izvedete v ozadju, kar je hitreje. To "nevidno" izvajanje bomo uporabili med procesom Q-učenja. + +## Struktura Q-tabele + +V prejšnji lekciji je bilo stanje preprosta dvojica števil od 0 do 8, zato je bilo priročno predstaviti Q-tabelo z numpy tensorjem oblike 8x8x2. Če uporabimo diskretizacijo z razredi, je velikost našega vektorskega stanja prav tako znana, zato lahko uporabimo enak pristop in predstavimo stanje z matriko oblike 20x20x10x10x2 (tu je 2 dimenzija prostora akcij, prve dimenzije pa ustrezajo številu razredov, ki smo jih izbrali za vsako od parametrov v prostoru opazovanja). + +Vendar pa včasih natančne dimenzije prostora opazovanja niso znane. V primeru funkcije `discretize` morda nikoli ne bomo prepričani, da naše stanje ostane znotraj določenih omejitev, ker nekatere izvirne vrednosti niso omejene. Zato bomo uporabili nekoliko drugačen pristop in predstavili Q-tabelo z uporabo slovarja. + +1. Uporabite par *(state,action)* kot ključ slovarja, vrednost pa bo ustrezala vrednosti vnosa Q-tabele. (koda blok 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Tukaj definiramo tudi funkcijo `qvalues()`, ki vrne seznam vrednosti Q-tabele za dano stanje, ki ustreza vsem možnim akcijam. Če vnos ni prisoten v Q-tabeli, bomo privzeto vrnili 0. + +## Začnimo Q-učenje + +Zdaj smo pripravljeni naučiti Petra, kako ohranjati ravnotežje! + +1. Najprej nastavimo nekaj hiperparametrov: (koda blok 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Tukaj je `alpha` **stopnja učenja**, ki določa, v kolikšni meri naj prilagodimo trenutne vrednosti Q-tabele na vsakem koraku. V prejšnji lekciji smo začeli z 1, nato pa zmanjšali `alpha` na nižje vrednosti med treningom. V tem primeru bomo ohranili konstantno vrednost za preprostost, kasneje pa lahko eksperimentirate z nastavitvijo vrednosti `alpha`. + + `gamma` je **faktor popusta**, ki kaže, v kolikšni meri naj dajemo prednost prihodnji nagradi pred trenutno nagrado. + + `epsilon` je **faktor raziskovanja/izkoriščanja**, ki določa, ali naj raje raziskujemo ali izkoriščamo. V našem algoritmu bomo v `epsilon` odstotkih primerov izbrali naslednjo akcijo glede na vrednosti Q-tabele, v preostalih primerih pa bomo izvedli naključno akcijo. To nam bo omogočilo raziskovanje področij iskalnega prostora, ki jih še nismo videli. + + ✅ Kar zadeva uravnoteženje – izbira naključne akcije (raziskovanje) bi delovala kot naključni udarec v napačno smer, palica pa bi se morala naučiti, kako obnoviti ravnotežje iz teh "napak". + +### Izboljšajmo algoritem + +Algoritem iz prejšnje lekcije lahko izboljšamo na dva načina: + +- **Izračunaj povprečno kumulativno nagrado** skozi več simulacij. Napredek bomo tiskali vsakih 5000 iteracij, povprečno kumulativno nagrado pa bomo izračunali za to obdobje. Če dosežemo več kot 195 točk, lahko problem štejemo za rešen, in to z boljšo kakovostjo, kot je zahtevano. + +- **Izračunaj največji povprečni kumulativni rezultat**, `Qmax`, in shranili bomo Q-tabelo, ki ustreza temu rezultatu. Ko zaženete trening, boste opazili, da se povprečni kumulativni rezultat včasih začne zmanjševati, zato želimo obdržati vrednosti Q-tabele, ki ustrezajo najboljšemu modelu, opaženemu med treningom. + +1. Zberite vse kumulativne nagrade pri vsaki simulaciji v vektorju `rewards` za nadaljnje risanje. (koda blok 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen in Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen in Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen in Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen in Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Ta workflow bo upravljal proces gradnje in namestitve. + +6. Spremljanje namestitve +Pojdite na zavihek “Actions” v vašem GitHub repozitoriju. +Videti bi morali, da se izvaja workflow. Ta workflow bo zgradil in namestil vašo statično spletno aplikacijo na Azure. +Ko se workflow zaključi, bo vaša aplikacija na voljo na dodeljenem Azure URL-ju. + +### Primer datoteke workflow + +Tukaj je primer, kako bi lahko izgledala GitHub Actions workflow datoteka: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Dodatni viri +- [Dokumentacija Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Dokumentacija GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/sketchnotes/LICENSE.md b/translations/sl/sketchnotes/LICENSE.md new file mode 100644 index 00000000..619c20ec --- /dev/null +++ b/translations/sl/sketchnotes/LICENSE.md @@ -0,0 +1,126 @@ + +Priznanje-Deljenje pod enakimi pogoji 4.0 Mednarodna + +======================================================================= + +Creative Commons Corporation ("Creative Commons") ni odvetniška družba in ne nudi pravnih storitev ali pravnih nasvetov. Distribucija javnih licenc Creative Commons ne ustvarja odnosa med odvetnikom in stranko ali kakršnega koli drugega odnosa. Creative Commons omogoča svoje licence in povezane informacije na podlagi "kot so". Creative Commons ne daje nobenih jamstev glede svojih licenc, gradiva, licenciranega pod njihovimi pogoji, ali povezanih informacij. Creative Commons zavrača vso odgovornost za škodo, ki izhaja iz njihove uporabe, v največjem možnem obsegu. + +Uporaba javnih licenc Creative Commons + +Javne licence Creative Commons zagotavljajo standardni nabor pogojev, ki jih lahko ustvarjalci in drugi imetniki pravic uporabijo za deljenje izvirnih avtorskih del in drugega gradiva, ki je predmet avtorskih pravic in določenih drugih pravic, navedenih v spodnji javni licenci. Naslednje točke so zgolj informativne narave, niso izčrpne in niso del naših licenc. + + Premisleki za dajalce licenc: Naše javne licence so namenjene tistim, ki so pooblaščeni, da javnosti dovolijo uporabo gradiva na načine, ki bi sicer bili omejeni z avtorskimi pravicami in določenimi drugimi pravicami. Naše licence so nepreklicne. Dajalci licenc naj preberejo in razumejo pogoje licence, ki jo izberejo, preden jo uporabijo. Prav tako naj dajalci licenc zagotovijo vse potrebne pravice, preden uporabijo naše licence, da bo javnost lahko ponovno uporabila gradivo, kot je pričakovano. Dajalci licenc naj jasno označijo gradivo, ki ni predmet licence. To vključuje drugo gradivo, licencirano pod CC, ali gradivo, uporabljeno na podlagi izjeme ali omejitve avtorskih pravic. Več premislekov za dajalce licenc: + wiki.creativecommons.org/Considerations_for_licensors + + Premisleki za javnost: Z uporabo ene od naših javnih licenc dajalec licence javnosti podeli dovoljenje za uporabo licenciranega gradiva pod določenimi pogoji. Če dovoljenje dajalca licence ni potrebno iz kakršnega koli razloga – na primer zaradi veljavne izjeme ali omejitve avtorskih pravic – potem ta uporaba ni urejena z licenco. Naše licence podeljujejo le dovoljenja v okviru avtorskih pravic in določenih drugih pravic, ki jih ima dajalec licence pooblastilo podeliti. Uporaba licenciranega gradiva je lahko še vedno omejena iz drugih razlogov, vključno s tem, da imajo drugi avtorske pravice ali druge pravice do gradiva. Dajalec licence lahko poda posebne zahteve, kot je zahteva, da so vse spremembe označene ali opisane. Čeprav to ni zahtevano z našimi licencami, vas spodbujamo, da te zahteve spoštujete, kjer je to razumno. Več premislekov za javnost: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Priznanje-Deljenje pod enakimi pogoji 4.0 Mednarodna javna licenca + +Z izvajanjem Licenciranih pravic (kot so opredeljene spodaj) sprejemate in se strinjate s pogoji te Creative Commons Priznanje-Deljenje pod enakimi pogoji 4.0 Mednarodne javne licence ("Javna licenca"). V obsegu, v katerem se ta Javna licenca lahko razlaga kot pogodba, vam Licencirane pravice podeljujemo v zameno za vaše sprejetje teh pogojev, dajalec licence pa vam te pravice podeljuje v zameno za koristi, ki jih prejme zaradi omogočanja dostopa do Licenciranega gradiva pod temi pogoji. + +Razdelek 1 -- Definicije. + + a. Prirejeno gradivo pomeni gradivo, ki je predmet avtorskih pravic in podobnih pravic, ki izhaja iz ali temelji na Licenciranem gradivu in v katerem je Licencirano gradivo prevedeno, spremenjeno, urejeno, preoblikovano ali kako drugače prilagojeno na način, ki zahteva dovoljenje po avtorskih pravicah in podobnih pravicah, ki jih ima dajalec licence. Za namene te Javne licence se šteje, da je Prirejeno gradivo vedno ustvarjeno, kadar je Licencirano gradivo sinhronizirano v časovni povezavi s premikajočo se sliko. + + b. Licenca prirejevalca pomeni licenco, ki jo uporabite za svoje avtorske pravice in podobne pravice v svojih prispevkih k Prirejenemu gradivu v skladu s pogoji te Javne licence. + + c. Združljiva licenca BY-SA pomeni licenco, navedeno na creativecommons.org/compatiblelicenses, ki jo je Creative Commons odobril kot bistveno enakovredno tej Javni licenci. + + d. Avtorske pravice in podobne pravice pomenijo avtorske pravice in/ali podobne pravice, ki so tesno povezane z avtorskimi pravicami, vključno z, brez omejitev, pravicami do izvedbe, oddajanja, zvočnega posnetka in sui generis pravicami do podatkovnih zbirk, ne glede na to, kako so pravice označene ali kategorizirane. Za namene te Javne licence pravice, določene v Razdelku 2(b)(1)-(2), niso Avtorske pravice in podobne pravice. + + e. Učinkoviti tehnološki ukrepi pomenijo tiste ukrepe, ki jih brez ustreznega pooblastila ni mogoče zaobiti po zakonih, ki izpolnjujejo obveznosti iz člena 11 Pogodbe WIPO o avtorskih pravicah, sprejete 20. decembra 1996, in/ali podobnih mednarodnih sporazumov. + + f. Izjeme in omejitve pomenijo pošteno uporabo, pošteno ravnanje in/ali katero koli drugo izjemo ali omejitev avtorskih pravic in podobnih pravic, ki velja za vašo uporabo Licenciranega gradiva. + + g. Elementi licence pomenijo atribute licence, navedene v imenu Javne licence Creative Commons. Elementi licence te Javne licence so Priznanje in Deljenje pod enakimi pogoji. + + h. Licencirano gradivo pomeni umetniško ali literarno delo, podatkovno zbirko ali drugo gradivo, za katero je dajalec licence uporabil to Javno licenco. + + i. Licencirane pravice pomenijo pravice, podeljene vam pod pogoji te Javne licence, ki so omejene na vse Avtorske pravice in podobne pravice, ki veljajo za vašo uporabo Licenciranega gradiva in za katere ima dajalec licence pooblastilo za licenciranje. + + j. Dajalec licence pomeni posameznika(e) ali subjekt(e), ki podeljujejo pravice po tej Javni licenci. + + k. Deljenje pomeni zagotavljanje gradiva javnosti na kakršen koli način ali proces, ki zahteva dovoljenje po Licenciranih pravicah, kot so reproduciranje, javno prikazovanje, javno izvajanje, distribucija, razširjanje, komunikacija ali uvoz, ter omogočanje dostopa do gradiva javnosti, vključno na načine, ki omogočajo članom javnosti dostop do gradiva z mesta in ob času, ki ga sami izberejo. + + l. Sui generis pravice do podatkovnih zbirk pomenijo pravice, ki niso avtorske pravice, izhajajoče iz Direktive 96/9/ES Evropskega parlamenta in Sveta z dne 11. marca 1996 o pravnem varstvu podatkovnih zbirk, kot je bila spremenjena in/ali nadomeščena, ter druge bistveno enakovredne pravice kjer koli na svetu. + + m. Vi pomeni posameznika ali subjekt, ki izvaja Licencirane pravice po tej Javni licenci. Vaš ima ustrezen pomen. + +... +Pravice, nato pa podatkovna zbirka, v kateri imate pravice sui generis do podatkovne zbirke (vendar ne do njenih posameznih vsebin), je prilagojeno gradivo, + +vključno za namene oddelka 3(b); in +c. Upoštevati morate pogoje iz oddelka 3(a), če delite celotno ali bistven del vsebine podatkovne zbirke. + +Da bi se izognili dvomom, ta oddelek 4 dopolnjuje in ne nadomešča vaših obveznosti po tej javni licenci, kadar licencirane pravice vključujejo druge avtorske pravice in podobne pravice. + +--- + +Oddelek 5 -- Izjava o omejitvi jamstev in omejitvi odgovornosti. + +a. RAZEN ČE LICENCODAJALEC LOČENO NE DOLOČI DRUGAČE, LICENCODAJALEC, KOLIKOR JE TO MOGOČE, PONUJA LICENCIRANO GRADIVO TAKŠNO, KOT JE, IN TAKŠNO, KOT JE NA VOLJO, TER NE DAJE NOBENIH IZJAV ALI JAMSTEV KAKRŠNEKOLI VRSTE GLEDE LICENCIRANEGA GRADIVA, BODISI IZRECNIH, IMPLICITNIH, ZAKONSKIH ALI DRUGIH. TO VKLJUČUJE, BREZ OMEJITEV, JAMSTVA GLEDE LASTNIŠTVA, PRIMERNOSTI ZA DOLOČEN NAMEN, NEKRŠENJA, ODSOTNOSTI SKRITIH ALI DRUGIH NAPAK, TOČNOSTI ALI PRISOTNOSTI ALI ODSOTNOSTI NAPAK, NE GLEDE NA TO, ALI SO ZNANE ALI ODKRITE. KJER IZJAVE O OMEJITVI JAMSTEV NISO DOVOLJENE V CELOTI ALI DELNO, TA IZJAVA ZA VAS MORDA NE VELJA. + +b. KOLIKOR JE TO MOGOČE, LICENCODAJALEC V NOBENEM PRIMERU NE BO ODGOVOREN VAM NA KATERIKOLI PRAVNI PODLAGI (VKLJUČNO, BREZ OMEJITEV, MALOMARNOST) ALI DRUGAČE ZA KAKRŠNEKOLI NEPOSREDNE, POSEBNE, POSREDNE, NAKLJUČNE, POSLEDIČNE, KAZENSKE, VZORNE ALI DRUGE IZGUBE, STROŠKE, IZDATKE ALI ŠKODO, KI IZHAJAJO IZ TE JAVNE LICENCE ALI UPORABE LICENCIRANEGA GRADIVA, ČETUDI JE LICENCODAJALEC OBVEŠČEN O MOŽNOSTI TAKŠNIH IZGUB, STROŠKOV, IZDATKOV ALI ŠKODE. KJER OMEJITEV ODGOVORNOSTI NI DOVOLJENA V CELOTI ALI DELNO, TA OMEJITEV ZA VAS MORDA NE VELJA. + +c. Izjava o omejitvi jamstev in omejitvi odgovornosti, navedena zgoraj, se razlaga na način, ki, kolikor je to mogoče, najbolj približa absolutni izjavi o omejitvi in odpovedi vsem odgovornostim. + +--- + +Oddelek 6 -- Trajanje in prenehanje. + +a. Ta javna licenca velja za obdobje avtorskih pravic in podobnih pravic, ki so tukaj licencirane. Vendar pa, če ne upoštevate te javne licence, se vaše pravice po tej javni licenci samodejno prekinejo. + +b. Kadar se vaša pravica do uporabe licenciranega gradiva prekine v skladu z oddelkom 6(a), se ponovno vzpostavi: + +1. samodejno na datum, ko je kršitev odpravljena, pod pogojem, da je odpravljena v 30 dneh od vaše ugotovitve kršitve; ali +2. z izrecno ponovno vzpostavitvijo s strani licencodajalca. + +Da bi se izognili dvomom, ta oddelek 6(b) ne vpliva na nobeno pravico, ki jo ima licencodajalec, da zahteva pravna sredstva za vaše kršitve te javne licence. + +c. Da bi se izognili dvomom, lahko licencodajalec ponudi licencirano gradivo pod ločenimi pogoji ali preneha distribuirati licencirano gradivo kadarkoli; vendar pa to ne bo prekinilo te javne licence. + +d. Oddelki 1, 5, 6, 7 in 8 ostanejo v veljavi po prenehanju te javne licence. + +--- + +Oddelek 7 -- Drugi pogoji in določila. + +a. Licencodajalec ni zavezan nobenim dodatnim ali drugačnim pogojem ali določilom, ki jih sporočite vi, razen če se izrecno strinja. + +b. Kakršnekoli dogovori, razumevanja ali sporazumi glede licenciranega gradiva, ki niso navedeni tukaj, so ločeni od in neodvisni od pogojev in določil te javne licence. + +--- + +Oddelek 8 -- Razlaga. + +a. Da bi se izognili dvomom, ta javna licenca ne omejuje, zmanjšuje, omejuje ali nalaga pogojev za kakršnokoli uporabo licenciranega gradiva, ki bi bila zakonito izvedljiva brez dovoljenja po tej javni licenci. + +b. Kolikor je to mogoče, če se katera koli določba te javne licence šteje za neizvršljivo, se samodejno spremeni v najmanjši možni meri, da postane izvršljiva. Če določbe ni mogoče spremeniti, se izloči iz te javne licence, ne da bi to vplivalo na izvršljivost preostalih pogojev in določil. + +c. Noben pogoj ali določilo te javne licence ne bo opuščen in nobena neizpolnitev ne bo odobrena, razen če se licencodajalec izrecno strinja. + +d. Nič v tej javni licenci ne predstavlja ali se lahko razlaga kot omejitev ali odpoved kakršnimkoli privilegijem in imunitetam, ki veljajo za licencodajalca ali vas, vključno z zakonitimi postopki katere koli jurisdikcije ali oblasti. + +--- + +======================================================================= + +Creative Commons ni stranka svojih javnih licenc. Kljub temu lahko Creative Commons izbere uporabo ene od svojih javnih licenc za gradivo, ki ga objavi, in v teh primerih se šteje za "licencodajalca". Besedilo javnih licenc Creative Commons je posvečeno javni domeni v skladu z CC0 Public Domain Dedication. Razen za omejen namen označevanja, da je gradivo deljeno pod javno licenco Creative Commons ali kot je drugače dovoljeno s politikami Creative Commons, objavljenimi na creativecommons.org/policies, Creative Commons ne dovoljuje uporabe blagovne znamke "Creative Commons" ali katere koli druge blagovne znamke ali logotipa Creative Commons brez predhodnega pisnega soglasja, vključno, brez omejitev, v povezavi s kakršnimi koli nepooblaščenimi spremembami katere koli od svojih javnih licenc ali kakršnimi koli drugimi dogovori, razumevanji ali sporazumi glede uporabe licenciranega gradiva. Da bi se izognili dvomom, ta odstavek ni del javnih licenc. + +Creative Commons je dosegljiv na creativecommons.org. + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna napačna razumevanja ali napačne interpretacije, ki bi nastale zaradi uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sl/sketchnotes/README.md b/translations/sl/sketchnotes/README.md new file mode 100644 index 00000000..751f0b30 --- /dev/null +++ b/translations/sl/sketchnotes/README.md @@ -0,0 +1,21 @@ + +Vse skice učnega načrta lahko prenesete tukaj. + +🖨 Za tiskanje v visoki ločljivosti so TIFF različice na voljo v [tem repozitoriju](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Ustvarila: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +--- + +**Omejitev odgovornosti**: +Ta dokument je bil preveden z uporabo storitve za strojno prevajanje [Co-op Translator](https://github.com/Azure/co-op-translator). Čeprav si prizadevamo za natančnost, vas prosimo, da upoštevate, da lahko avtomatizirani prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo strokovno človeško prevajanje. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda. \ No newline at end of file diff --git a/translations/sr/1-Introduction/1-intro-to-ML/README.md b/translations/sr/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 00000000..e5aab851 --- /dev/null +++ b/translations/sr/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,159 @@ + +# Увод у машинско учење + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "Машинско учење за почетнике - Увод у машинско учење за почетнике") + +> 🎥 Кликните на слику изнад за кратак видео који обрађује ову лекцију. + +Добродошли на овај курс о класичном машинском учењу за почетнике! Било да сте потпуно нови у овој области или сте искусан практичар машинског учења који жели да обнови знање, драго нам је што сте нам се придружили! Желимо да створимо пријатно место за почетак вашег изучавања машинског учења и биће нам драго да проценимо, одговоримо и укључимо ваше [повратне информације](https://github.com/microsoft/ML-For-Beginners/discussions). + +[](https://youtu.be/h0e2HAPTGF4 "Увод у машинско учење") + +> 🎥 Кликните на слику изнад за видео: Џон Гуттаг са МИТ-а представља машинско учење + +--- +## Почетак са машинским учењем + +Пре него што почнете са овим програмом, потребно је да ваш рачунар буде подешен и спреман за локално покретање бележница. + +- **Подесите свој рачунар помоћу ових видеа**. Користите следеће линкове да научите [како да инсталирате Python](https://youtu.be/CXZYvNRIAKM) на вашем систему и [подесите текст едитор](https://youtu.be/EU8eayHWoZg) за развој. +- **Научите Python**. Такође се препоручује да имате основно разумевање [Python-а](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), програмског језика корисног за научнике података који користимо у овом курсу. +- **Научите Node.js и JavaScript**. Неколико пута у овом курсу користимо JavaScript за изградњу веб апликација, па ће вам бити потребно да имате [node](https://nodejs.org) и [npm](https://www.npmjs.com/) инсталиране, као и [Visual Studio Code](https://code.visualstudio.com/) доступан за развој у Python-у и JavaScript-у. +- **Направите GitHub налог**. Пошто сте нас пронашли на [GitHub-у](https://github.com), можда већ имате налог, али ако немате, направите га и затим форкујте овај програм како бисте га користили сами. (Слободно нам дајте и звездицу 😊) +- **Истражите Scikit-learn**. Упознајте се са [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), скупом библиотека за машинско учење које користимо у овим лекцијама. + +--- +## Шта је машинско учење? + +Термин 'машинско учење' је један од најпопуларнијих и најчешће коришћених термина данашњице. Постоји велика вероватноћа да сте овај термин чули бар једном ако имате било какву повезаност са технологијом, без обзира на област у којој радите. Механизми машинског учења, међутим, остају мистерија за већину људи. За почетника у машинском учењу, ова тема може понекад деловати застрашујуће. Зато је важно разумети шта машинско учење заправо јесте и учити о њему корак по корак, кроз практичне примере. + +--- +## Крива хипе-а + + + +> Google Trends приказује недавну 'криву хипе-а' за термин 'машинско учење' + +--- +## Мистериозни универзум + +Живимо у универзуму пуном фасцинантних мистерија. Велики научници попут Стивена Хокинга, Алберта Ајнштајна и многих других посветили су своје животе трагању за значајним информацијама које откривају мистерије света око нас. Ово је људска потреба за учењем: људско дете учи нове ствари и открива структуру свог света из године у годину како расте до одраслог доба. + +--- +## Дечји мозак + +Дечји мозак и чула перципирају чињенице из своје околине и постепено уче скривене обрасце живота који помажу детету да обликује логичка правила за препознавање научених образаца. Процес учења људског мозга чини људе најсофистициранијим живим бићима на овом свету. Континуирано учење откривањем скривених образаца и затим иновације на тим обрасцима омогућавају нам да постајемо све бољи током живота. Ова способност учења и еволуције повезана је са концептом који се зове [пластичност мозга](https://www.simplypsychology.org/brain-plasticity.html). Површно гледано, можемо повући неке мотивационе сличности између процеса учења људског мозга и концепата машинског учења. + +--- +## Људски мозак + +[Људски мозак](https://www.livescience.com/29365-human-brain.html) перципира ствари из стварног света, обрађује перципиране информације, доноси рационалне одлуке и изводи одређене радње у зависности од околности. Ово називамо интелигентним понашањем. Када програмирамо реплику процеса интелигентног понашања у машину, то називамо вештачком интелигенцијом (AI). + +--- +## Нека терминологија + +Иако се термини могу мешати, машинско учење (ML) је важан подсет вештачке интелигенције. **ML се бави коришћењем специјализованих алгоритама за откривање значајних информација и проналажење скривених образаца из перципираних података како би се потврдио процес рационалног доношења одлука**. + +--- +## AI, ML, дубоко учење + + + +> Дијаграм који приказује односе између AI, ML, дубоког учења и науке о подацима. Инфографика аутора [Џен Лупер](https://twitter.com/jenlooper) инспирисана [овом графиком](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Концепти које ћемо обрадити + +У овом програму ћемо обрадити само основне концепте машинског учења које почетник мора знати. Обрађујемо оно што називамо 'класичним машинским учењем', углавном користећи Scikit-learn, одличну библиотеку коју многи студенти користе за учење основа. Да бисмо разумели шире концепте вештачке интелигенције или дубоког учења, неопходно је имати јако основно знање машинског учења, и зато желимо да га понудимо овде. + +--- +## На овом курсу ћете научити: + +- основне концепте машинског учења +- историју ML-а +- ML и правичност +- технике регресије у ML-у +- технике класификације у ML-у +- технике кластерисања у ML-у +- обраду природног језика у ML-у +- технике прогнозирања временских серија +- учење путем појачања +- примене ML-а у стварном свету + +--- +## Шта нећемо обрађивати + +- дубоко учење +- неуронске мреже +- вештачку интелигенцију + +Да бисмо омогућили боље искуство учења, избегаваћемо сложености неуронских мрежа, 'дубоког учења' - изградње модела са више слојева користећи неуронске мреже - и вештачке интелигенције, о чему ћемо говорити у другом програму. Такође ћемо понудити предстојећи програм о науци о подацима како бисмо се фокусирали на тај аспект ове шире области. + +--- +## Зашто изучавати машинско учење? + +Машинско учење, из перспективе система, дефинише се као стварање аутоматизованих система који могу учити скривене обрасце из података како би помогли у доношењу интелигентних одлука. + +Ова мотивација је лабаво инспирисана начином на који људски мозак учи одређене ствари на основу података које перципира из спољашњег света. + +✅ Размислите на тренутак зашто би нека компанија желела да користи стратегије машинског учења уместо да креира систем заснован на фиксним правилима. + +--- +## Примене машинског учења + +Примене машинског учења сада су готово свуда и присутне су као и подаци који круже нашим друштвима, генерисани нашим паметним телефонима, повезаним уређајима и другим системима. С обзиром на огроман потенцијал савремених алгоритама машинског учења, истраживачи истражују њихову способност да реше вишедимензионалне и мултидисциплинарне проблеме из стварног живота са изузетно позитивним резултатима. + +--- +## Примери примене ML-а + +**Машинско учење можете користити на многе начине**: + +- За предвиђање вероватноће болести на основу медицинске историје или извештаја пацијента. +- За коришћење података о времену ради предвиђања временских догађаја. +- За разумевање сентимента текста. +- За откривање лажних вести како би се спречило ширење пропаганде. + +Финансије, економија, наука о Земљи, истраживање свемира, биомедицинско инжењерство, когнитивна наука, па чак и области хуманистичких наука адаптирале су машинско учење за решавање тешких проблема обраде података у својим доменима. + +--- +## Закључак + +Машинско учење аутоматизује процес откривања образаца проналажењем значајних увида из стварних или генерисаних података. Доказало је своју вредност у пословним, здравственим и финансијским применама, између осталог. + +У блиској будућности, разумевање основа машинског учења биће неопходно за људе из било које области због његове широке примене. + +--- +# 🚀 Изазов + +Нацртајте, на папиру или користећи онлајн апликацију попут [Excalidraw](https://excalidraw.com/), своје разумевање разлика између AI, ML, дубоког учења и науке о подацима. Додајте неке идеје о проблемима које свака од ових техника добро решава. + +# [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +--- +# Преглед и самостално учење + +Да бисте сазнали више о томе како можете радити са ML алгоритмима у облаку, пратите овај [пут учења](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott). + +Пратите [пут учења](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) о основама машинског учења. + +--- +# Задатак + +[Покрените се](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/1-intro-to-ML/assignment.md b/translations/sr/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 00000000..26569aa8 --- /dev/null +++ b/translations/sr/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,23 @@ + +# Покрените се и започните + +## Упутства + +У овом задатку који се не оцењује, требало би да обновите своје знање о Python-у и припремите своје окружење тако да можете покретати бележнице. + +Пратите овај [Python пут учења](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), а затим подесите своје системе тако што ћете погледати ове уводне видео снимке: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/2-history-of-ML/README.md b/translations/sr/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 00000000..52323954 --- /dev/null +++ b/translations/sr/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,164 @@ + +# Историја машинског учења + + +> Скица од [Томоми Имура](https://www.twitter.com/girlie_mac) + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "Машинско учење за почетнике - Историја машинског учења") + +> 🎥 Кликните на слику изнад за кратак видео који обрађује ову лекцију. + +У овој лекцији, проћи ћемо кроз главне прекретнице у историји машинског учења и вештачке интелигенције. + +Историја вештачке интелигенције (AI) као области је тесно повезана са историјом машинског учења, јер су алгоритми и рачунарски напредак који подупиру машинско учење допринели развоју AI. Корисно је запамтити да, иако су се ове области као посебне области истраживања почеле кристализовати 1950-их, важна [алгоритамска, статистичка, математичка, рачунарска и техничка открића](https://wikipedia.org/wiki/Timeline_of_machine_learning) претходила и преклапала се са овим периодом. У ствари, људи размишљају о овим питањима већ [стотинама година](https://wikipedia.org/wiki/History_of_artificial_intelligence): овај чланак разматра историјске интелектуалне основе идеје о 'машини која мисли'. + +--- +## Значајна открића + +- 1763, 1812 [Бајесова теорема](https://wikipedia.org/wiki/Bayes%27_theorem) и њени претходници. Ова теорема и њене примене су основа за закључивање, описујући вероватноћу да се догађај догоди на основу претходног знања. +- 1805 [Теорија најмањих квадрата](https://wikipedia.org/wiki/Least_squares) француског математичара Адријена-Марија Лежандра. Ова теорија, коју ћете научити у нашем модулу о регресији, помаже у прилагођавању података. +- 1913 [Марковљеви ланци](https://wikipedia.org/wiki/Markov_chain), названи по руском математичару Андреју Маркову, користе се за описивање низа могућих догађаја на основу претходног стања. +- 1957 [Перцептрон](https://wikipedia.org/wiki/Perceptron) је врста линеарног класификатора коју је изумео амерички психолог Френк Розенблат и која је основа за напредак у дубоком учењу. + +--- + +- 1967 [Најближи сусед](https://wikipedia.org/wiki/Nearest_neighbor) је алгоритам првобитно дизајниран за мапирање рута. У контексту машинског учења користи се за откривање образаца. +- 1970 [Бекпропагација](https://wikipedia.org/wiki/Backpropagation) се користи за тренирање [напредних неуронских мрежа](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Рекурентне неуронске мреже](https://wikipedia.org/wiki/Recurrent_neural_network) су вештачке неуронске мреже изведене из напредних неуронских мрежа које стварају временске графове. + +✅ Урадите мало истраживања. Који други датуми се истичу као кључни у историји машинског учења и вештачке интелигенције? + +--- +## 1950: Машине које мисле + +Алан Тјуринг, заиста изузетна личност која је [гласањем јавности 2019. године](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) проглашен за највећег научника 20. века, заслужан је за постављање темеља концепта 'машине која може да мисли'. Он се суочавао са скептицима и сопственом потребом за емпиријским доказима овог концепта делимично креирајући [Тјурингов тест](https://www.bbc.com/news/technology-18475646), који ћете истражити у нашим лекцијама о обради природног језика. + +--- +## 1956: Летњи истраживачки пројекат на Дартмуту + +"Летњи истраживачки пројекат на Дартмуту о вештачкој интелигенцији био је кључни догађај за вештачку интелигенцију као област," и овде је скован термин 'вештачка интелигенција' ([извор](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Сваки аспект учења или било која друга карактеристика интелигенције може се у принципу тако прецизно описати да се машина може направити да га симулира. + +--- + +Водећи истраживач, професор математике Џон Мекарти, надао се "да настави на основу претпоставке да се сваки аспект учења или било која друга карактеристика интелигенције може у принципу тако прецизно описати да се машина може направити да га симулира." Учесници су укључивали још једну значајну личност у области, Марвина Минског. + +Радионица је заслужна за покретање и подстицање неколико дискусија, укључујући "успон симболичких метода, система фокусираних на ограничене домене (рани експертски системи) и дедуктивних система наспрам индуктивних система." ([извор](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Златне године" + +Од 1950-их до средине '70-их, оптимизам је био висок у нади да AI може решити многе проблеме. Године 1967, Марвин Мински је самоуверено изјавио: "Унутар једне генерације ... проблем стварања 'вештачке интелигенције' ће бити суштински решен." (Мински, Марвин (1967), Рачунање: Коначне и бесконачне машине, Енглвуд Клифс, Њ.: Прентис-Хол) + +Истраживање обраде природног језика је процветало, претрага је усавршена и постала моћнија, а концепт 'микро-светова' је створен, где су једноставни задаци извршавани користећи упутства на обичном језику. + +--- + +Истраживање је било добро финансирано од стране владиних агенција, постигнут је напредак у рачунарству и алгоритмима, а прототипови интелигентних машина су изграђени. Неке од ових машина укључују: + +* [Шејки робот](https://wikipedia.org/wiki/Shakey_the_robot), који је могао да се креће и одлучује како да обавља задатке 'интелигентно'. + +  + > Шејки 1972. године + +--- + +* Елиза, рани 'четбот', могла је да разговара са људима и делује као примитивни 'терапеут'. Више о Елизи ћете научити у лекцијама о обради природног језика. + +  + > Верзија Елизе, четбота + +--- + +* "Свет блокова" био је пример микро-света где су блокови могли бити сложени и сортирани, а експерименти у учењу машина да доносе одлуке могли су бити тестирани. Напредак изграђен уз библиотеке као што је [SHRDLU](https://wikipedia.org/wiki/SHRDLU) помогао је да се обрада језика унапреди. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "Свет блокова са SHRDLU") + + > 🎥 Кликните на слику изнад за видео: Свет блокова са SHRDLU + +--- +## 1974 - 1980: "Зима AI" + +До средине 1970-их, постало је очигледно да је сложеност стварања 'интелигентних машина' била потцењена и да је њено обећање, с обзиром на доступну рачунарску моћ, било преувеличано. Финансирање је пресушило, а поверење у област је опало. Неки од проблема који су утицали на поверење укључују: +--- +- **Ограничења**. Рачунарска моћ је била сувише ограничена. +- **Комбинаторна експлозија**. Количина параметара које је требало обучити је експоненцијално расла како се више захтевало од рачунара, без паралелне еволуције рачунарске моћи и способности. +- **Недостатак података**. Недостатак података је ометао процес тестирања, развоја и усавршавања алгоритама. +- **Да ли постављамо права питања?**. Саме постављене питања су почеле да се доводе у питање. Истраживачи су почели да се суочавају са критикама о својим приступима: + - Тјурингов тест је доведен у питање, између осталог, кроз теорију 'кинеске собе' која је поставила да, "програмирање дигиталног рачунара може учинити да изгледа као да разуме језик, али не може произвести стварно разумевање." ([извор](https://plato.stanford.edu/entries/chinese-room/)) + - Етика увођења вештачке интелигенције као што је "терапеут" Елиза у друштво је изазвала расправе. + +--- + +Истовремено, различите школе мишљења о AI су почеле да се формирају. Успостављена је дихотомија између ["неуредног" и "уредног AI"](https://wikipedia.org/wiki/Neats_and_scruffies) приступа. _Неуредне_ лабораторије су сатима прилагођавале програме док нису добиле жељене резултате. _Уредне_ лабораторије су се "фокусирале на логику и формално решавање проблема". Елиза и SHRDLU су били познати _неуредни_ системи. У 1980-им, како је потражња за репродуктивним системима машинског учења расла, _уредни_ приступ је постепено преузео примат јер су његови резултати били објашњивији. + +--- +## 1980-те Експертски системи + +Како је област расла, њена корист за пословање постала је јаснија, а 1980-их је дошло до ширења 'експертских система'. "Експертски системи су били међу првим заиста успешним облицима софтвера за вештачку интелигенцију (AI)." ([извор](https://wikipedia.org/wiki/Expert_system)). + +Овај тип система је заправо _хибридан_, делимично се састоји од правила која дефинишу пословне захтеве и мотора за закључивање који користи систем правила за извођење нових чињеница. + +Овај период је такође видео повећану пажњу посвећену неуронским мрежама. + +--- +## 1987 - 1993: AI 'Хладноћа' + +Ширење специјализованог хардвера за експертске системе имало је несрећан ефекат да постане превише специјализовано. Појава персоналних рачунара такође је конкурисала овим великим, специјализованим, централизованим системима. Демократизација рачунарства је почела, и на крају је отворила пут за савремени експлозију великих података. + +--- +## 1993 - 2011 + +Овај период је донео нову еру за машинско учење и AI да реше неке од проблема који су раније били узроковани недостатком података и рачунарске моћи. Количина података је почела брзо да расте и постала је доступнија, на добро и на зло, посебно са појавом паметних телефона око 2007. године. Рачунарска моћ је експоненцијално расла, а алгоритми су се развијали упоредо. Област је почела да добија зрелост како су се слободни дани прошлости кристализовали у праву дисциплину. + +--- +## Сада + +Данас машинско учење и AI додирују скоро сваки део наших живота. Овај период захтева пажљиво разумевање ризика и потенцијалних ефеката ових алгоритама на људске животе. Како је изјавио Бред Смит из Мајкрософта: "Информациона технологија поставља питања која се тичу суштинских људских права као што су приватност и слобода изражавања. Ова питања повећавају одговорност технолошких компанија које стварају ове производе. По нашем мишљењу, она такође захтевају промишљену регулацију владе и развој норми о прихватљивим употребама" ([извор](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Остаје да се види шта будућност доноси, али је важно разумети ове рачунарске системе и софтвер и алгоритме које они покрећу. Надамо се да ће вам овај курикулум помоћи да боље разумете како бисте могли сами да донесете одлуке. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Историја дубоког учења") +> 🎥 Кликните на слику изнад за видео: Јан Лекун говори о историји дубоког учења у овом предавању + +--- +## 🚀Изазов + +Истражите један од ових историјских тренутака и сазнајте више о људима који стоје иза њих. Постоје фасцинантни карактери, и ниједно научно откриће није настало у културном вакууму. Шта откривате? + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +--- +## Преглед и самостално учење + +Ево ставки за гледање и слушање: + +[Овај подкаст где Ејми Бојд говори о еволуцији AI](http://runasradio.com/Shows/Show/739) + +[](https://www.youtube.com/watch?v=EJt3_bFYKss "Историја AI од Ејми Бојд") + +--- + +## Задатак + +[Направите временску линију](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/2-history-of-ML/assignment.md b/translations/sr/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 00000000..8e7e2d15 --- /dev/null +++ b/translations/sr/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Направите временску линију + +## Упутства + +Користећи [овај репозиторијум](https://github.com/Digital-Humanities-Toolkit/timeline-builder), направите временску линију неког аспекта историје алгоритама, математике, статистике, вештачке интелигенције или машинског учења, или комбинацију ових области. Можете се фокусирати на једну особу, једну идеју или дуг временски период размишљања. Обавезно додајте мултимедијалне елементе. + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање | +| ---------- | ------------------------------------------------ | --------------------------------------- | ---------------------------------------------------------------- | +| | Објављена временска линија као GitHub страница | Код је непотпун и није објављен | Временска линија је непотпуна, недовољно истражена и није објављена | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/3-fairness/README.md b/translations/sr/1-Introduction/3-fairness/README.md new file mode 100644 index 00000000..62d61d83 --- /dev/null +++ b/translations/sr/1-Introduction/3-fairness/README.md @@ -0,0 +1,138 @@ + +# Изградња решења за машинско учење са одговорном вештачком интелигенцијом + + +> Скица од [Томоми Имура](https://www.twitter.com/girlie_mac) + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Увод + +У овом курикулуму, почећете да откривате како машинско учење може и већ утиче на наше свакодневне животе. Чак и сада, системи и модели су укључени у свакодневне задатке доношења одлука, као што су дијагнозе у здравству, одобравање кредита или откривање превара. Због тога је важно да ти модели добро функционишу како би пружили резултате који су поуздани. Као и свака софтверска апликација, системи вештачке интелигенције могу да не испуне очекивања или да имају непожељан исход. Зато је од суштинског значаја разумети и објаснити понашање модела вештачке интелигенције. + +Замислите шта може да се догоди када подаци које користите за изградњу ових модела недостају одређеним демографским групама, као што су раса, пол, политички ставови, религија, или када непропорционално представљају те демографске групе. Шта ако је излаз модела интерпретиран тако да фаворизује одређену демографску групу? Које су последице за апликацију? Поред тога, шта се дешава када модел има негативан исход и наноси штету људима? Ко је одговоран за понашање система вештачке интелигенције? Ово су нека од питања која ћемо истражити у овом курикулуму. + +У овој лекцији, научићете: + +- Да подигнете свест о важности правичности у машинском учењу и штетама повезаним са неправичношћу. +- Да се упознате са праксом истраживања изузетака и необичних сценарија ради осигурања поузданости и безбедности. +- Да стекнете разумевање о потреби оснаживања свих кроз дизајнирање инклузивних система. +- Да истражите колико је важно заштитити приватност и безбедност података и људи. +- Да увидите значај приступа „стаклене кутије“ за објашњавање понашања модела вештачке интелигенције. +- Да будете свесни како је одговорност кључна за изградњу поверења у системе вештачке интелигенције. + +## Предуслов + +Као предуслов, молимо вас да прођете кроз „Принципе одговорне вештачке интелигенције“ и погледате видео испод на ову тему: + +Сазнајте више о одговорној вештачкој интелигенцији пратећи овај [пут учења](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Приступ Microsoft-а одговорној вештачкој интелигенцији") + +> 🎥 Кликните на слику изнад за видео: Приступ Microsoft-а одговорној вештачкој интелигенцији + +## Правичност + +Системи вештачке интелигенције треба да третирају све људе праведно и избегавају различите ефекте на сличне групе људи. На пример, када системи вештачке интелигенције пружају смернице о медицинском лечењу, апликацијама за кредите или запошљавању, они треба да дају исте препоруке свима са сличним симптомима, финансијским околностима или професионалним квалификацијама. Сваки од нас као људско биће носи у себи наследне предрасуде које утичу на наше одлуке и поступке. Те предрасуде могу бити очигледне у подацима које користимо за обучавање система вештачке интелигенције. Таква манипулација понекад може да се догоди ненамерно. Често је тешко свесно знати када уносите предрасуде у податке. + +**„Неправичност“** обухвата негативне утицаје, или „штете“, за групу људи, као што су они дефинисани у смислу расе, пола, старости или инвалидитета. Главне штете повезане са неправичношћу могу се класификовати као: + +- **Додела ресурса**, ако је, на пример, одређени пол или етничка група фаворизована у односу на другу. +- **Квалитет услуге**. Ако обучите податке за један специфичан сценарио, али је стварност много сложенија, то доводи до лоше услуге. На пример, дозатор сапуна који не може да препозна људе са тамном кожом. [Референца](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Омаловажавање**. Неправедно критиковање и етикетирање нечега или некога. На пример, технологија за означавање слика је озлоглашено погрешно означила слике људи тамне коже као гориле. +- **Прекомерна или недовољна заступљеност**. Идеја је да одређена група није видљива у одређеној професији, а свака услуга или функција која наставља да промовише то доприноси штети. +- **Стереотипизација**. Повезивање одређене групе са унапред додељеним атрибутима. На пример, систем за превођење између енглеског и турског може имати нетачности због речи са стереотипним асоцијацијама на пол. + + +> превод на турски + + +> превод назад на енглески + +Када дизајнирамо и тестирамо системе вештачке интелигенције, морамо осигурати да вештачка интелигенција буде праведна и да није програмирана да доноси пристрасне или дискриминаторне одлуке, које су и људима забрањене. Гарантовање правичности у вештачкој интелигенцији и машинском учењу остаје сложен социотехнички изазов. + +### Поузданост и безбедност + +Да би се изградило поверење, системи вештачке интелигенције морају бити поуздани, безбедни и конзистентни у нормалним и неочекиваним условима. Важно је знати како ће се системи вештачке интелигенције понашати у различитим ситуацијама, посебно када су у питању изузеци. Приликом изградње решења заснованих на вештачкој интелигенцији, потребно је посветити значајну пажњу томе како се носити са широким спектром околности које би решења могла да сусретну. На пример, аутомобил који се самостално управља мора ставити безбедност људи као главни приоритет. Као резултат, вештачка интелигенција која покреће аутомобил мора узети у обзир све могуће сценарије са којима би се аутомобил могао суочити, као што су ноћ, грмљавина или снежне олује, деца која трче преко улице, кућни љубимци, радови на путу итд. Колико добро систем вештачке интелигенције може да се носи са широким спектром услова поуздано и безбедно одражава ниво предвиђања који је научник за податке или програмер вештачке интелигенције разматрао током дизајна или тестирања система. + +> [🎥 Кликните овде за видео: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Инклузивност + +Системи вештачке интелигенције треба да буду дизајнирани тако да ангажују и оснажују све. Приликом дизајнирања и имплементације система вештачке интелигенције, научници за податке и програмери вештачке интелигенције идентификују и решавају потенцијалне препреке у систему које би могле ненамерно искључити људе. На пример, постоји 1 милијарда људи са инвалидитетом широм света. Са напретком вештачке интелигенције, они могу лакше приступити широком спектру информација и могућности у свакодневном животу. Решавањем препрека стварају се могућности за иновације и развој производа заснованих на вештачкој интелигенцији са бољим искуствима која користе свима. + +> [🎥 Кликните овде за видео: инклузивност у вештачкој интелигенцији](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Безбедност и приватност + +Системи вештачке интелигенције треба да буду безбедни и да поштују приватност људи. Људи имају мање поверења у системе који угрожавају њихову приватност, информације или животе. Приликом обучавања модела машинског учења, ослањамо се на податке како бисмо произвели најбоље резултате. У том процесу, порекло података и њихов интегритет морају бити узети у обзир. На пример, да ли су подаци достављени од стране корисника или јавно доступни? Затим, док радимо са подацима, од суштинског је значаја развијати системе вештачке интелигенције који могу заштитити поверљиве информације и одолети нападима. Како вештачка интелигенција постаје све присутнија, заштита приватности и обезбеђивање важних личних и пословних информација постаје све критичнија и сложенија. Питања приватности и безбедности података захтевају посебну пажњу за вештачку интелигенцију јер је приступ подацима од суштинског значаја за системе вештачке интелигенције да би донели тачне и информисане предвиђања и одлуке о људима. + +> [🎥 Кликните овде за видео: безбедност у вештачкој интелигенцији](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Као индустрија, постигли смо значајан напредак у области приватности и безбедности, значајно подстакнут регулативама као што је GDPR (Општа уредба о заштити података). +- Ипак, са системима вештачке интелигенције морамо признати тензију између потребе за више личних података како би системи били персонализованији и ефикаснији – и приватности. +- Као што је било са појавом повезаних рачунара преко интернета, такође видимо велики пораст броја безбедносних проблема повезаних са вештачком интелигенцијом. +- Истовремено, видели смо да се вештачка интелигенција користи за побољшање безбедности. На пример, већина модерних антивирусних скенера данас се покреће помоћу хеуристике засноване на вештачкој интелигенцији. +- Морамо осигурати да наши процеси у области науке о подацима хармонично функционишу са најновијим праксама приватности и безбедности. + +### Транспарентност + +Системи вештачке интелигенције треба да буду разумљиви. Кључни део транспарентности је објашњавање понашања система вештачке интелигенције и њихових компоненти. Побољшање разумевања система вештачке интелигенције захтева да заинтересоване стране разумеју како и зашто функционишу, како би могли да идентификују потенцијалне проблеме у перформансама, забринутости у вези са безбедношћу и приватношћу, пристрасности, праксе искључивања или непредвиђене исходе. Такође верујемо да они који користе системе вештачке интелигенције треба да буду искрени и отворени о томе када, зашто и како одлучују да их примене, као и о ограничењима система које користе. На пример, ако банка користи систем вештачке интелигенције за подршку у доношењу одлука о кредитима за потрошаче, важно је испитати исходе и разумети који подаци утичу на препоруке система. Владе почињу да регулишу вештачку интелигенцију у различитим индустријама, па научници за податке и организације морају објаснити да ли систем вештачке интелигенције испуњава регулаторне захтеве, посебно када дође до непожељног исхода. + +> [🎥 Кликните овде за видео: транспарентност у вештачкој интелигенцији](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Због сложености система вештачке интелигенције, тешко је разумети како они функционишу и интерпретирати резултате. +- Овај недостатак разумевања утиче на начин на који се ти системи управљају, оперативно користе и документују. +- Овај недостатак разумевања, што је још важније, утиче на одлуке донете на основу резултата које ти системи производе. + +### Одговорност + +Људи који дизајнирају и примењују системе вештачке интелигенције морају бити одговорни за начин на који њихови системи функционишу. Потреба за одговорношћу је посебно важна код осетљивих технологија као што је препознавање лица. У последње време, постоји растућа потражња за технологијом препознавања лица, посебно од стране организација за спровођење закона које виде потенцијал технологије у употребама као што је проналажење нестале деце. Међутим, те технологије би потенцијално могле бити коришћене од стране владе да угрозе основне слободе својих грађана, на пример, омогућавањем континуираног надзора одређених појединаца. Зато научници за податке и организације морају бити одговорни за начин на који њихов систем вештачке интелигенције утиче на појединце или друштво. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Приступ Microsoft-а одговорној вештачкој интелигенцији") + +> 🎥 Кликните на слику изнад за видео: Упозорења о масовном надзору кроз препознавање лица + +На крају, једно од највећих питања за нашу генерацију, као прву генерацију која доноси вештачку интелигенцију у друштво, јесте како осигурати да рачунари остану одговорни људима и како осигурати да људи који дизајнирају рачунаре остану одговорни свима осталима. + +## Процена утицаја + +Пре него што обучите модел машинског учења, важно је спровести процену утицаја како бисте разум +Погледајте овај радионицу да бисте се дубље упознали са темама: + +- У потрази за одговорном вештачком интелигенцијом: Примена принципа у пракси од стране Бесмире Нуши, Мехрнуш Самеки и Амита Шарме + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Отворени оквир за изградњу одговорне вештачке интелигенције") + +> 🎥 Кликните на слику изнад за видео: RAI Toolbox: Отворени оквир за изградњу одговорне вештачке интелигенције од стране Бесмире Нуши, Мехрнуш Самеки и Амита Шарме + +Такође, прочитајте: + +- Microsoft-ов центар ресурса за одговорну вештачку интелигенцију: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Microsoft-ова истраживачка група FATE: [FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [Responsible AI Toolbox GitHub репозиторијум](https://github.com/microsoft/responsible-ai-toolbox) + +Прочитајте о алатима Azure Machine Learning-а за обезбеђивање правичности: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## Задатак + +[Истражите RAI Toolbox](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/3-fairness/assignment.md b/translations/sr/1-Introduction/3-fairness/assignment.md new file mode 100644 index 00000000..37fa96d9 --- /dev/null +++ b/translations/sr/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,25 @@ + +# Истражите алат за одговорну вештачку интелигенцију + +## Упутства + +У овом лекцији сте научили о алату за одговорну вештачку интелигенцију, „пројекту отвореног кода који покреће заједница, а који помаже научницима података да анализирају и унапреде системе вештачке интелигенције.“ За овај задатак, истражите један од [бележака](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) RAI Toolbox-а и изнесите своје закључке у раду или презентацији. + +## Рубрика + +| Критеријум | Изузетно | Прихватљиво | Потребно побољшање | +| ---------- | -------- | ----------- | ------------------ | +| | Рад или презентација у PowerPoint-у представљају систем Fairlearn-а, бележак који је покренут и закључке изведене из његовог покретања | Представљен је рад без закључака | Рад није представљен | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/4-techniques-of-ML/README.md b/translations/sr/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 00000000..0f3371c1 --- /dev/null +++ b/translations/sr/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,132 @@ + +# Технике машинског учења + +Процес креирања, коришћења и одржавања модела машинског учења и података које они користе веома се разликује од многих других развојних токова рада. У овом лекцији, разјаснићемо процес и представити главне технике које треба да знате. Ви ћете: + +- Разумети процесе који подупиру машинско учење на високом нивоу. +- Истражити основне концепте као што су „модели“, „предвиђања“ и „тренинг подаци“. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +[](https://youtu.be/4NGM0U2ZSHU "Машинско учење за почетнике - Технике машинског учења") + +> 🎥 Кликните на слику изнад за кратак видео који обрађује ову лекцију. + +## Увод + +На високом нивоу, вештина креирања процеса машинског учења (ML) састоји се од неколико корака: + +1. **Одлучите о питању**. Већина процеса машинског учења почиње постављањем питања које не може бити одговорено једноставним условним програмом или системом заснованим на правилима. Ова питања често се односе на предвиђања заснована на збирци података. +2. **Сакупите и припремите податке**. Да бисте могли да одговорите на своје питање, потребни су вам подаци. Квалитет и, понекад, количина ваших података одредиће колико добро можете одговорити на почетно питање. Визуализација података је важан аспект ове фазе. Ова фаза такође укључује поделу података на групу за тренинг и тестирање ради изградње модела. +3. **Изаберите метод тренинга**. У зависности од вашег питања и природе ваших података, потребно је да изаберете како желите да обучите модел да најбоље одражава ваше податке и прави тачна предвиђања. Ово је део вашег процеса машинског учења који захтева специфичну експертизу и, често, значајну количину експериментисања. +4. **Тренирајте модел**. Користећи ваше тренинг податке, користићете различите алгоритме да обучите модел да препозна обрасце у подацима. Модел може користити унутрашње тежине које се могу прилагодити да би се одређени делови података привилеговали у односу на друге ради изградње бољег модела. +5. **Оцените модел**. Користите податке које модел никада раније није видео (ваше тест податке) из ваше сакупљене збирке да бисте видели како модел функционише. +6. **Подешавање параметара**. На основу перформанси вашег модела, можете поново урадити процес користећи различите параметре или променљиве које контролишу понашање алгоритама коришћених за тренинг модела. +7. **Предвиђање**. Користите нове уносе да бисте тестирали тачност вашег модела. + +## Које питање поставити + +Рачунари су посебно вешти у откривању скривених образаца у подацима. Ова корисност је веома корисна за истраживаче који имају питања о одређеној области која се не могу лако одговорити креирањем система заснованог на условима. На пример, у актуарском задатку, научник података може бити у стању да конструише ручно израђена правила о смртности пушача у односу на непушаче. + +Међутим, када се у једначину укључи много других променљивих, модел машинског учења може се показати ефикаснијим за предвиђање будућих стопа смртности на основу историје здравља из прошлости. Веселији пример може бити прављење временских предвиђања за месец април на одређеној локацији на основу података који укључују географску ширину, дужину, климатске промене, близину океана, обрасце млазног струјања и још много тога. + +✅ Ова [презентација](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) о временским моделима нуди историјску перспективу коришћења машинског учења у анализи времена. + +## Задаци пре изградње + +Пре него што почнете да градите свој модел, постоји неколико задатака које треба да завршите. Да бисте тестирали своје питање и формирали хипотезу засновану на предвиђањима модела, потребно је да идентификујете и конфигуришете неколико елемената. + +### Подаци + +Да бисте могли да одговорите на своје питање са било каквом сигурношћу, потребна вам је добра количина података одговарајућег типа. У овом тренутку треба да урадите две ствари: + +- **Сакупите податке**. Имајући на уму претходну лекцију о правичности у анализи података, сакупите своје податке пажљиво. Будите свесни извора ових података, било каквих урођених пристрасности које могу имати и документујте њихово порекло. +- **Припремите податке**. Постоји неколико корака у процесу припреме података. Можда ћете морати да сакупите податке и нормализујете их ако долазе из различитих извора. Можете побољшати квалитет и количину података кроз различите методе као што је конвертовање стрингова у бројеве (као што радимо у [Кластерисању](../../5-Clustering/1-Visualize/README.md)). Можда ћете такође генерисати нове податке, засноване на оригиналним (као што радимо у [Класификацији](../../4-Classification/1-Introduction/README.md)). Можете очистити и уредити податке (као што ћемо урадити пре лекције о [Веб апликацији](../../3-Web-App/README.md)). На крају, можда ћете морати да их рандомизујете и измешате, у зависности од ваших техника тренинга. + +✅ Након сакупљања и обраде ваших података, одвојите тренутак да видите да ли њихов облик омогућава да се адресира ваше намеравано питање. Може се десити да подаци неће добро функционисати у вашем задатом задатку, као што откривамо у нашим лекцијама о [Кластерисању](../../5-Clustering/1-Visualize/README.md)! + +### Карактеристике и циљ + +[Карактеристика](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) је мерљиво својство ваших података. У многим скуповима података она је изражена као наслов колоне, као што су „датум“, „величина“ или „боја“. Ваша променљива карактеристика, обично представљена као `X` у коду, представља улазну променљиву која ће се користити за тренинг модела. + +Циљ је оно што покушавате да предвидите. Циљ, обично представљен као `y` у коду, представља одговор на питање које покушавате да поставите вашим подацима: у децембру, која **боја** тиквица ће бити најјефтинија? У Сан Франциску, који квартови ће имати најбољу **цену** некретнина? Понекад се циљ назива и атрибутом етикете. + +### Избор променљиве карактеристике + +🎓 **Избор карактеристика и екстракција карактеристика** Како знате коју променљиву да изаберете приликом изградње модела? Вероватно ћете проћи кроз процес избора карактеристика или екстракције карактеристика да бисте изабрали праве променљиве за најперформантнији модел. Међутим, они нису исто: „Екстракција карактеристика креира нове карактеристике из функција оригиналних карактеристика, док избор карактеристика враћа подскуп карактеристика.“ ([извор](https://wikipedia.org/wiki/Feature_selection)) + +### Визуализујте своје податке + +Важан аспект алатки научника података је моћ визуализације података користећи неколико одличних библиотека као што су Seaborn или MatPlotLib. Представљање ваших података визуелно може вам омогућити да откријете скривене корелације које можете искористити. Ваше визуализације могу вам такође помоћи да откријете пристрасност или неуравнотежене податке (као што откривамо у [Класификацији](../../4-Classification/2-Classifiers-1/README.md)). + +### Поделите свој скуп података + +Пре тренинга, потребно је да поделите свој скуп података на два или више делова неједнаке величине који и даље добро представљају податке. + +- **Тренинг**. Овај део скупа података се уклапа у ваш модел да би га обучио. Овај сет чини већину оригиналног скупа података. +- **Тестирање**. Тест скуп података је независна група података, често сакупљена из оригиналних података, коју користите да потврдите перформансе изграђеног модела. +- **Валидација**. Валидациони сет је мања независна група примера коју користите да подесите хиперпараметре модела или архитектуру како бисте побољшали модел. У зависности од величине ваших података и питања које постављате, можда нећете морати да изградите овај трећи сет (као што напомињемо у [Предвиђању временских серија](../../7-TimeSeries/1-Introduction/README.md)). + +## Изградња модела + +Користећи ваше тренинг податке, ваш циљ је да изградите модел, или статистичку репрезентацију ваших података, користећи различите алгоритме да га **тренирате**. Тренинг модела излаже га подацима и омогућава му да прави претпоставке о уоченим обрасцима које открива, верификује и прихвата или одбацује. + +### Одлучите о методу тренинга + +У зависности од вашег питања и природе ваших података, изабраћете метод за тренинг. Пролазећи кроз [документацију Scikit-learn](https://scikit-learn.org/stable/user_guide.html) - коју користимо у овом курсу - можете истражити многе начине за тренинг модела. У зависности од вашег искуства, можда ћете морати да испробате неколико различитих метода да бисте изградили најбољи модел. Вероватно ћете проћи кроз процес у којем научници података процењују перформансе модела тако што му дају податке које није видео, проверавајући тачност, пристрасност и друге проблеме који умањују квалитет, и бирајући најприкладнији метод тренинга за задатак. + +### Тренирајте модел + +Наоружани вашим тренинг подацима, спремни сте да их „уклопите“ да бисте креирали модел. Приметићете да у многим библиотекама машинског учења налазите код „model.fit“ - у то време шаљете своју променљиву карактеристику као низ вредности (обично „X“) и циљну променљиву (обично „y“). + +### Оцените модел + +Када је процес тренинга завршен (може бити потребно много итерација, или „епоха“, да се обучи велики модел), моћи ћете да процените квалитет модела користећи тест податке да бисте измерили његове перформансе. Ови подаци су подскуп оригиналних података које модел раније није анализирао. Можете одштампати табелу метрика о квалитету вашег модела. + +🎓 **Уклапање модела** + +У контексту машинског учења, уклапање модела односи се на тачност основне функције модела док покушава да анализира податке са којима није упознат. + +🎓 **Недовољно уклапање** и **претерано уклапање** су уобичајени проблеми који умањују квалитет модела, јер модел или није довољно добро уклопљен или је превише добро уклопљен. Ово узрокује да модел прави предвиђања која су или превише блиско или превише лабаво повезана са његовим тренинг подацима. Претерано уклопљен модел предвиђа тренинг податке превише добро јер је превише добро научио детаље и шум података. Недовољно уклопљен модел није тачан јер не може ни тачно анализирати своје тренинг податке ни податке које још није „видео“. + + +> Инфографика од [Jen Looper](https://twitter.com/jenlooper) + +## Подешавање параметара + +Када је ваш почетни тренинг завршен, посматрајте квалитет модела и размислите о његовом побољшању подешавањем његових „хиперпараметара“. Прочитајте више о процесу [у документацији](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Предвиђање + +Ово је тренутак када можете користити потпуно нове податке да тестирате тачност вашег модела. У „примењеном“ окружењу машинског учења, где градите веб ресурсе за коришћење модела у продукцији, овај процес може укључивати сакупљање корисничког уноса (на пример, притисак на дугме) да бисте поставили променљиву и послали је моделу за инференцију или евалуацију. + +У овим лекцијама, открићете како да користите ове кораке за припрему, изградњу, тестирање, евалуацију и предвиђање - све гестове научника података и више, док напредујете на свом путу да постанете „фул стејк“ инжењер машинског учења. + +--- + +## 🚀Изазов + +Нацртајте дијаграм тока који одражава кораке практичара машинског учења. Где себе видите тренутно у процесу? Где предвиђате да ћете наћи потешкоће? Шта вам се чини лако? + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Претражите интернет за интервјуе са научницима података који говоре о свом свакодневном раду. Ево [једног](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Задатак + +[Интервјуишите научника података](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/4-techniques-of-ML/assignment.md b/translations/sr/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 00000000..42099ff7 --- /dev/null +++ b/translations/sr/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Интервју са научником за податке + +## Упутства + +У вашој компанији, корисничкој групи, или међу вашим пријатељима или колегама студентима, разговарајте са неким ко професионално ради као научник за податке. Напишите кратак есеј (500 речи) о њиховим свакодневним задацима. Да ли су специјалисти или раде као 'фул стек'? + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ---------- | ---------------------------------------------------------------------------------- | ----------------------------------------------------------------- | --------------------- | +| | Есеј одговарајуће дужине, са наведеним изворима, представљен као .doc датотека | Есеј је слабо атрибуиран или краћи од захтеване дужине | Есеј није представљен | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/1-Introduction/README.md b/translations/sr/1-Introduction/README.md new file mode 100644 index 00000000..58d275ab --- /dev/null +++ b/translations/sr/1-Introduction/README.md @@ -0,0 +1,37 @@ + +# Увод у машинско учење + +У овом делу курикулума, упознаћете се са основним концептима који чине основу области машинског учења, шта је то, и сазнаћете више о његовој историји и техникама које истраживачи користе за рад у овој области. Хајде да заједно истражимо овај нови свет машинског учења! + + +> Фотографија од Била Оксфорда на Unsplash + +### Лекције + +1. [Увод у машинско учење](1-intro-to-ML/README.md) +1. [Историја машинског учења и вештачке интелигенције](2-history-of-ML/README.md) +1. [Праведност и машинско учење](3-fairness/README.md) +1. [Технике машинског учења](4-techniques-of-ML/README.md) + +### Аутори + +"Увод у машинско учење" написан је са ♥️ од стране тима који укључује [Мухамеда Сакиба Кана Инана](https://twitter.com/Sakibinan), [Орнелу Алтуњан](https://twitter.com/ornelladotcom) и [Џен Лупер](https://twitter.com/jenlooper) + +"Историја машинског учења" написана је са ♥️ од стране [Џен Лупер](https://twitter.com/jenlooper) и [Ејми Бојд](https://twitter.com/AmyKateNicho) + +"Праведност и машинско учење" написана је са ♥️ од стране [Томоми Имуре](https://twitter.com/girliemac) + +"Технике машинског учења" написане су са ♥️ од стране [Џен Лупер](https://twitter.com/jenlooper) и [Криса Норинга](https://twitter.com/softchris) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/1-Tools/README.md b/translations/sr/2-Regression/1-Tools/README.md new file mode 100644 index 00000000..524f38cf --- /dev/null +++ b/translations/sr/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ + +# Почетак рада са Python-ом и Scikit-learn-ом за регресионе моделе + + + +> Скица од [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Ова лекција је доступна на R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Увод + +У овим четири лекције, открићете како да направите регресионе моделе. Ускоро ћемо разговарати о томе за шта они служе. Али пре него што било шта урадите, уверите се да имате одговарајуће алате за почетак процеса! + +У овој лекцији, научићете како да: + +- Конфигуришете свој рачунар за локалне задатке машинског учења. +- Радите са Jupyter нотебуком. +- Користите Scikit-learn, укључујући инсталацију. +- Истражите линеарну регресију кроз практичну вежбу. + +## Инсталације и конфигурације + +[](https://youtu.be/-DfeD2k2Kj0 "ML за почетнике - Припремите своје алате за прављење модела машинског учења") + +> 🎥 Кликните на слику изнад за кратак видео о конфигурисању вашег рачунара за ML. + +1. **Инсталирајте Python**. Уверите се да је [Python](https://www.python.org/downloads/) инсталиран на вашем рачунару. Користићете Python за многе задатке у области науке о подацима и машинског учења. Већина рачунарских система већ укључује Python инсталацију. Постоје корисни [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) који олакшавају поставку за неке кориснике. + + Међутим, неке употребе Python-а захтевају једну верзију софтвера, док друге захтевају другу верзију. Због тога је корисно радити у [виртуелном окружењу](https://docs.python.org/3/library/venv.html). + +2. **Инсталирајте Visual Studio Code**. Уверите се да је Visual Studio Code инсталиран на вашем рачунару. Пратите ова упутства за [инсталацију Visual Studio Code](https://code.visualstudio.com/) за основну инсталацију. Користићете Python у Visual Studio Code-у током овог курса, па би било добро да се упознате са [конфигурисањем Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) за Python развој. + + > Упознајте се са Python-ом кроз ову колекцију [Learn модула](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Подешавање Python-а са Visual Studio Code") + > + > 🎥 Кликните на слику изнад за видео: коришћење Python-а унутар VS Code-а. + +3. **Инсталирајте Scikit-learn**, пратећи [ова упутства](https://scikit-learn.org/stable/install.html). Пошто треба да осигурате да користите Python 3, препоручује се да користите виртуелно окружење. Напомена, ако инсталирате ову библиотеку на M1 Mac-у, постоје посебна упутства на страници изнад. + +4. **Инсталирајте Jupyter Notebook**. Требаће вам [инсталација Jupyter пакета](https://pypi.org/project/jupyter/). + +## Ваше окружење за ауторство ML-а + +Користићете **нотебуке** за развој вашег Python кода и креирање модела машинског учења. Овај тип датотеке је уобичајен алат за научнике о подацима, и могу се идентификовати по њиховом суфиксу или екстензији `.ipynb`. + +Нотебуци су интерактивно окружење које омогућава програмеру да и кодира и додаје белешке и пише документацију око кода, што је веома корисно за експерименталне или истраживачке пројекте. + +[](https://youtu.be/7E-jC8FLA2E "ML за почетнике - Подесите Jupyter Notebooks за почетак прављења регресионе моделе") + +> 🎥 Кликните на слику изнад за кратак видео о овом задатку. + +### Вежба - рад са нотебуком + +У овом фолдеру, наћи ћете датотеку _notebook.ipynb_. + +1. Отворите _notebook.ipynb_ у Visual Studio Code-у. + + Jupyter сервер ће се покренути са Python 3+. Наћи ћете области нотебука које могу бити `покренуте`, делове кода. Можете покренути блок кода, тако што ћете изабрати икону која изгледа као дугме за репродукцију. + +2. Изаберите икону `md` и додајте мало markdown-а, и следећи текст **# Добродошли у ваш нотебук**. + + Затим, додајте мало Python кода. + +3. Унесите **print('hello notebook')** у блок кода. +4. Изаберите стрелицу да покренете код. + + Требало би да видите исписану изјаву: + + ```output + hello notebook + ``` + + + +Можете испреплетати свој код са коментарима како бисте сами документовали нотебук. + +✅ Размислите на тренутак колико је различито радно окружење веб програмера у односу на оно научника о подацима. + +## Покретање Scikit-learn-а + +Сада када је Python подешен у вашем локалном окружењу, и када сте се упознали са Jupyter нотебуком, хајде да се једнако упознамо са Scikit-learn-ом (изговара се `sci` као у `science`). Scikit-learn пружа [опсежан API](https://scikit-learn.org/stable/modules/classes.html#api-ref) који вам помаже да обављате задатке машинског учења. + +Према њиховом [сајту](https://scikit-learn.org/stable/getting_started.html), "Scikit-learn је библиотека машинског учења отвореног кода која подржава надгледано и ненадгледано учење. Такође пружа разне алате за прилагођавање модела, предобраду података, избор модела и евалуацију, као и многе друге корисне функције." + +У овом курсу, користићете Scikit-learn и друге алате за прављење модела машинског учења за обављање онога што називамо 'традиционалним задацима машинског учења'. Намерно смо избегли неуронске мреже и дубоко учење, јер су боље покривени у нашем предстојећем курикулуму 'AI за почетнике'. + +Scikit-learn олакшава прављење модела и њихову евалуацију за употребу. Првенствено је фокусиран на коришћење нумеричких података и садржи неколико готових скупова података за употребу као алате за учење. Такође укључује унапред направљене моделе које студенти могу испробати. Хајде да истражимо процес учитавања унапред припремљених података и коришћења уграђеног проценитеља за први ML модел са Scikit-learn-ом са неким основним подацима. + +## Вежба - ваш први Scikit-learn нотебук + +> Овај туторијал је инспирисан [примером линеарне регресије](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) на Scikit-learn веб сајту. + +[](https://youtu.be/2xkXL5EUpS0 "ML за почетнике - Ваш први пројекат линеарне регресије у Python-у") + +> 🎥 Кликните на слику изнад за кратак видео о овој вежби. + +У датотеци _notebook.ipynb_ повезаној са овом лекцијом, очистите све ћелије притиском на икону 'канта за смеће'. + +У овом делу, радићете са малим скупом података о дијабетесу који је уграђен у Scikit-learn за потребе учења. Замислите да желите да тестирате третман за пацијенте са дијабетесом. Модели машинског учења могу вам помоћи да одредите који пацијенти би боље реаговали на третман, на основу комбинација променљивих. Чак и веома основни регресиони модел, када се визуализује, може показати информације о променљивим које би вам помогле да организујете своје теоријске клиничке студије. + +✅ Постоји много типова метода регресије, и који ћете изабрати зависи од одговора који тражите. Ако желите да предвидите вероватну висину особе одређене старости, користили бисте линеарну регресију, јер тражите **нумеричку вредност**. Ако вас занима да ли одређена врста кухиње треба да се сматра веганском или не, тражите **категоријску доделу**, па бисте користили логистичку регресију. Касније ћете научити више о логистичкој регресији. Размислите мало о неким питањима која можете поставити подацима, и који од ових метода би био прикладнији. + +Хајде да започнемо овај задатак. + +### Увоз библиотека + +За овај задатак увешћемо неке библиотеке: + +- **matplotlib**. То је користан [алат за графиконе](https://matplotlib.org/) и користићемо га за креирање линијског графикона. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) је корисна библиотека за руковање нумеричким подацима у Python-у. +- **sklearn**. Ово је [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) библиотека. + +Увезите неке библиотеке за помоћ у задацима. + +1. Додајте увозе тако што ћете унети следећи код: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Изнад увозите `matplotlib`, `numpy` и увозите `datasets`, `linear_model` и `model_selection` из `sklearn`. `model_selection` се користи за раздвајање података на сетове за обуку и тестирање. + +### Скуп података о дијабетесу + +Уграђени [скуп података о дијабетесу](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) укључује 442 узорка података о дијабетесу, са 10 променљивих карактеристика, од којих неке укључују: + +- age: старост у годинама +- bmi: индекс телесне масе +- bp: просечан крвни притисак +- s1 tc: Т-ћелије (врста белих крвних зрнаца) + +✅ Овај скуп података укључује концепт 'пол' као променљиву карактеристику важну за истраживање о дијабетесу. Многи медицински скупови података укључују ову врсту бинарне класификације. Размислите мало о томе како категоризације попут ове могу искључити одређене делове популације из третмана. + +Сада, учитајте X и y податке. + +> 🎓 Запамтите, ово је надгледано учење, и потребан нам је именовани 'y' циљ. + +У новој ћелији кода, учитајте скуп података о дијабетесу позивајући `load_diabetes()`. Улаз `return_X_y=True` сигнализира да ће `X` бити матрица података, а `y` ће бити циљ регресије. + +1. Додајте неке команде за испис како бисте приказали облик матрице података и њен први елемент: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Оно што добијате као одговор је тупл. Оно што радите је да доделите две прве вредности тупла `X` и `y` респективно. Сазнајте више [о тупловима](https://wikipedia.org/wiki/Tuple). + + Можете видети да ови подаци имају 442 ставке обликоване у низове од 10 елемената: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Размислите мало о односу између података и циљне регресије. Линеарна регресија предвиђа односе између карактеристике X и циљне променљиве y. Можете ли пронаћи [циљ](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) за скуп података о дијабетесу у документацији? Шта овај скуп података показује, с обзиром на циљ? + +2. Затим, изаберите део овог скупа података за графикон тако што ћете изабрати трећу колону скупа података. Можете то урадити коришћењем оператора `:` за избор свих редова, а затим избором треће колоне користећи индекс (2). Такође можете променити облик података у 2D низ - како је потребно за графикон - коришћењем `reshape(n_rows, n_columns)`. Ако је један од параметара -1, одговарајућа димензија се рачуна аутоматски. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ У било ком тренутку, испишите податке да проверите њихов облик. + +3. Сада када имате податке спремне за графикон, можете видети да ли машина може помоћи у одређивању логичке поделе између бројева у овом скупу података. Да бисте то урадили, потребно је да поделите и податке (X) и циљ (y) на сетове за тестирање и обуку. Scikit-learn има једноставан начин за то; можете поделити своје тест податке на одређеној тачки. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Сада сте спремни да обучите свој модел! Учитајте модел линеарне регресије и обучите га са својим X и y сетовима за обуку користећи `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` је функција коју ћете видети у многим ML библиотекама као што је TensorFlow. + +5. Затим, направите предвиђање користећи тест податке, користећи функцију `predict()`. Ово ће се користити за цртање линије између група података. + + ```python + y_pred = model.predict(X_test) + ``` + +6. Сада је време да прикажете податке на графикону. Matplotlib је веома користан алат за овај +✅ Размислите мало о томе шта се овде дешава. Права линија пролази кроз много малих тачака података, али шта она заправо ради? Можете ли видети како би требало да будете у могућности да користите ову линију за предвиђање где би нова, непозната тачка података требало да се уклопи у односу на y осу графикона? Покушајте да речима објасните практичну употребу овог модела. + +Честитамо, направили сте свој први модел линеарне регресије, креирали предвиђање са њим и приказали га на графикону! + +--- +## 🚀Изазов + +Прикажите графикон за другу променљиву из овог скупа података. Савет: измените ову линију: `X = X[:,2]`. С обзиром на циљ овог скупа података, шта можете открити о прогресији дијабетеса као болести? + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +У овом туторијалу, радили сте са једноставном линеарном регресијом, а не са униваријантном или мултиваријантном линеарном регресијом. Прочитајте мало о разликама између ових метода или погледајте [овај видео](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef). + +Прочитајте више о концепту регресије и размислите о томе каква питања могу бити одговорена овом техником. Узмите [овај туторијал](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) да бисте продубили своје разумевање. + +## Задатак + +[Други скуп података](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/1-Tools/assignment.md b/translations/sr/2-Regression/1-Tools/assignment.md new file mode 100644 index 00000000..05c83bf2 --- /dev/null +++ b/translations/sr/2-Regression/1-Tools/assignment.md @@ -0,0 +1,27 @@ + +# Регресија са Scikit-learn + +## Упутства + +Погледајте [Linnerud dataset](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) у Scikit-learn. Овај скуп података има више [циљева](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset): „Састоји се од три вежбе (подаци) и три физиолошке (циљне) променљиве прикупљене од двадесет мушкараца средњих година у фитнес клубу“. + +Својим речима, опишите како направити модел регресије који би приказао однос између обима струка и броја урађених трбушњака. Урадите исто за остале тачке података у овом скупу. + +## Рубрика + +| Критеријум | Изузетно | Прихватљиво | Потребно побољшање | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| Доставити описни пасус | Достављен је добро написан пасус | Достављено је неколико реченица | Опис није достављен | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/1-Tools/solution/Julia/README.md b/translations/sr/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 00000000..1bd4e75f --- /dev/null +++ b/translations/sr/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/2-Data/README.md b/translations/sr/2-Regression/2-Data/README.md new file mode 100644 index 00000000..cdb2f1c7 --- /dev/null +++ b/translations/sr/2-Regression/2-Data/README.md @@ -0,0 +1,226 @@ + +# Изградња модела регресије помоћу Scikit-learn: припрема и визуализација података + + + +Инфографика: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Ова лекција је доступна на R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Увод + +Сада када сте поставили алате који су вам потребни за изградњу модела машинског учења помоћу Scikit-learn, спремни сте да почнете да постављате питања о вашим подацима. Док радите са подацима и примењујете решења машинског учења, веома је важно да знате како да поставите право питање како бисте правилно искористили потенцијале вашег скупа података. + +У овој лекцији ћете научити: + +- Како припремити податке за изградњу модела. +- Како користити Matplotlib за визуализацију података. + +## Постављање правог питања о вашим подацима + +Питање које желите да добијете одговор одредиће који тип алгоритама машинског учења ћете користити. Квалитет одговора који добијете у великој мери зависи од природе ваших података. + +Погледајте [подаци](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) који су обезбеђени за ову лекцију. Можете отворити овај .csv фајл у VS Code. Брзим прегледом одмах се види да постоје празнине и мешавина стрингова и нумеричких података. Такође постоји необичан стубац под називом 'Package' где су подаци мешавина 'sacks', 'bins' и других вредности. Подаци су, у ствари, прилично неуредни. + +[](https://youtu.be/5qGjczWTrDQ "ML за почетнике - Како анализирати и очистити скуп података") + +> 🎥 Кликните на слику изнад за кратак видео о припреми података за ову лекцију. + +У ствари, није баш уобичајено добити скуп података који је потпуно спреман за употребу и креирање модела машинског учења одмах. У овој лекцији ћете научити како да припремите сирове податке користећи стандардне Python библиотеке. Такође ћете научити различите технике за визуализацију података. + +## Студија случаја: 'тржиште бундева' + +У овом директоријуму ћете пронаћи .csv фајл у корену `data` директоријума под називом [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) који садржи 1757 линија података о тржишту бундева, сортираних по градовима. Ово су сирови подаци извучени из [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) које дистрибуира Министарство пољопривреде Сједињених Америчких Држава. + +### Припрема података + +Ови подаци су у јавном домену. Могу се преузети у многим одвојеним фајловима, по градовима, са веб сајта USDA. Да бисмо избегли превише одвојених фајлова, спојили смо све податке о градовима у један табеларни документ, тако да смо већ _припремили_ податке мало. Сада, хајде да детаљније погледамо податке. + +### Подаци о бундевама - рани закључци + +Шта примећујете о овим подацима? Већ сте видели да постоји мешавина стрингова, бројева, празнина и чудних вредности које треба да разумете. + +Које питање можете поставити о овим подацима, користећи технику регресије? Шта кажете на "Предвидите цену бундеве за продају током одређеног месеца". Поново гледајући податке, постоје неке промене које треба да направите да бисте креирали структуру података неопходну за задатак. + +## Вежба - анализа података о бундевама + +Хајде да користимо [Pandas](https://pandas.pydata.org/), (име значи `Python Data Analysis`) алат веома користан за обликовање података, да анализирамо и припремимо ове податке о бундевама. + +### Прво, проверите недостајуће датуме + +Прво ћете морати да предузмете кораке да проверите недостајуће датуме: + +1. Конвертујте датуме у формат месеца (ово су амерички датуми, па је формат `MM/DD/YYYY`). +2. Извуците месец у нови стубац. + +Отворите _notebook.ipynb_ фајл у Visual Studio Code и увезите табеларни документ у нови Pandas dataframe. + +1. Користите функцију `head()` да видите првих пет редова. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Коју функцију бисте користили да видите последњих пет редова? + +1. Проверите да ли постоје недостајући подаци у тренутном dataframe-у: + + ```python + pumpkins.isnull().sum() + ``` + + Постоје недостајући подаци, али можда неће бити битни за задатак. + +1. Да бисте свој dataframe учинили лакшим за рад, изаберите само стубце који су вам потребни, користећи функцију `loc` која из оригиналног dataframe-а извлачи групу редова (прослеђено као први параметар) и стубаца (прослеђено као други параметар). Израз `:` у случају испод значи "сви редови". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Друго, одредите просечну цену бундеве + +Размислите како да одредите просечну цену бундеве у датом месецу. Које стубце бисте изабрали за овај задатак? Савет: биће вам потребна 3 стубца. + +Решење: узмите просек стубаца `Low Price` и `High Price` да попуните нови стубац Price, и конвертујте стубац Date да приказује само месец. Срећом, према горњој провери, нема недостајућих података за датуме или цене. + +1. Да бисте израчунали просек, додајте следећи код: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Слободно испишите било које податке које желите да проверите користећи `print(month)`. + +2. Сада, копирајте своје конвертоване податке у нови Pandas dataframe: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Исписивање вашег dataframe-а ће вам показати чист, уредан скуп података на којем можете изградити свој нови модел регресије. + +### Али чекајте! Овде има нешто чудно + +Ако погледате стубац `Package`, бундеве се продају у многим различитим конфигурацијама. Неке се продају у мерама '1 1/9 bushel', неке у '1/2 bushel', неке по бундевама, неке по фунти, а неке у великим кутијама са различитим ширинама. + +> Бундеве изгледа веома тешко конзистентно измерити + +Копајући у оригиналне податке, занимљиво је да све што има `Unit of Sale` једнако 'EACH' или 'PER BIN' такође има тип `Package` по инчу, по бин-у, или 'each'. Бундеве изгледа веома тешко конзистентно измерити, па хајде да их филтрирамо тако што ћемо изабрати само бундеве са стрингом 'bushel' у њиховом стубцу `Package`. + +1. Додајте филтер на врху фајла, испод почетног .csv увоза: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Ако сада испишете податке, можете видети да добијате само око 415 редова података који садрже бундеве по бушелу. + +### Али чекајте! Постоји још једна ствар коју треба урадити + +Да ли сте приметили да се количина бушела разликује по реду? Морате нормализовати цене тако да приказујете цене по бушелу, па урадите мало математике да их стандардизујете. + +1. Додајте ове линије након блока који креира нови dataframe new_pumpkins: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Према [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308), тежина бушела зависи од врсте производа, јер је то мерење запремине. "Бушел парадајза, на пример, треба да тежи 56 фунти... Листови и зелени производи заузимају више простора са мање тежине, па бушел спанаћа тежи само 20 фунти." Све је прилично компликовано! Хајде да се не замарамо конверзијом бушела у фунте, већ да одредимо цену по бушелу. Све ово проучавање бушела бундева, међутим, показује колико је важно разумети природу ваших података! + +Сада можете анализирати цене по јединици на основу њихове мере бушела. Ако још једном испишете податке, можете видети како су стандардизовани. + +✅ Да ли сте приметили да су бундеве које се продају по пола бушела веома скупе? Можете ли схватити зашто? Савет: мале бундеве су много скупље од великих, вероватно зато што их има много више по бушелу, с обзиром на неискоришћени простор који заузима једна велика шупља бундева за питу. + +## Стратегије визуализације + +Део улоге научника података је да демонстрира квалитет и природу података са којима ради. Да би то урадили, често креирају занимљиве визуализације, или графиконе, дијаграме и табеле, који приказују различите аспекте података. На овај начин могу визуелно приказати односе и празнине које је иначе тешко открити. + +[](https://youtu.be/SbUkxH6IJo0 "ML за почетнике - Како визуализовати податке помоћу Matplotlib") + +> 🎥 Кликните на слику изнад за кратак видео о визуализацији података за ову лекцију. + +Визуализације такође могу помоћи у одређивању технике машинског учења која је најприкладнија за податке. Распршени графикон који изгледа као да прати линију, на пример, указује на то да су подаци добар кандидат за вежбу линеарне регресије. + +Једна библиотека за визуализацију података која добро функционише у Jupyter нотебоок-овима је [Matplotlib](https://matplotlib.org/) (коју сте такође видели у претходној лекцији). + +> Стекните више искуства са визуализацијом података у [овим туторијалима](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Вежба - експериментисање са Matplotlib + +Покушајте да креирате неке основне графиконе за приказ новог dataframe-а који сте управо креирали. Шта би показао основни графикон линија? + +1. Увезите Matplotlib на врху фајла, испод увоза Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Поново покрените цео нотебоок да освежите. +1. На дну нотебоок-а, додајте ћелију за приказ података као кутију: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Да ли је ово користан графикон? Да ли вас нешто изненађује? + + Није нарочито користан јер само приказује ваше податке као распон тачака у датом месецу. + +### Учинимо га корисним + +Да би графикони приказивали корисне податке, обично је потребно груписати податке на неки начин. Хајде да покушамо да креирамо графикон где оса y приказује месеце, а подаци показују расподелу података. + +1. Додајте ћелију за креирање груписаног стубичастог графикона: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Ово је кориснија визуализација података! Чини се да указује на то да је највиша цена бундева у септембру и октобру. Да ли то одговара вашим очекивањима? Зашто или зашто не? + +--- + +## 🚀Изазов + +Истражите различите типове визуализација које Matplotlib нуди. Који типови су најприкладнији за проблеме регресије? + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Погледајте многе начине за визуализацију података. Направите списак различитих библиотека које су доступне и забележите које су најбоље за одређене типове задатака, на пример 2D визуализације у односу на 3D визуализације. Шта откривате? + +## Задатак + +[Истраживање визуализације](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/2-Data/assignment.md b/translations/sr/2-Regression/2-Data/assignment.md new file mode 100644 index 00000000..2c3366a6 --- /dev/null +++ b/translations/sr/2-Regression/2-Data/assignment.md @@ -0,0 +1,23 @@ + +# Истраживање визуализација + +Постоји неколико различитих библиотека доступних за визуализацију података. Направите неке визуализације користећи податке о бундевама из овог часа уз помоћ matplotlib и seaborn у пример нотебуку. Које библиотеке су лакше за рад? + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ----------- | -------- | ------- | ------------------ | +| | Нотебук је предат са две истраживања/визуализације | Нотебук је предат са једним истраживањем/визуализацијом | Нотебук није предат | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/2-Data/solution/Julia/README.md b/translations/sr/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 00000000..cc725729 --- /dev/null +++ b/translations/sr/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/2-Regression/3-Linear/README.md b/translations/sr/2-Regression/3-Linear/README.md new file mode 100644 index 00000000..b70f11d8 --- /dev/null +++ b/translations/sr/2-Regression/3-Linear/README.md @@ -0,0 +1,374 @@ + +# Изградите регресиони модел користећи Scikit-learn: регресија на четири начина + + +> Инфографика од [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Ова лекција је доступна на R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Увод + +До сада сте истраживали шта је регресија користећи пример података из скупа података о ценама бундева, који ћемо користити током ове лекције. Такође сте је визуализовали користећи Matplotlib. + +Сада сте спремни да дубље уђете у регресију за машинско учење. Док визуализација омогућава разумевање података, права моћ машинског учења долази из _тренирања модела_. Модели се тренирају на историјским подацима како би аутоматски ухватили зависности података и омогућили предвиђање исхода за нове податке које модел раније није видео. + +У овој лекцији, научићете више о две врсте регресије: _основна линеарна регресија_ и _полиномска регресија_, заједно са неким математичким основама ових техника. Ови модели ће нам омогућити да предвидимо цене бундева у зависности од различитих улазних података. + +[](https://youtu.be/CRxFT8oTDMg "Машинско учење за почетнике - Разумевање линеарне регресије") + +> 🎥 Кликните на слику изнад за кратак видео преглед линеарне регресије. + +> Кроз овај курикулум претпостављамо минимално знање математике и настојимо да га учинимо доступним студентима из других области, па обратите пажњу на белешке, 🧮 позиве, дијаграме и друге алате за учење који помажу у разумевању. + +### Предуслов + +До сада би требало да сте упознати са структуром података о бундевама које испитујемо. Можете их пронаћи унапред учитане и очишћене у датотеци _notebook.ipynb_ ове лекције. У датотеци, цена бундева је приказана по бушелу у новом оквиру података. Уверите се да можете покренути ове бележнице у језгрима у Visual Studio Code-у. + +### Припрема + +Као подсетник, учитавате ове податке како бисте постављали питања о њима. + +- Када је најбоље време за куповину бундева? +- Коју цену могу очекивати за кутију минијатурних бундева? +- Да ли да их купим у корпама од пола бушела или у кутијама од 1 1/9 бушела? +Хајде да наставимо са истраживањем ових података. + +У претходној лекцији, креирали сте Pandas оквир података и попунили га делом оригиналног скупа података, стандардизујући цене по бушелу. Међутим, тиме сте успели да сакупите само око 400 података и то само за јесење месеце. + +Погледајте податке које смо унапред учитали у пратећој бележници ове лекције. Подаци су унапред учитани, а почетни распршени графикон је направљен да покаже податке по месецима. Можда можемо добити мало више детаља о природи података ако их боље очистимо. + +## Линија линеарне регресије + +Као што сте научили у Лекцији 1, циљ вежбе линеарне регресије је да се нацрта линија која: + +- **Показује односе између променљивих**. Показује однос између променљивих +- **Прави предвиђања**. Прави тачна предвиђања о томе где би нова тачка података могла пасти у односу на ту линију. + +Типично је за **регресију методом најмањих квадрата** да се нацрта ова врста линије. Термин 'најмањи квадрати' значи да су све тачке података око линије регресије квадриране и затим сабране. Идеално, тај коначни збир је што је могуће мањи, јер желимо низак број грешака, или `најмањи квадрати`. + +То радимо јер желимо да моделирамо линију која има најмању кумулативну удаљеност од свих наших тачака података. Такође квадрирамо термине пре него што их саберемо јер нас занима њихова величина, а не њихов смер. + +> **🧮 Покажите ми математику** +> +> Ова линија, названа _линија најбољег уклапања_, може се изразити [једначином](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` је 'објашњавајућа променљива'. `Y` је 'зависна променљива'. Нагиб линије је `b`, а `a` је пресек са Y-осом, који се односи на вредност `Y` када је `X = 0`. +> +> +> +> Прво, израчунајте нагиб `b`. Инфографика од [Jen Looper](https://twitter.com/jenlooper) +> +> Другим речима, и позивајући се на оригинално питање о подацима о бундевама: "предвидите цену бундеве по бушелу по месецу", `X` би се односио на цену, а `Y` би се односио на месец продаје. +> +> +> +> Израчунајте вредност Y. Ако плаћате око $4, мора да је април! Инфографика од [Jen Looper](https://twitter.com/jenlooper) +> +> Математика која израчунава линију мора показати нагиб линије, који такође зависи од пресека, или где се `Y` налази када је `X = 0`. +> +> Можете посматрати метод израчунавања ових вредности на веб сајту [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html). Такође посетите [овој калкулатор најмањих квадрата](https://www.mathsisfun.com/data/least-squares-calculator.html) да видите како вредности бројева утичу на линију. + +## Корелација + +Још један термин који треба разумети је **коефицијент корелације** између датих X и Y променљивих. Користећи распршени графикон, можете брзо визуализовати овај коефицијент. Графикон са тачкама података распршеним у уредној линији има високу корелацију, али графикон са тачкама података распршеним свуда између X и Y има ниску корелацију. + +Добар модел линеарне регресије биће онај који има висок (ближи 1 него 0) коефицијент корелације користећи метод регресије најмањих квадрата са линијом регресије. + +✅ Покрените бележницу која прати ову лекцију и погледајте распршени графикон Месец према Цени. Да ли се подаци који повезују Месец са Ценом за продају бундева чине да имају високу или ниску корелацију, према вашој визуелној интерпретацији распршеног графикона? Да ли се то мења ако користите прецизнију меру уместо `Месец`, нпр. *дан у години* (тј. број дана од почетка године)? + +У коду испод, претпоставићемо да смо очистили податке и добили оквир података назван `new_pumpkins`, сличан следећем: + +ID | Месец | ДанУГодини | Врста | Град | Паковање | Најнижа цена | Највиша цена | Цена +---|-------|------------|-------|------|----------|--------------|--------------|------ +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 бушел кутије | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 бушел кутије | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 бушел кутије | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 бушел кутије | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 бушел кутије | 15.0 | 15.0 | 13.636364 + +> Код за чишћење података доступан је у [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). Извршили смо исте кораке чишћења као у претходној лекцији и израчунали колону `ДанУГодини` користећи следећи израз: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Сада када имате разумевање математике иза линеарне регресије, хајде да креирамо регресиони модел да видимо да ли можемо предвидети који пакет бундева ће имати најбоље цене бундева. Неко ко купује бундеве за празничну фарму бундева можда жели ове информације како би оптимизовао своје куповине пакета бундева за фарму. + +## Тражење корелације + +[](https://youtu.be/uoRq-lW2eQo "Машинско учење за почетнике - Тражење корелације: Кључ за линеарну регресију") + +> 🎥 Кликните на слику изнад за кратак видео преглед корелације. + +Из претходне лекције вероватно сте видели да просечна цена за различите месеце изгледа овако: + +
+
+Ово сугерише да би требало да постоји нека корелација, и можемо покушати да обучимо модел линеарне регресије да предвиди однос између `Месец` и `Цена`, или између `ДанУГодини` и `Цена`. Ево распршеног графикона који показује овај други однос:
+
+
+
+Хајде да видимо да ли постоји корелација користећи функцију `corr`:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Изгледа да је корелација прилично мала, -0.15 за `Месец` и -0.17 за `ДанУГодини`, али можда постоји друга важна веза. Изгледа да постоје различити кластери цена који одговарају различитим врстама бундева. Да потврдимо ову хипотезу, хајде да нацртамо сваку категорију бундева користећи различиту боју. Прослеђивањем параметра `ax` функцији за цртање распршених графикона можемо нацртати све тачке на истом графикону:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Наша истрага сугерише да врста има већи утицај на укупну цену него стварни датум продаје. То можемо видети помоћу стубног графикона:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Фокусирајмо се за тренутак само на једну врсту бундева, 'pie type', и видимо какав ефекат датум има на цену:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Ако сада израчунате корелацију између `Цена` и `ДанУГодини` користећи функцију `corr`, добићемо нешто попут `-0.27` - што значи да тренирање предиктивног модела има смисла.
+
+> Пре тренирања модела линеарне регресије, важно је осигурати да су наши подаци чисти. Линеарна регресија не функционише добро са недостајућим вредностима, па има смисла уклонити све празне ћелије:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Други приступ би био да се те празне вредности попуне просечним вредностима из одговарајуће колоне.
+
+## Једноставна линеарна регресија
+
+[](https://youtu.be/e4c_UP2fSjg "Машинско учење за почетнике - Линеарна и полиномска регресија користећи Scikit-learn")
+
+> 🎥 Кликните на слику изнад за кратак видео преглед линеарне и полиномске регресије.
+
+Да бисмо обучили наш модел линеарне регресије, користићемо библиотеку **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Почињемо раздвајањем улазних вредности (карактеристика) и очекиваног излаза (ознаке) у одвојене numpy низове:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Напомена да смо морали да извршимо `reshape` на улазним подацима како би пакет за линеарну регресију правилно разумео. Линеарна регресија очекује 2D-низ као улаз, где сваки ред низа одговара вектору улазних карактеристика. У нашем случају, пошто имамо само један улаз - потребан нам је низ облика N×1, где је N величина скупа података.
+
+Затим, потребно је да поделимо податке на тренирајући и тестирајући скуп података, како бисмо могли да валидирамо наш модел након тренирања:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+На крају, тренирање стварног модела линеарне регресије траје само два реда кода. Дефинишемо објекат `LinearRegression` и прилагођавамо га нашим подацима користећи метод `fit`:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+Објекат `LinearRegression` након `fit`-овања садржи све коефицијенте регресије, који се могу приступити користећи својство `.coef_`. У нашем случају, постоји само један коефицијент, који би требало да буде око `-0.017`. То значи да цене изгледа падају мало током времена, али не превише, око 2 цента дневно. Такође можемо приступити тачки пресека регресије са Y-осом користећи `lin_reg.intercept_` - она ће бити око `21` у нашем случају, што указује на цену на почетку године.
+
+Да бисмо видели колико је наш модел тачан, можем
+Нашa грешка изгледа да се врти око 2 тачке, што је ~17%. Није баш добро. Још један показатељ квалитета модела је **коефицијент детерминације**, који можемо добити овако:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Ако је вредност 0, то значи да модел не узима у обзир улазне податке и делује као *најгори линеарни предиктор*, што је једноставно просечна вредност резултата. Вредност 1 значи да можемо савршено предвидети све очекиване излазе. У нашем случају, коефицијент је око 0.06, што је прилично ниско.
+
+Такође можемо приказати тест податке заједно са регресионом линијом да бисмо боље видели како регресија функционише у нашем случају:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Полиномијална регресија
+
+Још један тип линеарне регресије је полиномијална регресија. Иако понекад постоји линеарна веза између променљивих - што је већа запремина бундеве, то је већа цена - понекад те везе не могу бити приказане као раван или права линија.
+
+✅ Ево [неколико примера](https://online.stat.psu.edu/stat501/lesson/9/9.8) података који би могли користити полиномијалну регресију.
+
+Погледајте поново однос између датума и цене. Да ли овај распоред тачака изгледа као да би нужно требало да се анализира правом линијом? Зар цене не могу да варирају? У овом случају можете пробати полиномијалну регресију.
+
+✅ Полиноми су математички изрази који могу садржати једну или више променљивих и коефицијената.
+
+Полиномијална регресија ствара закривљену линију да би боље одговарала нелинеарним подацима. У нашем случају, ако укључимо квадратну променљиву `DayOfYear` у улазне податке, требало би да можемо да прилагодимо наше податке параболичном кривом, која ће имати минимум у одређеном тренутку у години.
+
+Scikit-learn укључује корисни [pipeline API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) за комбиновање различитих корака обраде података. **Pipeline** је ланац **процесора**. У нашем случају, направићемо pipeline који прво додаје полиномијалне карактеристике нашем моделу, а затим тренира регресију:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Коришћење `PolynomialFeatures(2)` значи да ћемо укључити све полиноме другог степена из улазних података. У нашем случају то ће значити само `DayOfYear`2, али ако имамо две улазне променљиве X и Y, то ће додати X2, XY и Y2. Можемо користити и полиноме вишег степена ако желимо.
+
+Pipeline се може користити на исти начин као оригинални објекат `LinearRegression`, тј. можемо `fit` pipeline, а затим користити `predict` за добијање резултата предвиђања. Ево графикона који приказује тест податке и криву апроксимације:
+
+
+
+Коришћењем полиномијалне регресије можемо добити нешто нижи MSE и већи коефицијент детерминације, али не значајно. Морамо узети у обзир и друге карактеристике!
+
+> Можете видети да су минималне цене бундева примећене негде око Ноћи вештица. Како то можете објаснити?
+
+🎃 Честитамо, управо сте направили модел који може помоћи у предвиђању цене бундева за питу. Вероватно можете поновити исти поступак за све типове бундева, али то би било заморно. Сада ћемо научити како да узмемо у обзир сорту бундева у нашем моделу!
+
+## Категоријалне карактеристике
+
+У идеалном свету, желимо да будемо у могућности да предвиђамо цене за различите сорте бундева користећи исти модел. Међутим, колона `Variety` је нешто другачија од колона као што је `Month`, јер садржи ненумеричке вредности. Такве колоне се називају **категоријалне**.
+
+[](https://youtu.be/DYGliioIAE0 "ML за почетнике - Предвиђање категоријалних карактеристика са линеарном регресијом")
+
+> 🎥 Кликните на слику изнад за кратак видео преглед коришћења категоријалних карактеристика.
+
+Овде можете видети како просечна цена зависи од сорте:
+
+
+
+Да бисмо узели сорту у обзир, прво је морамо претворити у нумерички облик, или **кодирати**. Постоји неколико начина на који то можемо урадити:
+
+* Једноставно **нумеричко кодирање** ће направити табелу различитих сорти, а затим заменити име сорте индексом у тој табели. Ово није најбоља идеја за линеарну регресију, јер линеарна регресија узима стварну нумеричку вредност индекса и додаје је резултату, множећи је неким коефицијентом. У нашем случају, однос између броја индекса и цене је очигледно нелинеаран, чак и ако се побринемо да индекси буду поређани на одређени начин.
+* **One-hot кодирање** ће заменити колону `Variety` са 4 различите колоне, једну за сваку сорту. Свака колона ће садржати `1` ако одговарајући ред припада датој сорти, и `0` у супротном. То значи да ће постојати четири коефицијента у линеарној регресији, један за сваку сорту бундева, одговоран за "почетну цену" (или боље речено "додатну цену") за ту конкретну сорту.
+
+Код испод показује како можемо one-hot кодирати сорту:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Да бисмо тренирали линеарну регресију користећи one-hot кодиране сорте као улаз, само треба да правилно иницијализујемо `X` и `y` податке:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Остатак кода је исти као што смо користили горе за тренирање линеарне регресије. Ако пробате, видећете да је средња квадратна грешка отприлике иста, али добијамо много већи коефицијент детерминације (~77%). Да бисмо добили још прецизнија предвиђања, можемо узети у обзир више категоријалних карактеристика, као и нумеричке карактеристике, као што су `Month` или `DayOfYear`. Да бисмо добили један велики низ карактеристика, можемо користити `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Овде узимамо у обзир и `City` и тип `Package`, што нам даје MSE 2.84 (10%) и детерминацију 0.94!
+
+## Све на једном месту
+
+Да бисмо направили најбољи модел, можемо користити комбиноване (one-hot кодиране категоријалне + нумеричке) податке из горњег примера заједно са полиномијалном регресијом. Ево комплетног кода за вашу удобност:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Ово би требало да нам да најбољи коефицијент детерминације од скоро 97% и MSE=2.23 (~8% грешке у предвиђању).
+
+| Модел | MSE | Детерминација |
+|-------|-----|---------------|
+| `DayOfYear` Линеарни | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Полиномијални | 2.73 (17.0%) | 0.08 |
+| `Variety` Линеарни | 5.24 (19.7%) | 0.77 |
+| Све карактеристике Линеарни | 2.84 (10.5%) | 0.94 |
+| Све карактеристике Полиномијални | 2.23 (8.25%) | 0.97 |
+
+🏆 Браво! Направили сте четири модела регресије у једном часу и побољшали квалитет модела до 97%. У последњем делу о регресији, научићете о логистичкој регресији за одређивање категорија.
+
+---
+
+## 🚀Изазов
+
+Тестирајте неколико различитих променљивих у овом нотебооку да видите како корелација одговара тачности модела.
+
+## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/)
+
+## Преглед и самостално учење
+
+У овом часу смо научили о линеарној регресији. Постоје и други важни типови регресије. Прочитајте о техникама Stepwise, Ridge, Lasso и Elasticnet. Добар курс за даље учење је [Stanford Statistical Learning course](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning).
+
+## Задатак
+
+[Направите модел](assignment.md)
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/3-Linear/assignment.md b/translations/sr/2-Regression/3-Linear/assignment.md
new file mode 100644
index 00000000..0b8ed8bf
--- /dev/null
+++ b/translations/sr/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,25 @@
+
+# Креирајте регресиони модел
+
+## Упутства
+
+У овој лекцији сте научили како да изградите модел користећи Линеарну и Полиномијалну регресију. Користећи то знање, пронађите скуп података или искористите један од уграђених скупова из Scikit-learn-а како бисте изградили нови модел. Објасните у свесци зашто сте изабрали одређену технику и покажите тачност вашег модела. Ако модел није тачан, објасните зашто.
+
+## Рубрика
+
+| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање |
+| ---------- | ---------------------------------------------------------- | -------------------------- | ------------------------------ |
+| | представља комплетну свеску са добро документованим решењем | решење је непотпуно | решење је неисправно или са грешкама |
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/3-Linear/solution/Julia/README.md b/translations/sr/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 00000000..3aa21a12
--- /dev/null
+++ b/translations/sr/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/4-Logistic/README.md b/translations/sr/2-Regression/4-Logistic/README.md
new file mode 100644
index 00000000..cb72da6f
--- /dev/null
+++ b/translations/sr/2-Regression/4-Logistic/README.md
@@ -0,0 +1,401 @@
+
+# Логистичка регресија за предвиђање категорија
+
+
+
+## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/)
+
+> ### [Ова лекција је доступна и на R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Увод
+
+У овој последњој лекцији о регресији, једној од основних _класичних_ техника машинског учења, погледаћемо логистичку регресију. Ову технику бисте користили за откривање образаца ради предвиђања бинарних категорија. Да ли је овај слаткиш чоколада или не? Да ли је ова болест заразна или не? Да ли ће овај купац изабрати овај производ или не?
+
+У овој лекцији ћете научити:
+
+- Нову библиотеку за визуализацију података
+- Технике за логистичку регресију
+
+✅ Продубите своје разумевање рада са овом врстом регресије у овом [модулу за учење](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Предуслов
+
+Радећи са подацима о бундевама, сада смо довољно упознати са њима да схватимо да постоји једна бинарна категорија са којом можемо радити: `Боја`.
+
+Хајде да направимо модел логистичке регресије да предвидимо, на основу неких варијабли, _која боја је вероватно дата бундева_ (наранџаста 🎃 или бела 👻).
+
+> Зашто говоримо о бинарној класификацији у лекцији о регресији? Само ради језичке погодности, јер је логистичка регресија [заправо метода класификације](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), иако заснована на линеарности. Сазнајте више о другим начинима класификације података у следећој групи лекција.
+
+## Дефинисање питања
+
+За наше потребе, изразићемо ово као бинарно: 'Бела' или 'Није бела'. У нашем скупу података постоји и категорија 'пругаста', али има мало примера, па је нећемо користити. Ионако нестаје када уклонимо вредности null из скупа података.
+
+> 🎃 Забавна чињеница: беле бундеве понекад називамо 'духовима'. Нису баш лаке за резбарење, па нису толико популарне као наранџасте, али изгледају занимљиво! Тако да бисмо могли да формулишемо наше питање као: 'Дух' или 'Није дух'. 👻
+
+## О логистичкој регресији
+
+Логистичка регресија се разликује од линеарне регресије, коју сте раније научили, у неколико важних аспеката.
+
+[](https://youtu.be/KpeCT6nEpBY "Машинско учење за почетнике - Разумевање логистичке регресије за класификацију")
+
+> 🎥 Кликните на слику изнад за кратак видео преглед логистичке регресије.
+
+### Бинарна класификација
+
+Логистичка регресија не нуди исте могућности као линеарна регресија. Прва нуди предвиђање бинарне категорије ("бела или није бела"), док друга може да предвиди континуалне вредности, на пример, на основу порекла бундеве и времена жетве, _колико ће њена цена порасти_.
+
+
+> Инфографика од [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Друге класификације
+
+Постоје и друге врсте логистичке регресије, укључујући мултиномијалну и ординалну:
+
+- **Мултиномијална**, која укључује више од једне категорије - "Наранџаста, Бела и Пругаста".
+- **Ординална**, која укључује уређене категорије, корисна ако желимо да логички поређамо наше исходе, као што су бундеве које су поређане по ограниченом броју величина (мини, мала, средња, велика, XL, XXL).
+
+
+
+### Варијабле НЕ морају бити корелисане
+
+Сећате се како је линеарна регресија боље функционисала са више корелисаних варијабли? Логистичка регресија је супротна - варијабле не морају бити усклађене. То одговара овим подацима који имају релативно слабе корелације.
+
+### Потребно је много чистих података
+
+Логистичка регресија ће дати прецизније резултате ако користите више података; наш мали скуп података није оптималан за овај задатак, па то имајте на уму.
+
+[](https://youtu.be/B2X4H9vcXTs "Машинско учење за почетнике - Анализа и припрема података за логистичку регресију")
+
+✅ Размислите о врстама података које би се добро уклопиле у логистичку регресију.
+
+## Вежба - уредите податке
+
+Прво, мало очистите податке, уклањајући null вредности и бирајући само неке од колона:
+
+1. Додајте следећи код:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Увек можете погледати свој нови dataframe:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Визуализација - категоријални графикон
+
+До сада сте учитали [почетни нотебук](../../../../2-Regression/4-Logistic/notebook.ipynb) са подацима о бундевама и очистили га тако да задржите скуп података који садржи неколико варијабли, укључујући `Боја`. Хајде да визуализујемо dataframe у нотебуку користећи другу библиотеку: [Seaborn](https://seaborn.pydata.org/index.html), која је изграђена на Matplotlib коју смо раније користили.
+
+Seaborn нуди неке занимљиве начине за визуализацију ваших података. На пример, можете упоредити дистрибуције података за сваку `Сорта` и `Боја` у категоријалном графикону.
+
+1. Направите такав графикон користећи функцију `catplot`, користећи наше податке о бундевама `pumpkins`, и специфицирајући мапирање боја за сваку категорију бундеве (наранџаста или бела):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Посматрајући податке, можете видети како се подаци о боји односе на сорту.
+
+ ✅ На основу овог категоријалног графикона, које занимљиве анализе можете замислити?
+
+### Претпроцесирање података: кодирање карактеристика и ознака
+Наш скуп података о бундевама садржи стринг вредности за све своје колоне. Рад са категоријалним подацима је интуитиван за људе, али не и за машине. Алгоритми машинског учења добро функционишу са бројевима. Зато је кодирање веома важан корак у фази претпроцесирања података, јер нам омогућава да категоријалне податке претворимо у нумеричке податке, без губитка информација. Добро кодирање води ка изградњи доброг модела.
+
+За кодирање карактеристика постоје две главне врсте кодера:
+
+1. Ординални кодер: добро одговара ординалним варијаблама, које су категоријалне варијабле где њихови подаци следе логички редослед, као што је колона `Величина артикла` у нашем скупу података. Он ствара мапирање тако да је свака категорија представљена бројем, који је редослед категорије у колони.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Категоријални кодер: добро одговара номиналним варијаблама, које су категоријалне варијабле где њихови подаци не следе логички редослед, као што су све карактеристике различите од `Величина артикла` у нашем скупу података. То је једно-хот кодирање, што значи да је свака категорија представљена бинарном колоном: кодирана варијабла је једнака 1 ако бундева припада тој сорти, а 0 у супротном.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Затим, `ColumnTransformer` се користи за комбиновање више кодера у један корак и њихово примену на одговарајуће колоне.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+С друге стране, за кодирање ознаке користимо scikit-learn класу `LabelEncoder`, која је помоћна класа за нормализацију ознака тако да садрже само вредности између 0 и n_classes-1 (овде, 0 и 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Када кодиране карактеристике и ознаке, можемо их спојити у нови dataframe `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ Које су предности коришћења ординалног кодера за колону `Величина артикла`?
+
+### Анализа односа између варијабли
+
+Сада када смо претпроцесирали наше податке, можемо анализирати односе између карактеристика и ознаке како бисмо стекли идеју о томе колико ће модел бити способан да предвиди ознаку на основу карактеристика.
+Најбољи начин за извођење ове врсте анализе је графичко приказивање података. Поново ћемо користити Seaborn функцију `catplot`, да визуализујемо односе између `Величина артикла`, `Сорта` и `Боја` у категоријалном графикону. За боље приказивање података користићемо кодиране колоне `Величина артикла` и некодиране колоне `Сорта`.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Користите swarm графикон
+
+Пошто је `Боја` бинарна категорија (Бела или Није), потребан је '[специјализован приступ](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) за визуализацију'. Постоје и други начини за визуализацију односа ове категорије са другим варијаблама.
+
+Можете визуализовати варијабле једну поред друге помоћу Seaborn графикона.
+
+1. Пробајте 'swarm' графикон да покажете дистрибуцију вредности:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Пазите**: горњи код може генерисати упозорење, пошто Seaborn не успева да представи толики број тачака у swarm графикону. Могуће решење је смањење величине маркера, коришћењем параметра 'size'. Међутим, будите свесни да то утиче на читљивост графикона.
+
+> **🧮 Покажите ми математику**
+>
+> Логистичка регресија се ослања на концепт 'максималне вероватноће' користећи [сигмоидне функције](https://wikipedia.org/wiki/Sigmoid_function). 'Сигмоидна функција' на графикону изгледа као облик слова 'S'. Она узима вредност и мапира је негде између 0 и 1. Њена крива се такође назива 'логистичка крива'. Њена формула изгледа овако:
+>
+> 
+>
+> где се средишња тачка сигмоида налази на x-овој 0 тачки, L је максимална вредност криве, а k је стрмина криве. Ако је исход функције већи од 0.5, ознака у питању ће бити додељена класи '1' бинарног избора. Ако није, биће класификована као '0'.
+
+## Направите свој модел
+
+Изградња модела за проналажење ових бинарних класификација је изненађујуће једноставна у Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "Машинско учење за почетнике - Логистичка регресија за класификацију података")
+
+> 🎥 Кликните на слику изнад за кратак видео преглед изградње модела линеарне регресије.
+
+1. Изаберите варијабле које желите да користите у свом моделу класификације и поделите скуп за тренинг и тестирање позивајући `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Сада можете обучити свој модел, позивајући `fit()` са својим тренинг подацима, и исписати његов резултат:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Погледајте резултате свог модела. Није лоше, с обзиром на то да имате само око 1000 редова података:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Боље разумевање кроз матрицу конфузије
+
+Иако можете добити извештај о резултатима [термини](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) исписивањем горе наведених ставки, можда ћете моћи боље да разумете свој модел користећи [матрицу конфузије](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) која нам помаже да разумемо како модел функционише.
+
+> 🎓 '[Матрица конфузије](https://wikipedia.org/wiki/Confusion_matrix)' (или 'матрица грешке') је табела која изражава стварне и лажне позитивне и негативне резултате вашег модела, чиме се процењује тачност предвиђања.
+
+1. Да бисте користили матрицу конфузије, позовите `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Погледајте матрицу конфузије вашег модела:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+У Scikit-learn, редови (осовина 0) су стварне ознаке, а колоне (осовина 1) су предвиђене ознаке.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Шта се овде дешава? Рецимо да се од нашег модела тражи да класификује бундеве између две бинарне категорије, категорије 'бела' и категорије 'није бела'.
+
+- Ако ваш модел предвиди да је бундева није бела, а она заиста припада категорији 'није бела', то називамо истинским негативним резултатом, приказаним горњим левим
+Како се матрица конфузије односи на прецизност и одзив? Запамтите, извештај о класификацији приказан изнад показао је прецизност (0.85) и одзив (0.67).
+
+Прецизност = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Одзив = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ П: Према матрици конфузије, како је модел прошао? О: Није лоше; постоји добар број истинских негативних, али и неколико лажних негативних.
+
+Хајде да поново погледамо термине које смо раније видели уз помоћ мапирања TP/TN и FP/FN у матрици конфузије:
+
+🎓 Прецизност: TP/(TP + FP) Удео релевантних примера међу пронађеним примерима (нпр. који су ознаке добро означене)
+
+🎓 Одзив: TP/(TP + FN) Удео релевантних примера који су пронађени, било добро означени или не
+
+🎓 f1-скор: (2 * прецизност * одзив)/(прецизност + одзив) Тежински просек прецизности и одзива, где је најбољи 1, а најгори 0
+
+🎓 Подршка: Број појављивања сваке ознаке која је пронађена
+
+🎓 Тачност: (TP + TN)/(TP + TN + FP + FN) Проценат ознака које су тачно предвиђене за узорак.
+
+🎓 Макро просек: Израчунавање неутежаног просека метрика за сваку ознаку, без узимања у обзир неравнотеже ознака.
+
+🎓 Тежински просек: Израчунавање просека метрика за сваку ознаку, узимајући у обзир неравнотежу ознака тако што их тежински прилагођава њиховој подршци (броју истинских примера за сваку ознаку).
+
+✅ Можете ли замислити коју метрику треба пратити ако желите да ваш модел смањи број лажних негативних?
+
+## Визуализација ROC криве овог модела
+
+[](https://youtu.be/GApO575jTA0 "ML за почетнике - Анализа перформанси логистичке регресије уз ROC криве")
+
+
+> 🎥 Кликните на слику изнад за кратак видео преглед ROC криве
+
+Хајде да направимо још једну визуализацију да видимо такозвану 'ROC' криву:
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Користећи Matplotlib, нацртајте [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) или ROC модела. ROC криве се често користе за добијање прегледа излазних резултата класификатора у смислу истинских и лажних позитивних. "ROC криве обично приказују стопу истинских позитивних на Y оси, а стопу лажних позитивних на X оси." Дакле, стрмина криве и простор између средишње линије и криве су важни: желите криву која брзо иде горе и преко линије. У нашем случају, постоје лажни позитивни на почетку, а затим линија правилно иде горе и преко:
+
+
+
+На крају, користите Scikit-learn [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) да израчунате стварну 'Површину испод криве' (AUC):
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+Резултат је `0.9749908725812341`. С обзиром да AUC варира од 0 до 1, желите велики резултат, јер модел који је 100% тачан у својим предвиђањима имаће AUC од 1; у овом случају, модел је _прилично добар_.
+
+У будућим лекцијама о класификацијама, научићете како да итеративно побољшате резултате вашег модела. Али за сада, честитамо! Завршили сте ове лекције о регресији!
+
+---
+## 🚀Изазов
+
+Постоји много више за истраживање у вези са логистичком регресијом! Али најбољи начин за учење је експериментисање. Пронађите скуп података који се добро уклапа у ову врсту анализе и направите модел са њим. Шта сте научили? савет: пробајте [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) за занимљиве скупове података.
+
+## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/)
+
+## Преглед и самостално учење
+
+Прочитајте првих неколико страница [овог рада са Станфорда](https://web.stanford.edu/~jurafsky/slp3/5.pdf) о неким практичним применама логистичке регресије. Размислите о задацима који су боље прилагођени једној или другој врсти регресије коју смо до сада проучавали. Шта би најбоље функционисало?
+
+## Задатак
+
+[Поновно испробавање ове регресије](assignment.md)
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/4-Logistic/assignment.md b/translations/sr/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 00000000..a12a449d
--- /dev/null
+++ b/translations/sr/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,25 @@
+
+# Поновно тестирање регресије
+
+## Упутства
+
+У лекцији сте користили подскуп података о бундевама. Сада се вратите на оригиналне податке и покушајте да искористите све, очишћене и стандардизоване, како бисте изградили модел логистичке регресије.
+
+## Рубрика
+
+| Критеријум | Изузетно | Прихватљиво | Потребно побољшање |
+| ---------- | ---------------------------------------------------------------------- | ------------------------------------------------------------ | ----------------------------------------------------------- |
+| | Представљен је нотебук са добро објашњеним и добро функционишућим моделом | Представљен је нотебук са моделом који минимално функционише | Представљен је нотебук са моделом који слабо функционише или га нема |
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/4-Logistic/solution/Julia/README.md b/translations/sr/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 00000000..33bedeaf
--- /dev/null
+++ b/translations/sr/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/2-Regression/README.md b/translations/sr/2-Regression/README.md
new file mode 100644
index 00000000..2e3b5636
--- /dev/null
+++ b/translations/sr/2-Regression/README.md
@@ -0,0 +1,54 @@
+
+# Регресиони модели за машинско учење
+## Регионална тема: Регресиони модели за цене бундева у Северној Америци 🎃
+
+У Северној Америци, бундеве се често резбаре у застрашујуће ликове за Ноћ вештица. Хајде да сазнамо више о овим фасцинантним поврћем!
+
+
+> Фотографија: Beth Teutschmann на Unsplash
+
+## Шта ћете научити
+
+[](https://youtu.be/5QnJtDad4iQ "Видео увод у регресију - Кликните за гледање!")
+> 🎥 Кликните на слику изнад за брзи уводни видео у ову лекцију
+
+Лекције у овом одељку обрађују типове регресије у контексту машинског учења. Регресиони модели могу помоћи у одређивању _односа_ између променљивих. Овај тип модела може предвидети вредности као што су дужина, температура или старост, откривајући тако односе између променљивих док анализира податке.
+
+У овом низу лекција, открићете разлике између линеарне и логистичке регресије, као и када је боље користити једну уместо друге.
+
+[](https://youtu.be/XA3OaoW86R8 "Машинско учење за почетнике - Увод у регресионе моделе за машинско учење")
+
+> 🎥 Кликните на слику изнад за кратак видео који уводи у регресионе моделе.
+
+У овом сету лекција, припремићете се за почетак задатака машинског учења, укључујући конфигурисање Visual Studio Code-а за управљање бележницама, уобичајеним окружењем за научнике података. Открићете Scikit-learn, библиотеку за машинско учење, и изградићете своје прве моделе, са фокусом на регресионе моделе у овом поглављу.
+
+> Постоје корисни алати са мало кода који вам могу помоћи да научите како да радите са регресионим моделима. Пробајте [Azure ML за овај задатак](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Лекције
+
+1. [Алатке заната](1-Tools/README.md)
+2. [Управљање подацима](2-Data/README.md)
+3. [Линеарна и полиномијална регресија](3-Linear/README.md)
+4. [Логистичка регресија](4-Logistic/README.md)
+
+---
+### Захвалнице
+
+"Машинско учење са регресијом" написано је са ♥️ од стране [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ Доприноси за квизове укључују: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) и [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Скуп података о бундевама предложен је од стране [овог пројекта на Kaggle-у](https://www.kaggle.com/usda/a-year-of-pumpkin-prices), а његови подаци су преузети из [Извештаја о стандардима терминалних тржишта за специјалне усеве](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) које дистрибуира Министарство пољопривреде Сједињених Држава. Додали смо неке тачке око боје на основу сорте како бисмо нормализовали дистрибуцију. Ови подаци су у јавном домену.
+
+---
+
+**Одрицање од одговорности**:
+Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода.
\ No newline at end of file
diff --git a/translations/sr/3-Web-App/1-Web-App/README.md b/translations/sr/3-Web-App/1-Web-App/README.md
new file mode 100644
index 00000000..a8650c80
--- /dev/null
+++ b/translations/sr/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,359 @@
+
+# Изградња веб апликације за коришћење ML модела
+
+У овој лекцији, обучићете ML модел на скупу података који је ван овог света: _УФО виђења у последњем веку_, преузетих из базе података NUFORC-а.
+
+Научићете:
+
+- Како да „пиклујете“ обучени модел
+- Како да користите тај модел у Flask апликацији
+
+Наставићемо да користимо бележнице за чишћење података и обуку модела, али можете отићи корак даље и истражити како да користите модел „у природи“, односно у веб апликацији.
+
+Да бисте то урадили, потребно је да изградите веб апликацију користећи Flask.
+
+## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/)
+
+## Изградња апликације
+
+Постоји неколико начина за изградњу веб апликација које користе моделе машинског учења. Ваша веб архитектура може утицати на начин на који је модел обучен. Замислите да радите у компанији где је тим за науку о подацима обучио модел који желе да користите у апликацији.
+
+### Разматрања
+
+Постоји много питања која треба поставити:
+
+- **Да ли је то веб апликација или мобилна апликација?** Ако градите мобилну апликацију или треба да користите модел у IoT контексту, можете користити [TensorFlow Lite](https://www.tensorflow.org/lite/) и применити модел у Android или iOS апликацији.
+- **Где ће модел бити смештен?** У облаку или локално?
+- **Подршка за рад ван мреже.** Да ли апликација мора да ради ван мреже?
+- **Која технологија је коришћена за обуку модела?** Одабрана технологија може утицати на алате које треба користити.
+ - **Коришћење TensorFlow-а.** Ако обучавате модел користећи TensorFlow, на пример, тај екосистем омогућава конвертовање TensorFlow модела за употребу у веб апликацији помоћу [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Коришћење PyTorch-а.** Ако градите модел користећи библиотеку као што је [PyTorch](https://pytorch.org/), имате могућност да га извезете у [ONNX](https://onnx.ai/) (Open Neural Network Exchange) формат за употребу у JavaScript веб апликацијама које могу користити [Onnx Runtime](https://www.onnxruntime.ai/). Ова опција ће бити истражена у будућој лекцији за модел обучен помоћу Scikit-learn-а.
+ - **Коришћење Lobe.ai или Azure Custom Vision.** Ако користите ML SaaS (Software as a Service) систем као што су [Lobe.ai](https://lobe.ai/) или [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) за обуку модела, ова врста софтвера пружа начине за извоз модела за многе платформе, укључујући изградњу прилагођеног API-ја који се може упитати у облаку од стране ваше онлајн апликације.
+
+Такође имате могућност да изградите целу Flask веб апликацију која би могла да обучава модел директно у веб прегледачу. Ово се такође може урадити користећи TensorFlow.js у JavaScript контексту.
+
+За наше потребе, пошто смо радили са бележницама заснованим на Python-у, хајде да истражимо кораке које треба предузети да бисмо извезли обучени модел из такве бележнице у формат који је читљив за Python веб апликацију.
+
+## Алат
+
+За овај задатак потребна су вам два алата: Flask и Pickle, оба која раде на Python-у.
+
+✅ Шта је [Flask](https://palletsprojects.com/p/flask/)? Flask је дефинисан као „микро-оквир“ од стране својих креатора и пружа основне функције веб оквира користећи Python и механизам за шаблонирање за изградњу веб страница. Погледајте [овај модул за учење](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) да бисте вежбали изградњу са Flask-ом.
+
+✅ Шта је [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 је Python модул који серијализује и десеријализује структуру Python објеката. Када „пиклујете“ модел, серијализујете или спљоштите његову структуру за употребу на вебу. Будите опрезни: Pickle није инхерентно безбедан, па будите пажљиви ако вам се предложи да „распакујете“ датотеку. Pickle датотека има наставак `.pkl`.
+
+## Вежба - очистите своје податке
+
+У овој лекцији користићете податке из 80.000 УФО виђења, прикупљених од стране [NUFORC](https://nuforc.org) (Национални центар за пријаву УФО-а). Ови подаци садрже занимљиве описе УФО виђења, на пример:
+
+- **Дуг опис примера.** „Човек излази из зрака светлости који обасјава травнато поље ноћу и трчи према паркингу Texas Instruments-а“.
+- **Кратак опис примера.** „Светла су нас јурила“.
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) табела укључује колоне о `граду`, `држави` и `земљи` где се виђење догодило, облику објекта (`shape`) и његовој `географској ширини` и `дужини`.
+
+У празној [бележници](../../../../3-Web-App/1-Web-App/notebook.ipynb) која је укључена у ову лекцију:
+
+1. Увезите `pandas`, `matplotlib` и `numpy` као што сте радили у претходним лекцијама и увезите табелу са УФО подацима. Можете погледати пример скупа података:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Претворите УФО податке у мањи dataframe са новим насловима. Проверите јединствене вредности у пољу `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Сада можете смањити количину података са којима треба да радимо тако што ћете избацити све вредности које недостају и увезти само виђења у трајању од 1-60 секунди:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Увезите библиотеку `LabelEncoder` из Scikit-learn-а да бисте текстуалне вредности за земље претворили у бројеве:
+
+ ✅ LabelEncoder кодира податке азбучним редом
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Ваши подаци би требало да изгледају овако:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Вежба - изградите свој модел
+
+Сада можете припремити податке за обуку модела тако што ћете их поделити у групе за обуку и тестирање.
+
+1. Изаберите три карактеристике које желите да користите за обуку као свој X вектор, док ће y вектор бити `Country`. Желите да унесете `Seconds`, `Latitude` и `Longitude` и добијете ID земље као резултат.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Обучите свој модел користећи логистичку регресију:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Тачност није лоша **(око 95%)**, што није изненађујуће, јер `Country` и `Latitude/Longitude` корелирају.
+
+Модел који сте креирали није баш револуционаран, јер би требало да можете да закључите `Country` из његове `Latitude` и `Longitude`, али је добра вежба покушати обучити модел од сирових података које сте очистили, извезли и затим користили у веб апликацији.
+
+## Вежба - „пиклујте“ свој модел
+
+Сада је време да _пиклујете_ свој модел! То можете урадити у неколико линија кода. Када је модел _пиклован_, учитајте га и тестирајте на пример подацима који садрже вредности за секунде, географску ширину и дужину.
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Модел враћа **'3'**, што је код земље за Велику Британију. Невероватно! 👽
+
+## Вежба - изградите Flask апликацију
+
+Сада можете изградити Flask апликацију која ће позивати ваш модел и враћати сличне резултате, али на визуелно привлачнији начин.
+
+1. Почните тако што ћете креирати фасциклу под називом **web-app** поред датотеке _notebook.ipynb_ где се налази ваша _ufo-model.pkl_ датотека.
+
+1. У тој фасцикли креирајте још три фасцикле: **static**, са фасциклом **css** унутар ње, и **templates**. Сада би требало да имате следеће датотеке и директоријуме:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Погледајте решење у фасцикли за преглед готове апликације
+
+1. Прва датотека коју треба креирати у фасцикли _web-app_ је **requirements.txt**. Као _package.json_ у JavaScript апликацији, ова датотека наводи зависности које су потребне апликацији. У **requirements.txt** додајте линије:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Сада покрените ову датотеку тако што ћете отићи у фасциклу _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. У вашем терминалу укуцајте `pip install`, да бисте инсталирали библиотеке наведене у _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Сада сте спремни да креирате још три датотеке за завршетак апликације:
+
+ 1. Креирајте **app.py** у корену.
+ 2. Креирајте **index.html** у фасцикли _templates_.
+ 3. Креирајте **styles.css** у фасцикли _static/css_.
+
+1. Направите _styles.css_ датотеку са неколико стилова:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Затим направите _index.html_ датотеку:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Погледајте шаблонирање у овој датотеци. Приметите „mustache“ синтаксу око променљивих које ће бити обезбеђене од стране апликације, као што је текст предвиђања: `{{}}`. Такође постоји форма која шаље предвиђање на руту `/predict`. + + Коначно, спремни сте да изградите Python датотеку која управља коришћењем модела и приказом предвиђања: + +1. У `app.py` додајте: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Савет: када додате [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) док покрећете веб апликацију користећи Flask, све промене које направите у вашој апликацији биће одмах видљиве без потребе за поновним покретањем сервера. Пазите! Немојте омогућити овај режим у продукцијској апликацији. + +Ако покренете `python app.py` или `python3 app.py` - ваш веб сервер ће се покренути локално, и можете попунити кратку форму да добијете одговор на ваше горуће питање о томе где су УФО-и виђени! + +Пре него што то урадите, погледајте делове `app.py`: + +1. Прво се учитавају зависности и апликација се покреће. +1. Затим се модел увози. +1. Затим се `index.html` рендерује на почетној рути. + +На рути `/predict`, дешава се неколико ствари када се форма пошаље: + +1. Променљиве из форме се прикупљају и претварају у numpy низ. Оне се затим шаљу моделу и враћа се предвиђање. +2. Земље које желимо да прикажемо се поново рендерују као читљив текст из њиховог предвиђеног кода земље, и та вредност се шаље назад у `index.html` да би се рендеровала у шаблону. + +Коришћење модела на овај начин, са Flask-ом и пиклованим моделом, је релативно једноставно. Најтежа ствар је разумети у ком облику подаци морају бити послати моделу да би се добило предвиђање. То све зависи од тога како је модел обучен. Овај модел захтева три тачке података за унос како би се добило предвиђање. + +У професионалном окружењу, можете видети колико је добра комуникација неопходна између људи који обучавају модел и оних који га користе у веб или мобилној апликацији. У нашем случају, то је само једна особа - ви! + +--- + +## 🚀 Изазов + +Уместо рада у бележници и увоза модела у Flask апликацију, могли бисте обучити модел директно у Flask апликацији! Покушајте да конвертујете свој Python код из бележнице, можда након што очистите податке, како бисте обучили модел директно у апликацији на рути под називом `train`. Које су предности и мане овог приступа? + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Постоји много начина за изградњу веб апликације која користи ML моделе. Направите списак начина на које бисте могли користити JavaScript или Python за изградњу веб апликације која користи машинско учење. Размотрите архитектуру: да ли модел треба да остане у апликацији или да буде у облаку? Ако је у облаку, како бисте му приступили? Нацртајте архитектонски модел за примену ML решења у веб апликацији. + +## Задатак + +[Испробајте другачији модел](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/3-Web-App/1-Web-App/assignment.md b/translations/sr/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 00000000..21ba78ce --- /dev/null +++ b/translations/sr/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,25 @@ + +# Пробајте другачији модел + +## Упутства + +Сада када сте направили једну веб апликацију користећи обучени Регресиони модел, искористите један од модела из претходног часа о Регресији да поново направите ову веб апликацију. Можете задржати стил или га дизајнирати другачије како би одражавао податке о бундевама. Водите рачуна да промените уносе како би одговарали методи обуке вашег модела. + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| -------------------------- | ------------------------------------------------------ | ------------------------------------------------------- | ------------------------------------ | +| | Веб апликација ради како се очекује и постављена је у облак | Веб апликација садржи грешке или показује неочекиване резултате | Веб апликација не функционише исправно | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/3-Web-App/README.md b/translations/sr/3-Web-App/README.md new file mode 100644 index 00000000..fee9464c --- /dev/null +++ b/translations/sr/3-Web-App/README.md @@ -0,0 +1,35 @@ + +# Направите веб апликацију за коришћење вашег ML модела + +У овом делу курикулума, бићете упознати са применом машинског учења: како да сачувате ваш Scikit-learn модел као датотеку која може да се користи за предвиђања унутар веб апликације. Када модел буде сачуван, научићете како да га користите у веб апликацији направљеној у Flask-у. Прво ћете креирати модел користећи податке који се односе на виђења НЛО-а! Затим ћете направити веб апликацију која ће вам омогућити да унесете број секунди, као и вредности географске ширине и дужине, како бисте предвидели која земља је пријавила виђење НЛО-а. + + + +Фотографија од Мајкл Херен на Unsplash + +## Лекције + +1. [Направите веб апликацију](1-Web-App/README.md) + +## Кредити + +"Направите веб апликацију" је написано са ♥️ од стране [Џен Лупер](https://twitter.com/jenlooper). + +♥️ Квизове је написао Рохан Рај. + +Скуп података је преузет са [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +Архитектура веб апликације је делимично предложена у [овом чланку](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) и [овом репозиторијуму](https://github.com/abhinavsagar/machine-learning-deployment) од Абхинав Сагара. + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да превод буде тачан, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/1-Introduction/README.md b/translations/sr/4-Classification/1-Introduction/README.md new file mode 100644 index 00000000..076d29fd --- /dev/null +++ b/translations/sr/4-Classification/1-Introduction/README.md @@ -0,0 +1,313 @@ + +# Увод у класификацију + +У овим четири лекције, истражићете основни аспект класичног машинског учења - _класификацију_. Проћи ћемо кроз употребу различитих алгоритама класификације са скупом података о свим сјајним кухињама Азије и Индије. Надамо се да сте гладни! + + + +> Прославите паназијске кухиње у овим лекцијама! Слика: [Џен Лупер](https://twitter.com/jenlooper) + +Класификација је облик [надгледаног учења](https://wikipedia.org/wiki/Supervised_learning) који има много заједничког са техникама регресије. Ако је машинско учење усмерено на предвиђање вредности или имена ствари користећи скупове података, онда класификација генерално спада у две групе: _бинарна класификација_ и _вишекласна класификација_. + +[](https://youtu.be/eg8DJYwdMyg "Увод у класификацију") + +> 🎥 Кликните на слику изнад за видео: Џон Гуттаг са МИТ-а представља класификацију + +Запамтите: + +- **Линеарна регресија** вам је помогла да предвидите односе између променљивих и направите тачна предвиђања о томе где ће нова тачка података пасти у односу на ту линију. На пример, могли сте да предвидите _која ће цена бундеве бити у септембру у односу на децембар_. +- **Логистичка регресија** вам је помогла да откријете "бинарне категорије": на овом ценовном нивоу, _да ли је ова бундева наранџаста или није_? + +Класификација користи различите алгоритме за одређивање других начина за утврђивање етикете или класе тачке података. Радимо са овим подацима о кухињама да бисмо видели да ли, посматрајући групу састојака, можемо утврдити њихово порекло. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Ова лекција је доступна на R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Увод + +Класификација је једна од основних активности истраживача машинског учења и научника за податке. Од основне класификације бинарне вредности ("да ли је овај имејл спам или није?"), до сложене класификације слика и сегментације користећи компјутерски вид, увек је корисно бити у могућности да сортирате податке у класе и постављате питања о њима. + +Научно речено, ваш метод класификације креира предиктивни модел који вам омогућава да мапирате однос између улазних променљивих и излазних променљивих. + + + +> Бинарни и вишекласни проблеми за алгоритме класификације. Инфографика: [Џен Лупер](https://twitter.com/jenlooper) + +Пре него што започнемо процес чишћења наших података, њихове визуализације и припреме за задатке машинског учења, научимо мало о различитим начинима на које машинско учење може бити коришћено за класификацију података. + +Изведена из [статистике](https://wikipedia.org/wiki/Statistical_classification), класификација користећи класично машинско учење користи карактеристике, као што су `пушач`, `тежина` и `године` да би утврдила _вероватноћу развоја X болести_. Као техника надгледаног учења слична вежбама регресије које сте раније радили, ваши подаци су означени, а алгоритми машинског учења користе те ознаке да класификују и предвиђају класе (или 'карактеристике') скупа података и додељују их групи или исходу. + +✅ Замислите скуп података о кухињама. Шта би модел вишекласне класификације могао да одговори? Шта би модел бинарне класификације могао да одговори? Шта ако желите да утврдите да ли је одређена кухиња вероватно користила пискавицу? Шта ако желите да видите да ли, уз поклон торбе пуне звезданог аниса, артичока, карфиола и рена, можете направити типично индијско јело? + +[](https://youtu.be/GuTeDbaNoEU "Луде мистериозне корпе") + +> 🎥 Кликните на слику изнад за видео. Цела премиса емисије 'Chopped' је 'мистериозна корпа' где кувари морају да направе јело од насумичног избора састојака. Сигурно би модел машинског учења помогао! + +## Здраво 'класификаторе' + +Питање које желимо да поставимо о овом скупу података о кухињама је заправо **вишекласно питање**, јер имамо неколико потенцијалних националних кухиња са којима радимо. Узимајући групу састојака, којој од ових многих класа ће подаци припадати? + +Scikit-learn нуди неколико различитих алгоритама за класификацију података, у зависности од врсте проблема који желите да решите. У наредне две лекције, научићете о неколико ових алгоритама. + +## Вежба - очистите и избалансирајте своје податке + +Први задатак, пре него што започнете овај пројекат, је да очистите и **избалансирате** своје податке како бисте добили боље резултате. Почните са празним _notebook.ipynb_ фајлом у корену овог директоријума. + +Прва ствар коју треба инсталирати је [imblearn](https://imbalanced-learn.org/stable/). Ово је Scikit-learn пакет који ће вам омогућити боље балансирање података (о овом задатку ћете научити више за тренутак). + +1. Да бисте инсталирали `imblearn`, покрените `pip install`, овако: + + ```python + pip install imblearn + ``` + +1. Увезите пакете који су вам потребни за увоз ваших података и њихову визуализацију, такође увезите `SMOTE` из `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Сада сте спремни да увезете податке. + +1. Следећи задатак је да увезете податке: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Коришћење `read_csv()` ће прочитати садржај csv фајла _cusines.csv_ и поставити га у променљиву `df`. + +1. Проверите облик података: + + ```python + df.head() + ``` + + Првих пет редова изгледа овако: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Добијте информације о овим подацима позивајући `info()`: + + ```python + df.info() + ``` + + Ваш излаз изгледа овако: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Вежба - учење о кухињама + +Сада рад постаје занимљивији. Хајде да откријемо расподелу података по кухињама. + +1. Прикажите податке као траке позивајући `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Постоји ограничен број кухиња, али расподела података је неравномерна. Можете то поправити! Пре него што то урадите, истражите мало више. + +1. Сазнајте колико података је доступно по кухињи и испишите их: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + излаз изгледа овако: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Откривање састојака + +Сада можете дубље истражити податке и сазнати који су типични састојци по кухињи. Требало би да очистите поновљене податке који стварају конфузију између кухиња, па хајде да научимо о овом проблему. + +1. Направите функцију `create_ingredient()` у Python-у за креирање dataframe-а састојака. Ова функција ће започети уклањањем некорисне колоне и сортирањем састојака по њиховом броју: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Сада можете користити ту функцију да добијете идеју о десет најпопуларнијих састојака по кухињи. + +1. Позовите `create_ingredient()` и прикажите резултате позивајући `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Урадите исто за јапанске податке: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Сада за кинеске састојке: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Прикажите индијске састојке: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. На крају, прикажите корејске састојке: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Сада уклоните најчешће састојке који стварају конфузију између различитих кухиња, позивајући `drop()`: + + Сви воле пиринач, бели лук и ђумбир! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Балансирање скупа података + +Сада када сте очистили податке, користите [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Техника синтетичког прекомерног узорковања мањинских класа" - да их избалансирате. + +1. Позовите `fit_resample()`, ова стратегија генерише нове узорке интерполацијом. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Балансирањем ваших података, добићете боље резултате приликом класификације. Размислите о бинарној класификацији. Ако је већина ваших података једна класа, модел машинског учења ће чешће предвиђати ту класу, само зато што има више података за њу. Балансирање података уклања ову неравнотежу. + +1. Сада можете проверити број ознака по састојку: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Ваш излаз изгледа овако: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Подаци су лепи, чисти, избалансирани и веома укусни! + +1. Последњи корак је да сачувате ваше избалансиране податке, укључујући ознаке и карактеристике, у нови dataframe који можете извозити у фајл: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Можете још једном погледати податке користећи `transformed_df.head()` и `transformed_df.info()`. Сачувајте копију ових података за употребу у будућим лекцијама: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + Овај свеж CSV сада се може наћи у коренском директоријуму података. + +--- + +## 🚀Изазов + +Овај курикулум садржи неколико занимљивих скупова података. Претражите директоријуме `data` и видите да ли неки садрже скупове података који би били погодни за бинарну или вишекласну класификацију? Која питања бисте поставили о овом скупу података? + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Истражите SMOTE API. За које случајеве употребе је најбоље коришћен? Које проблеме решава? + +## Задатак + +[Истражите методе класификације](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/1-Introduction/assignment.md b/translations/sr/4-Classification/1-Introduction/assignment.md new file mode 100644 index 00000000..82c6fc16 --- /dev/null +++ b/translations/sr/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Истражите методе класификације + +## Упутства + +У [документацији за Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) можете пронаћи велики списак начина за класификацију података. Направите мало истраживање у овој документацији: ваш циљ је да пронађете методе класификације и повежете их са скупом података из овог курикулума, питањем које можете поставити о њему и техником класификације. Направите табелу или таблицу у .doc фајлу и објасните како би скуп података функционисао са алгоритмом класификације. + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребна побољшања | +| ---------- | ----------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | представљен је документ који обухвата 5 алгоритама заједно са техником класификације. Преглед је добро објашњен и детаљан. | представљен је документ који обухвата 3 алгоритма заједно са техником класификације. Преглед је добро објашњен и детаљан. | представљен је документ који обухвата мање од три алгоритма заједно са техником класификације, а преглед није добро објашњен нити детаљан. | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/1-Introduction/solution/Julia/README.md b/translations/sr/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..f6db19d2 --- /dev/null +++ b/translations/sr/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/2-Classifiers-1/README.md b/translations/sr/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 00000000..10a92b06 --- /dev/null +++ b/translations/sr/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,253 @@ + +# Класификатори кухиња 1 + +У овом часу, користићете скуп података који сте сачували из претходног часа, пун уравнотежених и чистих података о кухињама. + +Користићете овај скуп података са различитим класификаторима да _предвидите одређену националну кухињу на основу групе састојака_. Док то радите, научићете више о неким начинима на које алгоритми могу бити коришћени за задатке класификације. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) +# Припрема + +Под претпоставком да сте завршили [Час 1](../1-Introduction/README.md), уверите се да датотека _cleaned_cuisines.csv_ постоји у коренском `/data` фолдеру за ова четири часа. + +## Вежба - предвидите националну кухињу + +1. Радите у фолдеру _notebook.ipynb_ овог часа, увезите ту датотеку заједно са библиотеком Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Подаци изгледају овако: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Сада увезите још неколико библиотека: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Поделите X и y координате у два датафрејма за тренинг. `cuisine` може бити датафрејм са ознакама: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Изгледаће овако: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Избаците колону `Unnamed: 0` и колону `cuisine`, користећи `drop()`. Сачувајте остатак података као карактеристике за тренинг: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Ваше карактеристике изгледају овако: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +Сада сте спремни да обучите свој модел! + +## Избор класификатора + +Сада када су ваши подаци чисти и спремни за тренинг, морате одлучити који алгоритам да користите за задатак. + +Scikit-learn групише класификацију под Надгледано учење, и у тој категорији ћете пронаћи много начина за класификацију. [Разноврсност](https://scikit-learn.org/stable/supervised_learning.html) може изгледати збуњујуће на први поглед. Следеће методе укључују технике класификације: + +- Линеарни модели +- Машине за подршку векторима +- Стохастички градијентни спуст +- Најближи суседи +- Гаусови процеси +- Дрвеће одлука +- Методе ансамбла (гласајући класификатор) +- Алгоритми за више класа и више излаза (класификација више класа и више ознака, класификација више класа-више излаза) + +> Такође можете користити [неуронске мреже за класификацију података](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification), али то је ван оквира овог часа. + +### Који класификатор одабрати? + +Па, који класификатор треба да изаберете? Често је тестирање неколико њих и тражење доброг резултата начин да се испроба. Scikit-learn нуди [упоредни приказ](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html) на креираном скупу података, упоређујући KNeighbors, SVC на два начина, GaussianProcessClassifier, DecisionTreeClassifier, RandomForestClassifier, MLPClassifier, AdaBoostClassifier, GaussianNB и QuadraticDiscrinationAnalysis, приказујући резултате визуализоване: + + +> Графикони генерисани у документацији Scikit-learn-а + +> AutoML решава овај проблем елегантно тако што врши ова поређења у облаку, омогућавајући вам да изаберете најбољи алгоритам за ваше податке. Пробајте [овде](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) + +### Бољи приступ + +Бољи начин од насумичног погађања је да следите идеје из овог преузимљивог [ML Cheat sheet](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott). Овде откривамо да, за наш проблем са више класа, имамо неке опције: + + +> Део Microsoft-ове чит листе алгоритама, који детаљно описује опције класификације више класа + +✅ Преузмите ову чит листу, одштампајте је и окачите на зид! + +### Размишљање + +Хајде да видимо да ли можемо да размишљамо о различитим приступима с обзиром на ограничења која имамо: + +- **Неуронске мреже су превише захтевне**. С обзиром на наш чист, али минималан скуп података, и чињеницу да тренинг изводимо локално преко нотебука, неуронске мреже су превише захтевне за овај задатак. +- **Нема класификатора за две класе**. Не користимо класификатор за две класе, тако да то искључује one-vs-all. +- **Дрво одлука или логистичка регресија би могли да раде**. Дрво одлука би могло да ради, или логистичка регресија за податке са више класа. +- **Побољшана дрва одлука за више класа решавају другачији проблем**. Побољшано дрво одлука за више класа је најпогодније за непараметарске задатке, нпр. задатке дизајниране за креирање рангирања, тако да нам није корисно. + +### Коришћење Scikit-learn-а + +Користићемо Scikit-learn за анализу наших података. Међутим, постоји много начина за коришћење логистичке регресије у Scikit-learn-у. Погледајте [параметре за прослеђивање](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +У суштини, постоје два важна параметра - `multi_class` и `solver` - које треба да наведемо када тражимо од Scikit-learn-а да изврши логистичку регресију. Вредност `multi_class` примењује одређено понашање. Вредност solver-а је алгоритам који се користи. Не могу се сви solver-и упарити са свим вредностима `multi_class`. + +Према документацији, у случају више класа, алгоритам за тренинг: + +- **Користи шему one-vs-rest (OvR)**, ако је опција `multi_class` постављена на `ovr` +- **Користи губитак унакрсне ентропије**, ако је опција `multi_class` постављена на `multinomial`. (Тренутно је опција `multinomial` подржана само од стране solver-а ‘lbfgs’, ‘sag’, ‘saga’ и ‘newton-cg’.)" + +> 🎓 'Шема' овде може бити 'ovr' (one-vs-rest) или 'multinomial'. Пошто је логистичка регресија заправо дизајнирана да подржи бинарну класификацију, ове шеме јој омогућавају да боље обради задатке класификације више класа. [извор](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 'Solver' је дефинисан као "алгоритам који се користи у проблему оптимизације". [извор](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn нуди ову табелу да објасни како solver-и решавају различите изазове које представљају различите врсте структура података: + + + +## Вежба - поделите податке + +Можемо се фокусирати на логистичку регресију за наш први тренинг, пошто сте недавно научили о њој у претходном часу. +Поделите своје податке у групе за тренинг и тестирање позивањем `train_test_split()`: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## Вежба - примените логистичку регресију + +Пошто користите случај више класа, потребно је да изаберете коју _шему_ да користите и који _solver_ да поставите. Користите LogisticRegression са подешавањем више класа и **liblinear** solver-ом за тренинг. + +1. Креирајте логистичку регресију са multi_class постављеним на `ovr` и solver-ом постављеним на `liblinear`: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ Пробајте другачији solver као што је `lbfgs`, који је често постављен као подразумеван +> Напомена, користите Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) функцију за изравнавање ваших података када је то потребно. +Тачност је добра, преко **80%**! + +1. Можете видети овај модел у акцији тестирањем једног реда података (#50): + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + Резултат се исписује: + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ Пробајте други број реда и проверите резултате. + +1. Ако желите да истражите дубље, можете проверити тачност ове предикције: + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + Резултат се исписује - индијска кухиња је најбоља претпоставка, са добром вероватноћом: + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ Можете ли објаснити зашто је модел прилично сигуран да је ово индијска кухиња? + +1. Добијте више детаља исписивањем извештаја о класификацији, као што сте радили у лекцијама о регресији: + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | прецизност | одзив | f1-резултат | подршка | + | ------------ | ---------- | ----- | ----------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | тачност | 0.80 | 1199 | | | + | макро просек | 0.80 | 0.80 | 0.80 | 1199 | + | пондерисан просек | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀Изазов + +У овој лекцији, користили сте очишћене податке за изградњу модела машинског учења који може предвидети националну кухињу на основу серије састојака. Одвојите време да прочитате многе опције које Scikit-learn пружа за класификацију података. Истражите дубље концепт 'solver'-а да бисте разумели шта се дешава иза сцене. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Истражите мало више математику иза логистичке регресије у [овој лекцији](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) +## Задатак + +[Проучите решаваче](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/2-Classifiers-1/assignment.md b/translations/sr/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 00000000..b52fb8f9 --- /dev/null +++ b/translations/sr/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,24 @@ + +# Проучите решаваче +## Упутства + +У овој лекцији сте научили о различитим решавачима који комбинују алгоритме са процесом машинског учења како би створили прецизан модел. Прођите кроз решаваче наведене у лекцији и изаберите два. Својим речима упоредите и супротставите ова два решавача. Који тип проблема решавају? Како раде са различитим структурама података? Зашто бисте изабрали један уместо другог? + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ---------- | -------------------------------------------------------------------------------------------- | ----------------------------------------------- | ---------------------------- | +| | Представљен је .doc фајл са два пасуса, по један за сваки решавач, уз промишљено поређење. | Представљен је .doc фајл са само једним пасусом | Задатак је непотпун | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/sr/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 00000000..5ba2579f --- /dev/null +++ b/translations/sr/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/3-Classifiers-2/README.md b/translations/sr/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 00000000..a7f90114 --- /dev/null +++ b/translations/sr/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,249 @@ + +# Класификатори кухиња 2 + +У овој другој лекцији о класификацији, истражићете више начина за класификацију нумеричких података. Такође ћете научити о последицама избора једног класификатора у односу на други. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +### Предуслови + +Претпостављамо да сте завршили претходне лекције и да имате очишћен скуп података у вашем фолдеру `data` под називом _cleaned_cuisines.csv_ у корену овог фолдера са 4 лекције. + +### Припрема + +Учитали смо ваш фајл _notebook.ipynb_ са очишћеним скупом података и поделили га на X и y оквире података, спремне за процес изградње модела. + +## Мапа класификације + +Претходно сте научили о различитим опцијама које имате приликом класификације података користећи Microsoft-ов „cheat sheet“. Scikit-learn нуди сличан, али детаљнији „cheat sheet“ који вам може додатно помоћи да сузите избор класификатора (други термин за класификаторе): + + +> Савет: [погледајте ову мапу онлајн](https://scikit-learn.org/stable/tutorial/machine_learning_map/) и кликните дуж путање да бисте прочитали документацију. + +### План + +Ова мапа је веома корисна када имате јасну представу о вашим подацима, јер можете „ходати“ дуж њених путања до одлуке: + +- Имамо >50 узорака +- Желимо да предвидимо категорију +- Имамо означене податке +- Имамо мање од 100.000 узорака +- ✨ Можемо изабрати Linear SVC +- Ако то не ради, пошто имамо нумеричке податке + - Можемо пробати ✨ KNeighbors Classifier + - Ако то не ради, пробајте ✨ SVC и ✨ Ensemble Classifiers + +Ово је веома корисна путања коју треба пратити. + +## Вежба - поделите податке + +Пратећи ову путању, требало би да почнемо увозом неких библиотека за коришћење. + +1. Увезите потребне библиотеке: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +2. Поделите ваше податке на тренинг и тест: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC класификатор + +Support-Vector Clustering (SVC) је део породице техника машинског учења Support-Vector Machines (СВМ) (више о томе у наставку). У овом методу, можете изабрати „kernel“ да одлучите како да групишете ознаке. Параметар 'C' се односи на 'регуларизацију', која регулише утицај параметара. Kernel може бити један од [неколико](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); овде га постављамо на 'linear' како бисмо искористили Linear SVC. Вероватноћа је подразумевано 'false'; овде је постављамо на 'true' како бисмо добили процене вероватноће. Постављамо random state на '0' како бисмо измешали податке за добијање вероватноћа. + +### Вежба - примените Linear SVC + +Почните са креирањем низа класификатора. Додаваћете постепено у овај низ како будемо тестирали. + +1. Почните са Linear SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Тренирајте ваш модел користећи Linear SVC и испишите извештај: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Резултат је прилично добар: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors класификатор + +K-Neighbors је део породице метода машинског учења „neighbors“, које се могу користити за надгледано и ненадгледано учење. У овом методу, унапред дефинисан број тачака се креира, а подаци се групишу око тих тачака тако да се могу предвидети генерализоване ознаке за податке. + +### Вежба - примените K-Neighbors класификатор + +Претходни класификатор је био добар и добро је радио са подацима, али можда можемо добити бољу тачност. Пробајте K-Neighbors класификатор. + +1. Додајте линију у ваш низ класификатора (додајте зарез након Linear SVC ставке): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Резултат је мало лошији: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Сазнајте више о [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Support Vector Classifier + +Support-Vector класификатори су део породице метода машинског учења [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) које се користе за задатке класификације и регресије. СВМ-ови „мапирају примере тренинга у тачке у простору“ како би максимизовали удаљеност између две категорије. Накнадни подаци се мапирају у овај простор како би се предвидела њихова категорија. + +### Вежба - примените Support Vector Classifier + +Покушајмо да добијемо мало бољу тачност са Support Vector Classifier. + +1. Додајте зарез након K-Neighbors ставке, а затим додајте ову линију: + + ```python + 'SVC': SVC(), + ``` + + Резултат је прилично добар! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Сазнајте више о [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Ensemble класификатори + +Хајде да пратимо путању до самог краја, иако је претходни тест био прилично добар. Пробајмо неке 'Ensemble класификаторе', конкретно Random Forest и AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Резултат је веома добар, посебно за Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Сазнајте више о [Ensemble класификаторима](https://scikit-learn.org/stable/modules/ensemble.html) + +Овај метод машинског учења „комбинује предвиђања неколико основних процењивача“ како би побољшао квалитет модела. У нашем примеру, користили смо Random Trees и AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), метод просечавања, гради „шуму“ од „одлука дрвећа“ са додатком случајности како би се избегло пренапасавање. Параметар n_estimators је подешен на број стабала. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) прилагођава класификатор скупу података, а затим прилагођава копије тог класификатора истом скупу података. Фокусира се на тежине погрешно класификованих ставки и прилагођава следећи класификатор како би исправио грешке. + +--- + +## 🚀Изазов + +Свака од ових техника има велики број параметара које можете подесити. Истражите подразумеване параметре сваке од њих и размислите шта би значило подешавање тих параметара за квалитет модела. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +У овим лекцијама има доста жаргона, па одвојите минут да прегледате [ову листу](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) корисне терминологије! + +## Задатак + +[Играње са параметрима](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/3-Classifiers-2/assignment.md b/translations/sr/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 00000000..0f7eea1b --- /dev/null +++ b/translations/sr/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,25 @@ + +# Параметарска игра + +## Упутства + +Постоји много параметара који су подразумевано постављени када радите са овим класификаторима. Интелисенс у VS Code-у може вам помоћи да их истражите. Усвојите једну од техника машинског учења за класификацију из овог часа и поново обучите моделе мењајући различите вредности параметара. Направите бележницу у којој ћете објаснити зашто неке промене побољшавају квалитет модела, док друге погоршавају. Будите детаљни у свом одговору. + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ---------- | --------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------- | ------------------------------ | +| | Представљена је бележница са потпуно изграђеним класификатором, подешеним параметрима и објашњењима у текстуалним оквирима | Бележница је делимично представљена или лоше објашњена | Бележница је баговита или неисправна | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/sr/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 00000000..469bf164 --- /dev/null +++ b/translations/sr/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/4-Applied/README.md b/translations/sr/4-Classification/4-Applied/README.md new file mode 100644 index 00000000..2be68c3b --- /dev/null +++ b/translations/sr/4-Classification/4-Applied/README.md @@ -0,0 +1,329 @@ + +# Направите веб апликацију за препоруку кухиње + +У овом часу, направићете модел класификације користећи неке од техника које сте научили у претходним лекцијама, уз помоћ укусног скупа података о кухињама који се користио током ове серије. Поред тога, направићете малу веб апликацију која користи сачувани модел, користећи Onnx веб рунтајм. + +Једна од најкориснијих практичних примена машинског учења је изградња система за препоруке, и данас можете направити први корак у том правцу! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Кликните на слику изнад за видео: Џен Лупер прави веб апликацију користећи класификоване податке о кухињама + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +У овом часу ћете научити: + +- Како направити модел и сачувати га као Onnx модел +- Како користити Netron за преглед модела +- Како користити ваш модел у веб апликацији за инференцију + +## Направите свој модел + +Изградња примењених ML система је важан део коришћења ових технологија за ваше пословне системе. Моделе можете користити унутар ваших веб апликација (и тако их користити у офлајн контексту ако је потребно) користећи Onnx. + +У [претходном часу](../../3-Web-App/1-Web-App/README.md), направили сте регресиони модел о виђењима НЛО-а, "пикловали" га и користили у Flask апликацији. Иако је ова архитектура веома корисна за познавање, то је апликација са пуним стеком у Python-у, а ваши захтеви могу укључивати употребу JavaScript апликације. + +У овом часу, можете направити основни систем заснован на JavaScript-у за инференцију. Прво, међутим, потребно је да обучите модел и конвертујете га за употребу са Onnx-ом. + +## Вежба - обучите модел класификације + +Прво, обучите модел класификације користећи очишћени скуп података о кухињама који смо користили. + +1. Почните увозом корисних библиотека: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Потребан вам је '[skl2onnx](https://onnx.ai/sklearn-onnx/)' да бисте помогли у конверзији вашег Scikit-learn модела у Onnx формат. + +1. Затим, радите са вашим подацима на исти начин као у претходним часовима, читајући CSV фајл користећи `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Уклоните прве две непотребне колоне и сачувајте преостале податке као 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Сачувајте ознаке као 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Започните рутину тренинга + +Користићемо библиотеку 'SVC' која има добру тачност. + +1. Увезите одговарајуће библиотеке из Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Одвојите сетове за тренинг и тестирање: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Направите SVC модел класификације као што сте урадили у претходном часу: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Сада тестирајте ваш модел, позивајући `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Испишите извештај о класификацији да проверите квалитет модела: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Као што смо видели раније, тачност је добра: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Конвертујте ваш модел у Onnx + +Уверите се да сте извршили конверзију са одговарајућим бројем тензора. Овај скуп података има 380 састојака, па је потребно да наведете тај број у `FloatTensorType`: + +1. Конвертујте користећи број тензора 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Направите onx и сачувајте као фајл **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Напомена, можете проследити [опције](https://onnx.ai/sklearn-onnx/parameterized.html) у вашем скрипту за конверзију. У овом случају, поставили смо 'nocl' да буде True и 'zipmap' да буде False. Пошто је ово модел класификације, имате опцију да уклоните ZipMap који производи листу речника (није неопходно). `nocl` се односи на информације о класи које су укључене у модел. Смањите величину вашег модела постављањем `nocl` на 'True'. + +Извршавање целог нотебука сада ће направити Onnx модел и сачувати га у овај фолдер. + +## Прегледајте ваш модел + +Onnx модели нису баш видљиви у Visual Studio Code-у, али постоји веома добар бесплатан софтвер који многи истраживачи користе за визуализацију модела како би се уверили да је правилно направљен. Преузмите [Netron](https://github.com/lutzroeder/Netron) и отворите ваш model.onnx фајл. Можете видети ваш једноставан модел визуализован, са његових 380 улаза и класификатором: + + + +Netron је користан алат за преглед ваших модела. + +Сада сте спремни да користите овај занимљив модел у веб апликацији. Направимо апликацију која ће бити корисна када погледате у ваш фрижидер и покушате да схватите коју комбинацију ваших преосталих састојака можете користити за припрему одређене кухиње, како је одредио ваш модел. + +## Направите веб апликацију за препоруке + +Можете користити ваш модел директно у веб апликацији. Ова архитектура такође омогућава да га покренете локално и чак офлајн ако је потребно. Почните креирањем фајла `index.html` у истом фолдеру где сте сачували ваш `model.onnx` фајл. + +1. У овом фајлу _index.html_, додајте следећи маркуп: + + ```html + + + + + + ... + + + ``` + +1. Сада, радећи унутар `body` тагова, додајте мало маркупа да прикажете листу чекбокса који одражавају неке састојке: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Приметите да је сваком чекбоксу додељена вредност. Ово одражава индекс где се састојак налази према скупу података. На пример, јабука у овој азбучној листи заузима пету колону, па је њена вредност '4' јер почињемо бројати од 0. Можете консултовати [табелу састојака](../../../../4-Classification/data/ingredient_indexes.csv) да откријете индекс датог састојка. + + Настављајући рад у index.html фајлу, додајте блок скрипте где се модел позива након завршног затварајућег ``. + +1. Прво, увезите [Onnx Runtime](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime се користи за омогућавање покретања ваших Onnx модела на широком спектру хардверских платформи, укључујући оптимизације и API за употребу. + +1. Када је Runtime на месту, можете га позвати: + + ```html + + ``` + +У овом коду, дешава се неколико ствари: + +1. Направили сте низ од 380 могућих вредности (1 или 0) који се постављају и шаљу моделу за инференцију, у зависности од тога да ли је чекбокс означен. +2. Направили сте низ чекбокса и начин да утврдите да ли су означени у функцији `init` која се позива када апликација почне. Када је чекбокс означен, низ `ingredients` се мења да одражава изабрани састојак. +3. Направили сте функцију `testCheckboxes` која проверава да ли је било који чекбокс означен. +4. Користите функцију `startInference` када се притисне дугме и, ако је било који чекбокс означен, започињете инференцију. +5. Рутина инференције укључује: + 1. Постављање асинхроног учитавања модела + 2. Креирање Tensor структуре за слање моделу + 3. Креирање 'feeds' који одражавају `float_input` улаз који сте креирали приликом тренинга вашег модела (можете користити Netron да проверите то име) + 4. Слање ових 'feeds' моделу и чекање одговора + +## Тестирајте вашу апликацију + +Отворите терминал у Visual Studio Code-у у фолдеру где се налази ваш index.html фајл. Уверите се да имате [http-server](https://www.npmjs.com/package/http-server) инсталиран глобално, и укуцајте `http-server` на промпту. Требало би да се отвори localhost и можете видети вашу веб апликацију. Проверите која кухиња се препоручује на основу различитих састојака: + + + +Честитамо, направили сте веб апликацију за препоруке са неколико поља. Одвојите мало времена да развијете овај систем! + +## 🚀Изазов + +Ваша веб апликација је веома минимална, па наставите да је развијате користећи састојке и њихове индексе из [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) података. Које комбинације укуса раде за креирање одређеног националног јела? + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Иако је ова лекција само дотакла корисност креирања система за препоруке за састојке хране, ова област примена машинског учења је веома богата примерима. Прочитајте више о томе како се ови системи граде: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Задатак + +[Направите нови систем за препоруке](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/4-Applied/assignment.md b/translations/sr/4-Classification/4-Applied/assignment.md new file mode 100644 index 00000000..df4a9e28 --- /dev/null +++ b/translations/sr/4-Classification/4-Applied/assignment.md @@ -0,0 +1,25 @@ + +# Направите препоручивач + +## Упутства + +На основу вежби из ове лекције, сада знате како да направите веб апликацију засновану на JavaScript-у користећи Onnx Runtime и конвертовани Onnx модел. Експериментишите са прављењем новог препоручивача користећи податке из ових лекција или из других извора (молимо наведите изворе). Можете, на пример, направити препоручивач кућних љубимаца на основу различитих особина личности, или препоручивач музичких жанрова на основу расположења особе. Будите креативни! + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање | +| ---------- | -------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | Представљени су веб апликација и бележница, оба добро документована и функционална | Једно од та два недостаје или има недостатке | Оба недостају или имају недостатке | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/4-Classification/README.md b/translations/sr/4-Classification/README.md new file mode 100644 index 00000000..f46a3d99 --- /dev/null +++ b/translations/sr/4-Classification/README.md @@ -0,0 +1,41 @@ + +# Почетак рада са класификацијом + +## Регионална тема: Укусна азијска и индијска кухиња 🍜 + +У Азији и Индији, традиције у храни су изузетно разноврсне и веома укусне! Погледајмо податке о регионалним кухињама како бисмо боље разумели њихове састојке. + + +> Фотографија од Лишенг Чанг на Unsplash + +## Шта ћете научити + +У овом делу, надоградићете своје претходно знање о регресији и научити о другим класификаторима које можете користити за боље разумевање података. + +> Постоје корисни алати са мало кода који вам могу помоћи да научите како да радите са моделима класификације. Пробајте [Azure ML за овај задатак](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Лекције + +1. [Увод у класификацију](1-Introduction/README.md) +2. [Више класификатора](2-Classifiers-1/README.md) +3. [Још класификатора](3-Classifiers-2/README.md) +4. [Примењени ML: направите веб апликацију](4-Applied/README.md) + +## Кредити + +"Почетак рада са класификацијом" написали су са ♥️ [Кеси Бревиу](https://www.twitter.com/cassiebreviu) и [Џен Лупер](https://www.twitter.com/jenlooper) + +Скуп података о укусним кухињама преузет је са [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/1-Visualize/README.md b/translations/sr/5-Clustering/1-Visualize/README.md new file mode 100644 index 00000000..f5496d19 --- /dev/null +++ b/translations/sr/5-Clustering/1-Visualize/README.md @@ -0,0 +1,346 @@ + +# Увод у кластеризацију + +Кластеризација је врста [ненаџираног учења](https://wikipedia.org/wiki/Unsupervised_learning) која претпоставља да је скуп података необележен или да његови уноси нису повезани са унапред дефинисаним излазима. Користи различите алгоритме за сортирање необележених података и пружа груписања на основу образаца које препознаје у подацима. + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 Кликните на слику изнад за видео. Док изучавате машинско учење са кластеризацијом, уживајте у неким нигеријским Dance Hall песмама - ово је високо оцењена песма из 2014. године од PSquare. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +### Увод + +[Кластеризација](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) је веома корисна за истраживање података. Хајде да видимо да ли може помоћи у откривању трендова и образаца у начину на који нигеријска публика конзумира музику. + +✅ Одвојите минут да размислите о употребама кластеризације. У стварном животу, кластеризација се дешава кад год имате гомилу веша и треба да сортирате одећу чланова породице 🧦👕👖🩲. У науци о подацима, кластеризација се дешава када покушавате да анализирате корисничке преференције или одредите карактеристике било ког необележеног скупа података. Кластеризација, на неки начин, помаже да се уведе ред у хаос, као у фиоци за чарапе. + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 Кликните на слику изнад за видео: Џон Гуттаг са MIT-а представља кластеризацију. + +У професионалном окружењу, кластеризација се може користити за одређивање ствари као што су сегментација тржишта, утврђивање које старосне групе купују које артикле, на пример. Друга употреба би била откривање аномалија, можда за откривање преваре из скупа података о трансакцијама кредитним картицама. Или можете користити кластеризацију за одређивање тумора у серији медицинских снимака. + +✅ Размислите минут о томе како сте можда наишли на кластеризацију 'у природи', у банкарству, е-трговини или пословном окружењу. + +> 🎓 Занимљиво је да је анализа кластера настала у областима антропологије и психологије 1930-их. Можете ли замислити како је могла бити коришћена? + +Алтернативно, можете је користити за груписање резултата претраге - на пример, по куповним линковима, сликама или рецензијама. Кластеризација је корисна када имате велики скуп података који желите да смањите и на којем желите да извршите детаљнију анализу, па се техника може користити за учење о подацима пре него што се конструишу други модели. + +✅ Када су ваши подаци организовани у кластере, додељујете им идентификатор кластера, и ова техника може бити корисна када желите да сачувате приватност скупа података; можете уместо тога да се позовете на тачку података преко њеног идентификатора кластера, а не преко откривенијих идентификационих података. Можете ли смислити друге разлоге зашто бисте се позивали на идентификатор кластера уместо на друге елементе кластера да бисте га идентификовали? + +Продубите своје разумевање техника кластеризације у овом [модулу за учење](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott). + +## Почетак рада са кластеризацијом + +[Scikit-learn нуди велики избор](https://scikit-learn.org/stable/modules/clustering.html) метода за извођење кластеризације. Тип који изаберете зависиће од вашег случаја употребе. Према документацији, свака метода има различите предности. Ево поједностављене табеле метода које подржава Scikit-learn и њихових одговарајућих случајева употребе: + +| Назив методе | Случај употребе | +| :--------------------------- | :------------------------------------------------------------------ | +| K-Means | општа намена, индуктивна | +| Affinity propagation | многи, неравномерни кластери, индуктивна | +| Mean-shift | многи, неравномерни кластери, индуктивна | +| Spectral clustering | мало, равномерни кластери, трансдуктивна | +| Ward hierarchical clustering | многи, ограничени кластери, трансдуктивна | +| Agglomerative clustering | многи, ограничени, неевклидске удаљености, трансдуктивна | +| DBSCAN | неравна геометрија, неравномерни кластери, трансдуктивна | +| OPTICS | неравна геометрија, неравномерни кластери са променљивом густином, трансдуктивна | +| Gaussian mixtures | равна геометрија, индуктивна | +| BIRCH | велики скуп података са изузецима, индуктивна | + +> 🎓 Како креирамо кластере има много везе са начином на који групишемо тачке података у групе. Хајде да разјаснимо неке термине: +> +> 🎓 ['Трансдуктивно' vs. 'индуктивно'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Трансдуктивно закључивање се изводи из посматраних случајева тренинга који се мапирају на одређене тест случајеве. Индуктивно закључивање се изводи из случајева тренинга који се мапирају на општа правила која се тек онда примењују на тест случајеве. +> +> Пример: Замислите да имате скуп података који је само делимично обележен. Неке ствари су 'плоче', неке 'цд-ови', а неке су празне. Ваш задатак је да обезбедите ознаке за празне. Ако изаберете индуктивни приступ, обучили бисте модел тражећи 'плоче' и 'цд-ове', и применили те ознаке на необележене податке. Овај приступ ће имати проблема са класификацијом ствари које су заправо 'касете'. Трансдуктивни приступ, с друге стране, ефикасније обрађује ове непознате податке јер ради на груписању сличних ставки заједно и затим примењује ознаку на групу. У овом случају, кластери би могли одражавати 'округле музичке ствари' и 'квадратне музичке ствари'. +> +> 🎓 ['Неравна' vs. 'равна' геометрија](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Изведено из математичке терминологије, неравна vs. равна геометрија односи се на мерење удаљености између тачака било 'равним' ([евклидским](https://wikipedia.org/wiki/Euclidean_geometry)) или 'неравним' (неевклидским) геометријским методама. +> +>'Равно' у овом контексту се односи на евклидску геометрију (делови које се уче као 'планарна' геометрија), а 'неравно' се односи на неевклидску геометрију. Шта геометрија има са машинским учењем? Па, као две области које су укорењене у математици, мора постојати заједнички начин мерења удаљености између тачака у кластерима, и то се може урадити на 'раван' или 'нераван' начин, у зависности од природе података. [Евклидске удаљености](https://wikipedia.org/wiki/Euclidean_distance) се мере као дужина сегмента линије између две тачке. [Неевклидске удаљености](https://wikipedia.org/wiki/Non-Euclidean_geometry) се мере дуж криве. Ако ваши подаци, визуализовани, изгледају као да не постоје на равни, можда ћете морати да користите специјализовани алгоритам за њихову обраду. +> + +> Инфографика од [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Удаљености'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Кластери су дефинисани својом матрицом удаљености, нпр. удаљеностима између тачака. Ова удаљеност се може мерити на неколико начина. Евклидски кластери су дефинисани просеком вредности тачака и садрже 'центроид' или централну тачку. Удаљености се стога мере удаљеношћу до тог центроида. Неевклидске удаљености се односе на 'кластроиде', тачку најближу другим тачкама. Кластроиди се могу дефинисати на различите начине. +> +> 🎓 ['Ограничени'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Ограничена кластеризација](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) уводи 'полу-наџирано' учење у овај ненаџирани метод. Односи између тачака су означени као 'не може се повезати' или 'мора се повезати' тако да се нека правила намећу на скуп података. +> +>Пример: Ако је алгоритам пуштен на серију необележених или полу-обележених података, кластери које производи могу бити лошег квалитета. У горњем примеру, кластери би могли груписати 'округле музичке ствари' и 'квадратне музичке ствари' и 'троугласте ствари' и 'колачиће'. Ако се дају нека ограничења, или правила која треба следити ("ставка мора бити направљена од пластике", "ставка треба да може да производи музику") то може помоћи да се 'ограничи' алгоритам да донесе боље изборе. +> +> 🎓 'Густина' +> +> Подаци који су 'шумни' сматрају се 'густим'. Удаљености између тачака у сваком од њихових кластера могу се, при испитивању, показати као више или мање густе, или 'претрпане', и стога ове податке треба анализирати одговарајућом методом кластеризације. [Овај чланак](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) демонстрира разлику између коришћења K-Means кластеризације и HDBSCAN алгоритама за истраживање шумног скупа података са неравномерном густином кластера. + +## Алгоритми кластеризације + +Постоји преко 100 алгоритама кластеризације, а њихова употреба зависи од природе података. Хајде да разговарамо о неким од главних: + +- **Хијерархијска кластеризација**. Ако се објекат класификује према његовој близини другом објекту, а не оном који је удаљенији, кластери се формирају на основу удаљености њихових чланова од других објеката. Agglomerative кластеризација у Scikit-learn-у је хијерархијска. + +  + > Инфографика од [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Кластеризација центроида**. Овај популарни алгоритам захтева избор 'k', или броја кластера који треба формирати, након чега алгоритам одређује централну тачку кластера и окупља податке око те тачке. [K-means кластеризација](https://wikipedia.org/wiki/K-means_clustering) је популарна верзија кластеризације центроида. Центар се одређује најближим просеком, отуда и назив. Квадрат удаљености од кластера се минимизира. + +  + > Инфографика од [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Кластеризација заснована на расподели**. Заснована на статистичком моделовању, кластеризација заснована на расподели се фокусира на одређивање вероватноће да тачка података припада кластеру и додељује је у складу с тим. Методи Gaussian mixture припадају овом типу. + +- **Кластеризација заснована на густини**. Тачке података се додељују кластерима на основу њихове густине, или њиховог груписања једна око друге. Тачке података далеко од групе се сматрају изузецима или шумом. DBSCAN, Mean-shift и OPTICS припадају овом типу кластеризације. + +- **Кластеризација заснована на мрежи**. За мултидимензионалне скупове података, креира се мрежа и подаци се деле међу ћелијама мреже, чиме се стварају кластери. + +## Вежба - кластеризујте своје податке + +Кластеризација као техника је значајно олакшана правилном визуализацијом, па хајде да почнемо визуализацијом наших музичких података. Ова вежба ће нам помоћи да одлучимо који од метода кластеризације најбоље одговара природи ових података. + +1. Отворите [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) датотеку у овом фолдеру. + +1. Увезите пакет `Seaborn` за добру визуализацију података. + + ```python + !pip install seaborn + ``` + +1. Додајте податке о песмама из [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Учитајте dataframe са неким подацима о песмама. Припремите се за истраживање ових података увозом библиотека и исписивањем података: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Проверите првих неколико линија података: + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0 +| 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | +| 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | +| 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Добијте неке информације о подацима, позивањем `info()`: + + ```python + df.info() + ``` + + Излаз изгледа овако: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Поново проверите да ли постоје празне вредности, позивањем `isnull()` и проверавањем да ли је збир 0: + + ```python + df.isnull().sum() + ``` + + Изгледа добро: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Опис података: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% | 2014 | 199305 | 0 | 0.681 | 0.089525 | 0.669 | 0 | 0.07565 | -6.29875 | 0.0591 | 102.96125 | 4 | + | 50% | 2016 | 218509 | 13 | 0.761 | 0.2205 | 0.7845 | 0.000004 | 0.1035 | -4.5585 | 0.09795 | 112.7145 | 4 | + | 75% | 2017 | 242098.5 | 31 | 0.8295 | 0.403 | 0.87575 | 0.000234 | 0.164 | -3.331 | 0.177 | 125.03925 | 4 | + | max | 2020 | 511738 | 73 | 0.966 | 0.954 | 0.995 | 0.91 | 0.811 | 0.582 | 0.514 | 206.007 | 5 | + +> 🤔 Ако радимо са кластерисањем, ненадгледаним методом који не захтева означене податке, зашто приказујемо ове податке са ознакама? У фази истраживања података, оне су корисне, али нису неопходне за рад алгоритама кластерисања. Могли бисмо једноставно уклонити заглавља колона и позивати се на податке по броју колоне. + +Погледајте опште вредности података. Имајте на уму да популарност може бити '0', што показује песме које немају ранг. Ускоро ћемо их уклонити. + +1. Користите стубичасти графикон да бисте сазнали који су жанрови најпопуларнији: + + ```python + import seaborn as sns + + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top[:5].index,y=top[:5].values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +  + +✅ Ако желите да видите више највиших вредности, промените `[:5]` у већу вредност или га уклоните да бисте видели све. + +Имајте на уму, када је најпопуларнији жанр описан као 'Missing', то значи да га Spotify није класификовао, па хајде да га уклонимо. + +1. Уклоните недостајуће податке филтрирањем: + + ```python + df = df[df['artist_top_genre'] != 'Missing'] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + + Сада поново проверите жанрове: + +  + +1. Три најпопуларнија жанра доминирају овим скупом података. Фокусирајмо се на `afro dancehall`, `afropop` и `nigerian pop`, додатно филтрирајући скуп података да уклонимо све са вредношћу популарности 0 (што значи да није класификовано са популарношћу у скупу података и може се сматрати шумом за наше потребе): + + ```python + df = df[(df['artist_top_genre'] == 'afro dancehall') | (df['artist_top_genre'] == 'afropop') | (df['artist_top_genre'] == 'nigerian pop')] + df = df[(df['popularity'] > 0)] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +1. Урадите брзи тест да видите да ли подаци корелирају на неки посебно јак начин: + + ```python + corrmat = df.corr(numeric_only=True) + f, ax = plt.subplots(figsize=(12, 9)) + sns.heatmap(corrmat, vmax=.8, square=True) + ``` + +  + + Једина јака корелација је између `energy` и `loudness`, што није изненађујуће, с обзиром на то да је гласна музика обично прилично енергична. У супротном, корелације су релативно слабе. Биће занимљиво видети шта алгоритам кластерисања може да направи од ових података. + + > 🎓 Имајте на уму да корелација не имплицира узрочност! Имамо доказ корелације, али немамо доказ узрочности. [Занимљив веб сајт](https://tylervigen.com/spurious-correlations) има визуализације које наглашавају ову тачку. + +Постоји ли нека конвергенција у овом скупу података око перципиране популарности песме и њене плесности? FacetGrid показује да постоје концентрични кругови који се поравнавају, без обзира на жанр. Да ли је могуће да се укуси у Нигерији конвергирају на одређеном нивоу плесности за овај жанр? + +✅ Испробајте различите тачке података (енергија, гласноћа, говорност) и више или различитих музичких жанрова. Шта можете открити? Погледајте табелу `df.describe()` да видите општи распон тачака података. + +### Вежба - расподела података + +Да ли се ова три жанра значајно разликују у перцепцији њихове плесности, на основу њихове популарности? + +1. Испитајте расподелу података за наша три најпопуларнија жанра у погледу популарности и плесности дуж задате x и y осе. + + ```python + sns.set_theme(style="ticks") + + g = sns.jointplot( + data=df, + x="popularity", y="danceability", hue="artist_top_genre", + kind="kde", + ) + ``` + + Можете открити концентричне кругове око опште тачке конвергенције, који показују расподелу тачака. + + > 🎓 Имајте на уму да овај пример користи KDE (Kernel Density Estimate) графикон који представља податке користећи континуирану криву густине вероватноће. Ово нам омогућава да интерпретирамо податке када радимо са више расподела. + + Уопштено, три жанра се лабаво поравнавају у смислу њихове популарности и плесности. Одређивање кластера у овим лабаво поравнатим подацима биће изазов: + +  + +1. Направите графикон расејања: + + ```python + sns.FacetGrid(df, hue="artist_top_genre", height=5) \ + .map(plt.scatter, "popularity", "danceability") \ + .add_legend() + ``` + + Графикон расејања истих оса показује сличан образац конвергенције + +  + +Уопштено, за кластерисање можете користити графиконе расејања да бисте приказали кластере података, тако да је савладавање ове врсте визуализације веома корисно. У следећем часу, користићемо ове филтриране податке и применити k-means кластерисање како бисмо открили групе у овим подацима које се преклапају на занимљиве начине. + +--- + +## 🚀Изазов + +У припреми за следећи час, направите графикон о различитим алгоритмима кластерисања које бисте могли открити и користити у производном окружењу. Које врсте проблема кластерисање покушава да реши? + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Пре него што примените алгоритме кластерисања, као што смо научили, добра је идеја да разумете природу вашег скупа података. Прочитајте више о овој теми [овде](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Овај користан чланак](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) вас води кроз различите начине на које различити алгоритми кластерисања функционишу, с обзиром на различите облике података. + +## Задатак + +[Истражите друге визуализације за кластерисање](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/1-Visualize/assignment.md b/translations/sr/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 00000000..0ab15bc2 --- /dev/null +++ b/translations/sr/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,25 @@ + +# Истражите друге визуализације за кластеровање + +## Упутства + +У овој лекцији сте радили са неким техникама визуализације како бисте стекли увид у приказивање ваших података у припреми за кластеровање. Расејани графици (scatterplots), посебно, су корисни за проналажење група објеката. Истражите различите начине и различите библиотеке за креирање расејаних графика и документујте свој рад у свесци. Можете користити податке из ове лекције, других лекција или податке које сами пронађете (међутим, наведите извор тих података у вашој свесци). Прикажите неке податке користећи расејане графике и објасните шта сте открили. + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање | +| ---------- | ------------------------------------------------------------ | -------------------------------------------------------------------------------------- | ---------------------------------- | +| | Свеска је представљена са пет добро документованих расејаних графика | Свеска је представљена са мање од пет расејаних графика и мање је добро документована | Представљена је непотпуна свеска | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људског преводиоца. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/sr/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 00000000..4ca77d76 --- /dev/null +++ b/translations/sr/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/2-K-Means/README.md b/translations/sr/5-Clustering/2-K-Means/README.md new file mode 100644 index 00000000..7029afc4 --- /dev/null +++ b/translations/sr/5-Clustering/2-K-Means/README.md @@ -0,0 +1,261 @@ + +# K-Means кластерисање + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +У овом лекцији ћете научити како да креирате кластере користећи Scikit-learn и нигеријски музички сет података који сте раније увезли. Покрићемо основе K-Means метода за кластерисање. Имајте на уму да, као што сте научили у претходној лекцији, постоји много начина за рад са кластерима, а метод који користите зависи од ваших података. Пробаћемо K-Means јер је то најчешћа техника кластерисања. Хајде да почнемо! + +Термини које ћете научити: + +- Силуетно оцењивање +- Елбоу метода +- Инерција +- Варијанса + +## Увод + +[K-Means кластерисање](https://wikipedia.org/wiki/K-means_clustering) је метода која потиче из области обраде сигнала. Користи се за поделу и груписање података у 'k' кластера користећи серију опсервација. Свака опсервација ради на груписању датих тачака података најближе њиховом 'средњем', или централној тачки кластера. + +Кластери се могу визуализовати као [Воронојеви дијаграми](https://wikipedia.org/wiki/Voronoi_diagram), који укључују тачку (или 'семе') и њену одговарајућу регију. + + + +> инфографика од [Jen Looper](https://twitter.com/jenlooper) + +Процес K-Means кластерисања [извршава се у три корака](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Алгоритам бира k-број централних тачака узорковањем из скупа података. Након тога, понавља: + 1. Додељује сваки узорак најближем центроиду. + 2. Креира нове центроиде узимајући средњу вредност свих узорака додељених претходним центроидима. + 3. Затим израчунава разлику између нових и старих центроида и понавља док се центроиди не стабилизују. + +Један недостатак коришћења K-Means је то што морате одредити 'k', односно број центроида. Срећом, 'елбоу метода' помаже у процени доброг почетног броја за 'k'. Ускоро ћете је испробати. + +## Предуслов + +Радићете у датотеци [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) која укључује увоз података и прелиминарно чишћење које сте урадили у претходној лекцији. + +## Вежба - припрема + +Почните тако што ћете поново погледати податке о песмама. + +1. Креирајте boxplot, позивајући `boxplot()` за сваку колону: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Ови подаци су мало бучни: посматрајући сваку колону као boxplot, можете видети одступања. + +  + +Могли бисте проћи кроз сет података и уклонити ова одступања, али то би учинило податке прилично минималним. + +1. За сада, изаберите које колоне ћете користити за своју вежбу кластерисања. Одаберите оне са сличним опсегом и кодирајте колону `artist_top_genre` као нумеричке податке: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Сада треба да одредите колико кластера ћете циљати. Знате да постоје 3 жанра песама које смо издвојили из скупа података, па хајде да пробамо са 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Видећете низ исписан са предвиђеним кластерима (0, 1 или 2) за сваки ред у dataframe-у. + +1. Користите овај низ да израчунате 'силуетну оцену': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Силуетна оцена + +Тражите силуетну оцену ближу 1. Ова оцена варира од -1 до 1, и ако је оцена 1, кластер је густ и добро одвојен од других кластера. Вредност близу 0 представља преклапајуће кластере са узорцима веома близу граници одлуке суседних кластера. [(Извор)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Наша оцена је **.53**, што је негде у средини. Ово указује да наши подаци нису нарочито погодни за ову врсту кластерисања, али хајде да наставимо. + +### Вежба - изградња модела + +1. Увезите `KMeans` и започните процес кластерисања. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Постоји неколико делова овде који заслужују објашњење. + + > 🎓 range: Ово су итерације процеса кластерисања + + > 🎓 random_state: "Одређује генерисање случајних бројева за иницијализацију центроида." [Извор](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "сума квадрата унутар кластера" мери просечну квадратну удаљеност свих тачака унутар кластера до центроида кластера. [Извор](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Инерција: K-Means алгоритми покушавају да изаберу центроиде како би минимизовали 'инерцију', "меру колико су кластери унутрашње кохерентни." [Извор](https://scikit-learn.org/stable/modules/clustering.html). Вредност се додаје променљивој wcss на свакој итерацији. + + > 🎓 k-means++: У [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) можете користити 'k-means++' оптимизацију, која "иницијализује центроиде да буду (углавном) удаљени један од другог, што доводи до вероватно бољих резултата него случајна иницијализација." + +### Елбоу метода + +Раније сте претпоставили да, пошто сте циљали 3 жанра песама, треба да изаберете 3 кластера. Али да ли је то случај? + +1. Користите 'елбоу методу' да се уверите. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Користите променљиву `wcss` коју сте изградили у претходном кораку да креирате графикон који показује где је 'прелом' у лакту, што указује на оптималан број кластера. Можда је то **заиста** 3! + +  + +## Вежба - приказ кластера + +1. Поновите процес, овог пута постављајући три кластера, и прикажите кластере као scatterplot: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Проверите тачност модела: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Тачност овог модела није баш добра, а облик кластера вам даје наговештај зашто. + +  + + Ови подаци су превише неуравнотежени, премало корелисани и постоји превелика варијанса између вредности колона да би се добро кластерисали. У ствари, кластери који се формирају вероватно су снажно утицани или искривљени од стране три категорије жанра које смо горе дефинисали. То је био процес учења! + + У документацији Scikit-learn-а можете видети да модел попут овог, са кластерима који нису баш добро разграничени, има проблем 'варијансе': + +  + > Инфографика из Scikit-learn-а + +## Варијанса + +Варијанса је дефинисана као "просек квадратних разлика од средње вредности" [(Извор)](https://www.mathsisfun.com/data/standard-deviation.html). У контексту овог проблема кластерисања, она се односи на податке где бројеви нашег скупа података имају тенденцију да се превише удаљавају од средње вредности. + +✅ Ово је одличан тренутак да размислите о свим начинима на које бисте могли да исправите овај проблем. Да ли да мало више прилагодите податке? Да ли да користите друге колоне? Да ли да користите другачији алгоритам? Савет: Пробајте [скалирање података](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) да их нормализујете и тестирајте друге колоне. + +> Пробајте овај '[калкулатор варијансе](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' да боље разумете концепт. + +--- + +## 🚀Изазов + +Проведите мало времена са овим notebook-ом, прилагођавајући параметре. Можете ли побољшати тачност модела чишћењем података (на пример, уклањањем одступања)? Можете користити тежине да дате већу тежину одређеним узорцима података. Шта још можете урадити да креирате боље кластере? + +Савет: Пробајте да скалирате своје податке. У notebook-у постоји коментарисан код који додаје стандардно скалирање како би колоне података више личиле једна на другу у смислу опсега. Приметићете да, иако силуетна оцена опада, 'прелом' у графикону лакта се изравнава. То је зато што остављање података нескалираним омогућава подацима са мањом варијансом да носе већу тежину. Прочитајте мало више о овом проблему [овде](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Погледајте симулатор K-Means [као што је овај](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). Можете користити овај алат за визуализацију узорака података и одређивање њихових центроида. Можете уређивати случајност података, број кластера и број центроида. Да ли вам ово помаже да добијете идеју о томе како се подаци могу груписати? + +Такође, погледајте [овај материјал о K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) са Станфорда. + +## Задатак + +[Испробајте различите методе кластерисања](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/2-K-Means/assignment.md b/translations/sr/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 00000000..36844370 --- /dev/null +++ b/translations/sr/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,25 @@ + +# Испробајте различите методе кластерисања + +## Упутства + +У овој лекцији сте научили о К-Меанс кластерисању. Понекад К-Меанс није одговарајући за ваше податке. Направите бележницу користећи податке из ових лекција или из неког другог извора (наведите извор) и покажите другачију методу кластерисања која НЕ користи К-Меанс. Шта сте научили? + +## Рубрика + +| Критеријум | Изузетно | Прихватљиво | Потребно побољшање | +| ---------- | ------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | Бележница је представљена са добро документованим моделом кластерисања | Бележница је представљена без добре документације и/или је непотпуна | Поднет је непотпун рад | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/sr/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 00000000..db9bbfe2 --- /dev/null +++ b/translations/sr/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/5-Clustering/README.md b/translations/sr/5-Clustering/README.md new file mode 100644 index 00000000..056375c3 --- /dev/null +++ b/translations/sr/5-Clustering/README.md @@ -0,0 +1,42 @@ + +# Модели кластерисања за машинско учење + +Кластерисање је задатак машинског учења који има за циљ да пронађе објекте који личе један на други и групише их у групе које се називају кластери. Оно што кластерисање разликује од других приступа у машинском учењу је то што се ствари дешавају аутоматски; заправо, може се рећи да је то супротност надгледаном учењу. + +## Регионална тема: модели кластерисања за музички укус публике у Нигерији 🎧 + +Разнолика публика у Нигерији има разнолике музичке укусе. Користећи податке прикупљене са Spotify-а (инспирисано [овим чланком](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), погледајмо неке од популарних песама у Нигерији. Овај скуп података укључује информације о различитим песмама као што су оцена 'плесности', 'акустичности', јачина звука, 'говорност', популарност и енергија. Биће занимљиво открити обрасце у овим подацима! + + + +> Фотографија од Marcela Laskoski на Unsplash + +У овом низу лекција открићете нове начине за анализу података користећи технике кластерисања. Кластерисање је посебно корисно када вашем скупу података недостају ознаке. Ако има ознаке, онда би технике класификације, као оне које сте научили у претходним лекцијама, могле бити корисније. Али у случајевима када желите да групишете податке без ознака, кластерисање је одличан начин за откривање образаца. + +> Постоје корисни алати са мало кода који вам могу помоћи да научите како да радите са моделима кластерисања. Пробајте [Azure ML за овај задатак](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Лекције + +1. [Увод у кластерисање](1-Visualize/README.md) +2. [К-Меанс кластерисање](2-K-Means/README.md) + +## Кредити + +Ове лекције су написане са 🎶 од стране [Jen Looper](https://www.twitter.com/jenlooper) уз корисне рецензије од [Rishit Dagli](https://rishit_dagli) и [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Скуп података [Нигеријске песме](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) је преузет са Kaggle-а као прикупљен са Spotify-а. + +Корисни примери К-Меанс кластерисања који су помогли у креирању ове лекције укључују ову [анализу ириса](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), овај [уводни нотебук](https://www.kaggle.com/prashant111/k-means-clustering-with-python), и овај [хипотетички пример НВО](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering). + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/1-Introduction-to-NLP/README.md b/translations/sr/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 00000000..d52bb8b9 --- /dev/null +++ b/translations/sr/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,179 @@ + +# Увод у обраду природног језика + +Ова лекција покрива кратку историју и важне концепте *обраде природног језика*, подпоља *рачунарске лингвистике*. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Увод + +НЛП, како се често назива, је једна од најпознатијих области у којима је машинско учење примењено и коришћено у производном софтверу. + +✅ Можете ли да се сетите софтвера који користите свакодневно, а који вероватно има уграђен НЛП? Шта је са вашим програмима за обраду текста или мобилним апликацијама које редовно користите? + +Научићете о: + +- **Идеји језика**. Како су језици развијени и која су главна подручја проучавања. +- **Дефиницији и концептима**. Такође ћете научити дефиниције и концепте о томе како рачунари обрађују текст, укључујући парсирање, граматику и идентификовање именица и глагола. У овој лекцији постоје неки задаци кодирања, а представљени су неколико важних концепата које ћете касније научити да кодирате у наредним лекцијама. + +## Рачунарска лингвистика + +Рачунарска лингвистика је област истраживања и развоја током многих деценија која проучава како рачунари могу да раде са језицима, па чак и да их разумеју, преводе и комуницирају. Обрада природног језика (НЛП) је сродна област која се фокусира на то како рачунари могу да обрађују 'природне', односно људске језике. + +### Пример - диктирање на телефону + +Ако сте икада диктирали текст на телефону уместо да га куцате или питали виртуелног асистента неко питање, ваш говор је претворен у текстуални облик, а затим обрађен или *парсиран* из језика који сте говорили. Детектоване кључне речи су затим обрађене у формат који телефон или асистент може да разуме и на основу њих делује. + + +> Право лингвистичко разумевање је тешко! Слика од [Jen Looper](https://twitter.com/jenlooper) + +### Како је ова технологија омогућена? + +Ово је могуће јер је неко написао компјутерски програм да то уради. Пре неколико деценија, неки писци научне фантастике су предвидели да ће људи углавном разговарати са својим рачунарима, а рачунари ће увек тачно разумети шта мисле. Нажалост, испоставило се да је то тежи проблем него што су многи замишљали, и иако је данас много боље разумљив проблем, постоје значајни изазови у постизању 'савршене' обраде природног језика када је у питању разумевање значења реченице. Ово је посебно тежак проблем када је у питању разумевање хумора или откривање емоција као што је сарказам у реченици. + +У овом тренутку, можда се сећате школских часова где је наставник обрађивао делове граматике у реченици. У неким земљама, ученици уче граматику и лингвистику као посебан предмет, али у многима, ове теме су укључене као део учења језика: било вашег првог језика у основној школи (учење читања и писања) и можда другог језика у средњој школи. Не брините ако нисте стручњак за разликовање именица од глагола или прилога од придева! + +Ако се борите са разликом између *простог садашњег времена* и *садашњег прогресивног времена*, нисте сами. Ово је изазовна ствар за многе људе, чак и за изворне говорнике језика. Добра вест је да су рачунари заиста добри у примени формалних правила, и научићете да пишете код који може *парсирати* реченицу једнако добро као човек. Већи изазов који ћете касније испитати је разумевање *значења* и *осећаја* реченице. + +## Предуслови + +За ову лекцију, главни предуслов је способност читања и разумевања језика ове лекције. Нема математичких проблема или једначина за решавање. Иако је оригинални аутор написао ову лекцију на енглеском, она је такође преведена на друге језике, тако да можете читати превод. Постоје примери где се користи више различитих језика (за поређење различитих граматичких правила различитих језика). Ови примери *нису* преведени, али је објашњавајући текст преведен, тако да би значење требало да буде јасно. + +За задатке кодирања, користићете Python, а примери користе Python 3.8. + +У овом делу, биће вам потребно и користићете: + +- **Разумевање Python 3**. Разумевање програмског језика Python 3, ова лекција користи унос, петље, читање датотека, низове. +- **Visual Studio Code + екстензија**. Користићемо Visual Studio Code и његову Python екстензију. Такође можете користити Python IDE по вашем избору. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) је поједностављена библиотека за обраду текста за Python. Пратите упутства на TextBlob сајту да га инсталирате на свој систем (инсталирајте и корпусе, као што је приказано испод): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Савет: Python можете покренути директно у VS Code окружењима. Погледајте [документацију](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) за више информација. + +## Разговор са машинама + +Историја покушаја да се рачунари натерају да разумеју људски језик сеже деценијама уназад, а један од најранијих научника који је разматрао обраду природног језика био је *Алан Тјуринг*. + +### 'Тјурингов тест' + +Када је Тјуринг истраживао *вештачку интелигенцију* 1950-их, разматрао је да ли би се могао дати тест разговора човеку и рачунару (путем куцане преписке) где човек у разговору није сигуран да ли разговара са другим човеком или рачунаром. + +Ако, након одређене дужине разговора, човек не може да утврди да ли су одговори од рачунара или не, да ли би се онда могло рећи да рачунар *мисли*? + +### Инспирација - 'игра имитације' + +Идеја за ово је дошла из друштвене игре зване *Игра имитације* где је испитивач сам у соби и има задатак да утврди који од двоје људи (у другој соби) су мушко и женско. Испитивач може слати белешке и мора покушати да смисли питања где писани одговори откривају пол мистериозне особе. Наравно, играчи у другој соби покушавају да збуне испитивача тако што одговарају на питања на начин који га доводи у заблуду, док истовремено дају изглед да одговарају искрено. + +### Развој Елајзе + +1960-их, научник са МИТ-а по имену *Џозеф Вајзенбаум* развио је [*Елајзу*](https://wikipedia.org/wiki/ELIZA), компјутерског 'терапеута' који би постављао питања човеку и давао изглед да разуме његове одговоре. Међутим, иако је Елајза могла да парсира реченицу и идентификује одређене граматичке конструкције и кључне речи како би дала разумни одговор, није се могло рећи да *разуме* реченицу. Ако би Елајзи била представљена реченица у формату "**Ја сам** тужан", могла би да преуреди и замени речи у реченици да формира одговор "Колико дуго сте **ви били** тужни". + +Ово је давало утисак да Елајза разуме изјаву и поставља пратеће питање, док је у стварности мењала време и додавала неке речи. Ако Елајза није могла да идентификује кључну реч за коју има одговор, уместо тога би дала насумичан одговор који би могао бити применљив на многе различите изјаве. Елајза се могла лако преварити, на пример ако би корисник написао "**Ти си** бицикл", могла би да одговори са "Колико дуго сам **ја био** бицикл?", уместо разумнијег одговора. + +[](https://youtu.be/RMK9AphfLco "Разговор са Елајзом") + +> 🎥 Кликните на слику изнад за видео о оригиналном Елајза програму + +> Напомена: Можете прочитати оригинални опис [Елајзе](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) објављен 1966. ако имате ACM налог. Алтернативно, прочитајте о Елајзи на [википедији](https://wikipedia.org/wiki/ELIZA) + +## Вежба - кодирање основног конверзационог бота + +Конверзациони бот, као Елајза, је програм који изазива унос корисника и изгледа да разуме и одговара интелигентно. За разлику од Елајзе, наш бот неће имати неколико правила која му дају изглед интелигентног разговора. Уместо тога, наш бот ће имати само једну способност, да настави разговор са насумичним одговорима који би могли функционисати у готово сваком тривијалном разговору. + +### План + +Ваши кораци при изради конверзационог бота: + +1. Испишите упутства која саветују корисника како да комуницира са ботом +2. Покрените петљу + 1. Прихватите унос корисника + 2. Ако корисник затражи излаз, изађите + 3. Обрадите унос корисника и одредите одговор (у овом случају, одговор је насумичан избор из листе могућих општих одговора) + 4. Испишите одговор +3. Вратите се на корак 2 + +### Израда бота + +Хајде да следеће направимо бота. Почећемо дефинисањем неких фраза. + +1. Направите овог бота сами у Python-у са следећим насумичним одговорима: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Ево неког примерног излаза који ће вас водити (унос корисника је на линијама које почињу са `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Једно могуће решење задатка је [овде](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Зауставите се и размислите + + 1. Да ли мислите да би насумични одговори 'преварили' некога да помисли да бот заиста разуме њих? + 2. Које карактеристике би бот требало да има да би био ефикаснији? + 3. Ако би бот заиста могао да 'разуме' значење реченице, да ли би морао да 'памти' значење претходних реченица у разговору? + +--- + +## 🚀Изазов + +Изаберите један од елемената "зауставите се и размислите" изнад и покушајте да га имплементирате у коду или напишите решење на папиру користећи псеудокод. + +У следећој лекцији, научићете о бројним другим приступима парсирању природног језика и машинском учењу. + +## [Квиз после предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Погледајте референце испод као могућности за даље читање. + +### Референце + +1. Шуберт, Ленхарт, "Рачунарска лингвистика", *Станфордска енциклопедија филозофије* (Пролећно издање 2020), Едвард Н. Залта (ур.), URL =
рецензија | Позитивна рецензија | Ознаке | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Ово тренутно није хотел већ градилиште. Терорисан сам од раног јутра и током целог дана неприхватљивом буком грађевинских радова док сам се одмарао након дугог путовања и радио у соби. Људи су радили током целог дана, нпр. са бушилицама у суседним собама. Тражио сам промену собе, али није било доступне тихе собе. Да ствар буде гора, наплатили су ми више. Одјавио сам се увече јер сам морао да кренем рано на лет и добио одговарајући рачун. Дан касније хотел је направио још једну наплату без мог пристанка, која је премашила договорену цену. То је ужасно место. Немојте се кажњавати резервисањем овде. | Ништа. Ужасно место. Држите се даље. | Пословно путовање. Пар. Стандардна двокреветна соба. Боравак 2 ноћи. | + +Као што видите, овај гост није имао срећан боравак у овом хотелу. Хотел има добру просечну оцену од 7.8 и 1945 рецензија, али овај рецензент му је дао 2.5 и написао 115 речи о томе колико је његов боравак био негативан. Ако није написао ништа у колони Positive_Review, могли бисте закључити да није било ничег позитивног, али ипак је написао 7 речи упозорења. Ако бисмо само бројали речи уместо значења или сентимента речи, могли бисмо добити искривљену слику намере рецензента. Чудно, њихова оцена од 2.5 је збуњујућа, јер ако је боравак у хотелу био толико лош, зашто му уопште дати било какве бодове? Истражујући скуп података пажљиво, видећете да је најнижа могућа оцена 2.5, а не 0. Највиша могућа оцена је 10. + +##### Ознаке + +Као што је горе поменуто, на први поглед, идеја да се користе `Tags` за категоризацију података има смисла. Нажалост, ове ознаке нису стандардизоване, што значи да у датом хотелу опције могу бити *Single room*, *Twin room* и *Double room*, али у следећем хотелу, оне су *Deluxe Single Room*, *Classic Queen Room* и *Executive King Room*. Ово могу бити исте ствари, али постоји толико варијација да избор постаје: + +1. Покушај да се сви термини промене у један стандард, што је веома тешко, јер није јасно какав би био пут конверзије у сваком случају (нпр. *Classic single room* се мапира на *Single room*, али *Superior Queen Room with Courtyard Garden or City View* је много теже мапирати) + +1. Можемо применити NLP приступ и измерити учесталост одређених термина као што су *Solo*, *Business Traveller* или *Family with young kids* како се односе на сваки хотел, и то укључити у препоруку + +Ознаке су обично (али не увек) једно поље које садржи листу од 5 до 6 вредности одвојених зарезима које се односе на *Тип путовања*, *Тип гостију*, *Тип собе*, *Број ноћи* и *Тип уређаја на којем је рецензија поднета*. Међутим, пошто неки рецензенти не попуњавају свако поље (могу оставити једно празно), вредности нису увек у истом редоследу. + +На пример, узмите *Тип групе*. Постоји 1025 јединствених могућности у овом пољу у колони `Tags`, и нажалост само неке од њих се односе на групу (неке су тип собе итд.). Ако филтрирате само оне које помињу породицу, резултати садрже много резултата типа *Family room*. Ако укључите термин *with*, тј. бројите вредности *Family with*, резултати су бољи, са преко 80,000 од 515,000 резултата који садрже фразу "Family with young children" или "Family with older children". + +Ово значи да колона ознака није потпуно бескорисна за нас, али ће бити потребно мало рада да би била корисна. + +##### Просечна оцена хотела + +Постоји низ необичности или неслагања са скупом података које не могу да схватим, али су овде илустроване како бисте били свесни њих приликом изградње својих модела. Ако их схватите, молимо вас да нас обавестите у делу за дискусију! + +Скуп података има следеће колоне које се односе на просечну оцену и број рецензија: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Хотел са највише рецензија у овом скупу података је *Britannia International Hotel Canary Wharf* са 4789 рецензија од 515,000. Али ако погледамо вредност `Total_Number_of_Reviews` за овај хотел, она је 9086. Могли бисте закључити да постоји много више оцена без рецензија, па можда треба додати вредност колоне `Additional_Number_of_Scoring`. Та вредност је 2682, и додајући је на 4789 добијамо 7471, што је и даље 1615 мање од `Total_Number_of_Reviews`. + +Ако узмете колону `Average_Score`, могли бисте закључити да је то просек рецензија у скупу података, али опис са Kaggle-а је "*Просечна оцена хотела, израчуната на основу најновијег коментара у последњој години*". То не изгледа баш корисно, али можемо израчунати сопствени просек на основу оцена рецензија у скупу података. Узимајући исти хотел као пример, просечна оцена хотела је дата као 7.1, али израчуната оцена (просечна оцена рецензента *у* скупу података) је 6.8. Ово је близу, али није иста вредност, и можемо само претпоставити да су оцене дате у рецензијама `Additional_Number_of_Scoring` повећале просек на 7.1. Нажалост, без начина да се тестира или докаже та тврдња, тешко је користити или веровати `Average_Score`, `Additional_Number_of_Scoring` и `Total_Number_of_Reviews` када се заснивају на, или се односе на, податке које немамо. + +Да додатно закомпликујемо ствари, хотел са другим највећим бројем рецензија има израчунату просечну оцену од 8.12, а `Average_Score` у скупу података је +> 🚨 Напомена о опрезу +> +> Када радите са овим скупом података, писаћете код који израчунава нешто из текста без потребе да сами читате или анализирате текст. Ово је суштина обраде природног језика (NLP), тумачење значења или сентимента без потребе да то ради човек. Међутим, могуће је да ћете прочитати неке од негативних рецензија. Саветовао бих вам да то не радите, јер нема потребе. Неки од њих су бесмислени или небитни негативни коментари о хотелима, као што је „Време није било добро“, нешто што је ван контроле хотела, или било кога другог. Али постоји и мрачна страна неких рецензија. Понекад су негативне рецензије расистичке, сексистичке или дискриминаторне према старосној доби. Ово је нажалост очекивано у скупу података који је прикупљен са јавног веб-сајта. Неки рецензенти остављају коментаре који би вам могли бити непријатни, узнемирујући или неприхватљиви. Боље је дозволити коду да измери сентимент него да их сами читате и узнемирите се. Ипак, мањина је оних који пишу такве ствари, али они ипак постоје. +## Вежба - Истраживање података +### Учитавање података + +Довољно је визуелно прегледати податке, сада ћете написати код и добити одговоре! Овај део користи библиотеку pandas. Ваш први задатак је да се уверите да можете учитати и прочитати CSV податке. Библиотека pandas има брз CSV учитач, а резултат се смешта у dataframe, као у претходним лекцијама. CSV који учитавамо има преко пола милиона редова, али само 17 колона. Pandas вам пружа много моћних начина за интеракцију са dataframe-ом, укључујући могућност извршавања операција на сваком реду. + +Од овог тренутка у лекцији, биће укључени делови кода, објашњења кода и дискусија о томе шта резултати значе. Користите приложени _notebook.ipynb_ за ваш код. + +Хајде да почнемо са учитавањем датотеке коју ћете користити: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Сада када су подаци учитани, можемо извршити неке операције над њима. Држите овај код на врху вашег програма за следећи део. + +## Истраживање података + +У овом случају, подаци су већ *чисти*, што значи да су спремни за рад и да не садрже карактере на другим језицима који би могли да збуне алгоритме који очекују само енглеске карактере. + +✅ Можда ћете морати да радите са подацима који захтевају почетну обраду како би се форматирали пре примене NLP техника, али не овог пута. Ако бисте морали, како бисте се носили са карактерима који нису на енглеском? + +Одвојите тренутак да се уверите да, када се подаци учитају, можете их истражити помоћу кода. Веома је лако фокусирати се на колоне `Negative_Review` и `Positive_Review`. Оне су испуњене природним текстом за ваше NLP алгоритме. Али сачекајте! Пре него што ускочите у NLP и анализу сентимента, требало би да следите код испод како бисте утврдили да ли вредности дате у датасету одговарају вредностима које израчунате помоћу pandas-а. + +## Операције над dataframe-ом + +Први задатак у овој лекцији је да проверите да ли су следеће тврдње тачне тако што ћете написати код који испитује dataframe (без промене истог). + +> Као и код многих програмских задатака, постоји више начина да се ово уради, али добар савет је да то урадите на најједноставнији, најлакши начин, посебно ако ће бити лакше разумети када се вратите на овај код у будућности. Са dataframe-ом, постоји свеобухватан API који ће често имати начин да ефикасно урадите оно што желите. + +Третирајте следећа питања као програмске задатке и покушајте да их решите без гледања у решење. + +1. Испишите *облик* dataframe-а који сте управо учитали (облик је број редова и колона). +2. Израчунати учесталост националности рецензената: + 1. Колико различитих вредности постоји за колону `Reviewer_Nationality` и које су то вредности? + 2. Која националност рецензената је најчешћа у датасету (испишите земљу и број рецензија)? + 3. Које су следећих 10 најчешћих националности и њихова учесталост? +3. Који је хотел најчешће рецензиран за сваку од 10 најчешћих националности рецензената? +4. Колико рецензија има по хотелу (учесталост рецензија по хотелу) у датасету? +5. Иако постоји колона `Average_Score` за сваки хотел у датасету, можете израчунати просечну оцену (узимајући просек свих оцена рецензената у датасету за сваки хотел). Додајте нову колону у ваш dataframe са заглављем колоне `Calc_Average_Score` која садржи израчунати просек. +6. Да ли неки хотели имају исту (заокружену на 1 децималу) `Average_Score` и `Calc_Average_Score`? + 1. Покушајте да напишете Python функцију која узима Series (ред) као аргумент и упоређује вредности, исписујући поруку када вредности нису једнаке. Затим користите `.apply()` метод да обрадите сваки ред помоћу функције. +7. Израчунати и исписати колико редова има вредност колоне `Negative_Review` "No Negative". +8. Израчунати и исписати колико редова има вредност колоне `Positive_Review` "No Positive". +9. Израчунати и исписати колико редова има вредност колоне `Positive_Review` "No Positive" **и** вредност колоне `Negative_Review` "No Negative". + +### Одговори у коду + +1. Испишите *облик* dataframe-а који сте управо учитали (облик је број редова и колона). + + ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` + +2. Израчунати учесталост националности рецензената: + + 1. Колико различитих вредности постоји за колону `Reviewer_Nationality` и које су то вредности? + 2. Која националност рецензената је најчешћа у датасету (испишите земљу и број рецензија)? + + ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` + + 3. Које су следећих 10 најчешћих националности и њихова учесталост? + + ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` + +3. Који је хотел најчешће рецензиран за сваку од 10 најчешћих националности рецензената? + + ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` + +4. Колико рецензија има по хотелу (учесталост рецензија по хотелу) у датасету? + + ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` + | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | + | :----------------------------------------: | :---------------------: | :-----------------: | + | Britannia International Hotel Canary Wharf | 9086 | 4789 | + | Park Plaza Westminster Bridge London | 12158 | 4169 | + | Copthorne Tara Hotel London Kensington | 7105 | 3578 | + | ... | ... | ... | + | Mercure Paris Porte d Orleans | 110 | 10 | + | Hotel Wagner | 135 | 10 | + | Hotel Gallitzinberg | 173 | 8 | + + Можда ћете приметити да резултати *израчунати у датасету* не одговарају вредности у `Total_Number_of_Reviews`. Није јасно да ли ова вредност у датасету представља укупан број рецензија које је хотел имао, али нису све биле scraped, или нека друга рачуница. `Total_Number_of_Reviews` се не користи у моделу због ове нејасноће. + +5. Иако постоји колона `Average_Score` за сваки хотел у датасету, можете израчунати просечну оцену (узимајући просек свих оцена рецензената у датасету за сваки хотел). Додајте нову колону у ваш dataframe са заглављем колоне `Calc_Average_Score` која садржи израчунати просек. Испишите колоне `Hotel_Name`, `Average_Score` и `Calc_Average_Score`. + + ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` + + Можда ћете се запитати о вредности `Average_Score` и зашто је понекад различита од израчунатог просека. Како не можемо знати зашто неке вредности одговарају, а друге имају разлику, најсигурније је у овом случају користити оцене рецензената које имамо за израчунавање просека. Ипак, разлике су обично веома мале, ево хотела са највећим одступањем између просека из датасета и израчунатог просека: + + | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | + | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | + | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | + | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | + | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | + | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | + | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | + | ... | ... | ... | ... | + | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | + | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | + | 0.9 | 6.8 | 5.9 | Villa Eugenie | + | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | + | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | + + Са само 1 хотелом који има разлику у оцени већу од 1, то значи да вероватно можемо игнорисати разлику и користити израчунати просек. + +6. Израчунати и исписати колико редова има вредност колоне `Negative_Review` "No Negative". + +7. Израчунати и исписати колико редова има вредност колоне `Positive_Review` "No Positive". + +8. Израчунати и исписати колико редова има вредност колоне `Positive_Review` "No Positive" **и** вредност колоне `Negative_Review` "No Negative". + + ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` + +## Други начин + +Други начин за бројање ставки без Lambdas, и коришћење sum за бројање редова: + + ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` + + Можда сте приметили да постоји 127 редова који имају и "No Negative" и "No Positive" вредности за колоне `Negative_Review` и `Positive_Review` респективно. То значи да је рецензент дао хотелу нумеричку оцену, али је одбио да напише позитивну или негативну рецензију. Срећом, ово је мали број редова (127 од 515738, или 0.02%), тако да вероватно неће утицати на наш модел или резултате у било ком правцу, али можда нисте очекивали да датасет рецензија има редове без рецензија, па је вредно истражити податке како бисте открили овакве редове. + +Сада када сте истражили датасет, у следећој лекцији ћете филтрирати податке и додати анализу сентимента. + +--- +## 🚀Изазов + +Ова лекција показује, као што смо видели у претходним лекцијама, колико је критично важно разумети ваше податке и њихове недостатке пре него што извршите операције над њима. Подаци засновани на тексту, посебно, захтевају пажљиво испитивање. Претражите различите датасете богате текстом и видите да ли можете открити области које би могле увести пристрасност или искривљен сентимент у модел. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Пређите [овај пут учења о NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) да бисте открили алате које можете испробати приликом изградње модела заснованих на говору и тексту. + +## Задатак + +[NLTK](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења настала услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/sr/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 00000000..b9e6625c --- /dev/null +++ b/translations/sr/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,19 @@ + +# NLTK + +## Упутства + +NLTK је позната библиотека за употребу у рачунарској лингвистици и обради природног језика. Искористите ову прилику да прочитате '[NLTK књигу](https://www.nltk.org/book/)' и испробате њене вежбе. У овом задатку који се не оцењује, имаћете прилику да боље упознате ову библиотеку. + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 00000000..92bab9e5 --- /dev/null +++ b/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 00000000..3c91a6c6 --- /dev/null +++ b/translations/sr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,15 @@ + +ово је привремени привремени текст + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/5-Hotel-Reviews-2/README.md b/translations/sr/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 00000000..6882937a --- /dev/null +++ b/translations/sr/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,389 @@ + +# Анализа сентимента са рецензијама хотела + +Сада када сте детаљно истражили скуп података, време је да филтрирате колоне и примените NLP технике на скуп података како бисте добили нове увиде о хотелима. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +### Операције филтрирања и анализе сентимента + +Као што сте вероватно приметили, скуп података има неколико проблема. Неке колоне су испуњене бескорисним информацијама, друге изгледају нетачно. Чак и ако су тачне, није јасно како су израчунате, а одговори се не могу независно проверити вашим сопственим прорачунима. + +## Вежба: мало више обраде података + +Очистите податке још мало. Додајте колоне које ће бити корисне касније, промените вредности у другим колонама и потпуно уклоните одређене колоне. + +1. Почетна обрада колона + + 1. Уклоните `lat` и `lng` + + 2. Замените вредности у `Hotel_Address` следећим вредностима (ако адреса садржи име града и државе, промените је тако да садржи само град и државу). + + Ово су једини градови и државе у скупу података: + + Амстердам, Холандија + + Барселона, Шпанија + + Лондон, Уједињено Краљевство + + Милано, Италија + + Париз, Француска + + Беч, Аустрија + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Сада можете упитати податке на нивоу државе: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Амстердам, Холандија | 105 | + | Барселона, Шпанија | 211 | + | Лондон, Уједињено Краљевство | 400 | + | Милано, Италија | 162 | + | Париз, Француска | 458 | + | Беч, Аустрија | 158 | + +2. Обрада колона мета-рецензија хотела + + 1. Уклоните `Additional_Number_of_Scoring` + + 2. Замените `Total_Number_of_Reviews` са укупним бројем рецензија за тај хотел које су заправо у скупу података + + 3. Замените `Average_Score` са сопствено израчунатом оценом + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Обрада колона рецензија + + 1. Уклоните `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` и `days_since_review` + + 2. Задржите `Reviewer_Score`, `Negative_Review` и `Positive_Review` како јесу + + 3. Задржите `Tags` за сада + + - У следећем одељку ћемо извршити додатне операције филтрирања на таговима, а затим ће тагови бити уклоњени + +4. Обрада колона рецензената + + 1. Уклоните `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Задржите `Reviewer_Nationality` + +### Колона са таговима + +Колона `Tag` је проблематична јер је листа (у текстуалном облику) која се чува у колони. Нажалост, редослед и број пододсека у овој колони нису увек исти. Тешко је човеку да идентификује тачне фразе које су од интереса, јер постоји 515,000 редова и 1427 хотела, а сваки има мало другачије опције које рецензент може изабрати. Овде NLP долази до изражаја. Можете скенирати текст и пронаћи најчешће фразе и пребројати их. + +Нажалост, нас не интересују појединачне речи, већ фразе са више речи (нпр. *Пословно путовање*). Покретање алгоритма за дистрибуцију учесталости фраза на толико података (6762646 речи) могло би да траје изузетно дуго, али без прегледа података, чини се да је то неопходан трошак. Овде је корисна истраживачка анализа података, јер сте видели узорак тагова као што су `[' Пословно путовање ', ' Самостални путник ', ' Једнокреветна соба ', ' Боравак од 5 ноћи ', ' Послато са мобилног уређаја ']`, можете почети да се питате да ли је могуће значајно смањити обраду коју морате да урадите. Срећом, јесте - али прво морате да следите неколико корака да бисте утврдили тагове од интереса. + +### Филтрирање тагова + +Запамтите да је циљ скупа података да додате сентимент и колоне које ће вам помоћи да изаберете најбољи хотел (за себе или можда за клијента који вам задаје задатак да направите бота за препоруке хотела). Морате се запитати да ли су тагови корисни или не у коначном скупу података. Ево једне интерпретације (ако вам је скуп података потребан из других разлога, различити тагови би могли остати/бити уклоњени): + +1. Тип путовања је релевантан и треба да остане +2. Тип групе гостију је важан и треба да остане +3. Тип собе, апартмана или студија у којем је гост боравио је ирелевантан (сви хотели имају отприлике исте собе) +4. Уређај са којег је рецензија послата је ирелевантан +5. Број ноћи које је рецензент боравио *може* бити релевантан ако приписујете дужи боравак као знак да им се хотел више свидео, али је то натегнуто и вероватно ирелевантно + +Укратко, **задржите 2 врсте тагова и уклоните остале**. + +Прво, не желите да бројите тагове док нису у бољем формату, што значи уклањање угластих заграда и наводника. Ово можете урадити на неколико начина, али желите најбржи јер би обрада великог броја података могла да траје дуго. Срећом, pandas има једноставан начин за сваки од ових корака. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Сваки таг постаје нешто попут: `Пословно путовање, Самостални путник, Једнокреветна соба, Боравак од 5 ноћи, Послато са мобилног уређаја`. + +Следећи проблем је различит број колона у рецензијама. Неки редови имају 5 колона, неки 3, неки 6. Ово је резултат начина на који је скуп података креиран и тешко је поправити. Желите да добијете учесталост сваке фразе, али оне су у различитом редоследу у свакој рецензији, па број може бити нетачан, а хотел можда не добије таг који заслужује. + +Уместо тога, искористићете различит редослед у своју корист, јер је сваки таг фраза са више речи, али је такође одвојен зарезом! Најједноставнији начин да то урадите је да креирате 6 привремених колона са сваким тагом уметнутим у колону која одговара његовом редоследу у тагу. Затим можете спојити 6 колона у једну велику колону и покренути `value_counts()` метод на резултујућој колони. Када то испишете, видећете да је било 2428 јединствених тагова. Ево малог узорка: + +| Таг | Број | +| ------------------------------ | ------ | +| Одмор | 417778 | +| Послато са мобилног уређаја | 307640 | +| Пар | 252294 | +| Боравак од 1 ноћи | 193645 | +| Боравак од 2 ноћи | 133937 | +| Самостални путник | 108545 | +| Боравак од 3 ноћи | 95821 | +| Пословно путовање | 82939 | +| Група | 65392 | +| Породица са малом децом | 61015 | +| Боравак од 4 ноћи | 47817 | +| Двокреветна соба | 35207 | +| Стандардна двокреветна соба | 32248 | +| Супериор двокреветна соба | 31393 | +| Породица са старијом децом | 26349 | +| Делукс двокреветна соба | 24823 | +| Двокреветна или соба са два кревета | 22393 | +| Боравак од 5 ноћи | 20845 | +| Стандардна двокреветна или соба са два кревета | 17483 | +| Класична двокреветна соба | 16989 | +| Супериор двокреветна или соба са два кревета | 13570 | +| 2 собе | 12393 | + +Неки од уобичајених тагова као што је `Послато са мобилног уређаја` нису нам од користи, па би било паметно уклонити их пре бројања учесталости фраза, али је то тако брза операција да их можете оставити и игнорисати. + +### Уклањање тагова о дужини боравка + +Уклањање ових тагова је први корак, што благо смањује укупан број тагова који се разматрају. Напомињемо да их не уклањате из скупа података, већ само одлучујете да их уклоните из разматрања као вредности које треба бројати/задржати у скупу рецензија. + +| Дужина боравка | Број | +| -------------- | ------ | +| Боравак од 1 ноћи | 193645 | +| Боравак од 2 ноћи | 133937 | +| Боравак од 3 ноћи | 95821 | +| Боравак од 4 ноћи | 47817 | +| Боравак од 5 ноћи | 20845 | +| Боравак од 6 ноћи | 9776 | +| Боравак од 7 ноћи | 7399 | +| Боравак од 8 ноћи | 2502 | +| Боравак од 9 ноћи | 1293 | +| ... | ... | + +Постоји огромна разноврсност соба, апартмана, студија, апартмана и тако даље. Сви они значе отприлике исто и нису релевантни за вас, па их уклоните из разматрања. + +| Тип собе | Број | +| ---------------------------- | ------ | +| Двокреветна соба | 35207 | +| Стандардна двокреветна соба | 32248 | +| Супериор двокреветна соба | 31393 | +| Делукс двокреветна соба | 24823 | +| Двокреветна или соба са два кревета | 22393 | +| Стандардна двокреветна или соба са два кревета | 17483 | +| Класична двокреветна соба | 16989 | +| Супериор двокреветна или соба са два кревета | 13570 | + +На крају, и ово је одлично (јер није захтевало много обраде), остаћете са следећим *корисним* таговима: + +| Таг | Број | +| --------------------------------------------- | ------ | +| Одмор | 417778 | +| Пар | 252294 | +| Самостални путник | 108545 | +| Пословно путовање | 82939 | +| Група (комбиновано са Путници са пријатељима) | 67535 | +| Породица са малом децом | 61015 | +| Породица са старијом децом | 26349 | +| Са кућним љубимцем | 1405 | + +Могли бисте тврдити да је `Путници са пријатељима` исто што и `Група` мање-више, и било би фер комбиновати их као горе. Код за идентификовање исправних тагова је [Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +Последњи корак је креирање нових колона за сваки од ових тагова. Затим, за сваки ред рецензије, ако колона `Tag` одговара једној од нових колона, додајте 1, ако не, додајте 0. Коначни резултат ће бити број рецензената који су изабрали овај хотел (у агрегату) за, рецимо, пословно путовање у односу на одмор, или да доведу кућног љубимца, и то је корисна информација приликом препоруке хотела. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Сачувајте ваш фајл + +На крају, сачувајте скуп података у тренутном стању под новим именом. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Операције анализе сентимента + +У овом последњем одељку, применићете анализу сентимента на колоне рецензија и сачувати резултате у скупу података. + +## Вежба: учитајте и сачувајте филтриране податке + +Напомињемо да сада учитавате филтрирани скуп података који је сачуван у претходном одељку, **не** оригинални скуп података. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Уклањање стоп речи + +Ако бисте покренули анализу сентимента на колонама негативних и позитивних рецензија, то би могло трајати дуго. Тестирано на моћном лаптопу са брзим CPU-ом, трајало је 12 - 14 минута у зависности од тога која библиотека за анализу сентимента је коришћена. То је (релативно) дуго, па је вредно истражити да ли се то може убрзати. + +Уклањање стоп речи, или уобичајених енглеских речи које не мењају сентимент реченице, је први корак. Уклањањем њих, анализа сентимента би требало да се брже изврши, али да не буде мање тачна (јер стоп речи не утичу на сентимент, али успоравају анализу). + +Најдужа негативна рецензија имала је 395 речи, али након уклањања стоп речи, има 195 речи. + +Уклањање стоп речи је такође брза операција, уклањање стоп речи из 2 колоне рецензија преко 515,000 редова трајало је 3.3 секунде на тест уређају. Могло би трајати мало више или мање времена за вас у зависности од брзине вашег CPU-а, RAM-а, да ли имате SSD или не, и неких других фактора. Релативна краткоћа операције значи да ако побољшава време анализе сентимента, онда је вредно урадити. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Извршавање анализе сентимента + +Сада треба да израчунате анализу сентимента за обе колоне рецензија, негативне и позитивне, и сачувате резултат у 2 нове колоне. Тест сентимента ће бити упоређивање са оценом рецензента за исту рецензију. На пример, ако сентимент мисли да је негативна рецензија имала сентимент од +NLTK нуди различите анализаторе сентимента за учење, и можете их заменити и проверити да ли је сентимент тачнији или мање тачан. Овде се користи VADER анализа сентимента. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, јун 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Касније у вашем програму, када будете спремни да израчунате сентимент, можете га применити на сваку рецензију на следећи начин: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Ово траје приближно 120 секунди на мом рачунару, али ће се време разликовати у зависности од рачунара. Ако желите да одштампате резултате и проверите да ли сентимент одговара рецензији: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Последња ствар коју треба урадити са фајлом пре него што га употребите у изазову је да га сачувате! Такође би требало да размислите о реорганизацији свих нових колона како би биле лакше за рад (за људе, то је козметичка промена). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Требало би да покренете цео код за [аналитички нотебук](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (након што сте покренули [ваш нотебук за филтрирање](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) како бисте генерисали фајл Hotel_Reviews_Filtered.csv). + +Да резимирамо, кораци су: + +1. Оригинални фајл података **Hotel_Reviews.csv** је истражен у претходној лекцији помоћу [експлорер нотебука](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv је филтриран помоћу [ноутбука за филтрирање](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), што резултира фајлом **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv је обрађен помоћу [ноутбука за анализу сентимента](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb), што резултира фајлом **Hotel_Reviews_NLP.csv** +4. Користите Hotel_Reviews_NLP.csv у NLP изазову испод + +### Закључак + +Када сте почели, имали сте скуп података са колонама и подацима, али не све је могло бити проверено или коришћено. Истражили сте податке, филтрирали оно што вам није потребно, конвертовали тагове у нешто корисно, израчунали сопствене просеке, додали неке колоне за сентимент и, надамо се, научили нешто занимљиво о обради природног текста. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Изазов + +Сада када сте анализирали сентимент вашег скупа података, видите да ли можете користити стратегије које сте научили у овом курикулуму (кластерисање, можда?) како бисте утврдили обрасце у сентименту. + +## Преглед и самостално учење + +Погледајте [овај Learn модул](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) како бисте сазнали више и користили различите алате за истраживање сентимента у тексту. + +## Задатак + +[Испробајте други скуп података](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/sr/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 00000000..f0f9f087 --- /dev/null +++ b/translations/sr/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,25 @@ + +# Пробајте други скуп података + +## Упутства + +Сада када сте научили како да користите NLTK за додељивање сентимента тексту, пробајте други скуп података. Вероватно ће бити потребно да обрадите податке, па направите бележницу и документујте свој процес размишљања. Шта откривате? + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ---------- | ---------------------------------------------------------------------------------------------------------------- | ---------------------------------------- | ----------------------- | +| | Комплетна бележница и скуп података су представљени са добро документованим ћелијама које објашњавају како се сентимент додељује | Бележница недостаје добрим објашњењима | Бележница је неисправна | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 00000000..949819b5 --- /dev/null +++ b/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 00000000..516fa95b --- /dev/null +++ b/translations/sr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,15 @@ + +ово је привремени привремени текст + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/README.md b/translations/sr/6-NLP/README.md new file mode 100644 index 00000000..700d63ea --- /dev/null +++ b/translations/sr/6-NLP/README.md @@ -0,0 +1,38 @@ + +# Увод у обраду природног језика + +Обрада природног језика (NLP) је способност компјутерског програма да разуме људски језик онако како се говори и пише — што се назива природним језиком. То је компонента вештачке интелигенције (AI). NLP постоји више од 50 година и има корене у области лингвистике. Целокупно поље је усмерено на помоћ машинама да разумеју и обрађују људски језик. Ово се затим може користити за извршавање задатака као што су провера правописа или машински превод. NLP има различите примене у стварном свету у бројним областима, укључујући медицинска истраживања, претраживаче и пословну интелигенцију. + +## Регионална тема: Европски језици и књижевност и романтични хотели Европе ❤️ + +У овом делу наставног програма, упознаћете се са једном од најраспрострањенијих употреба машинског учења: обрадом природног језика (NLP). Проистекла из рачунарске лингвистике, ова категорија вештачке интелигенције представља мост између људи и машина путем гласовне или текстуалне комуникације. + +У овим лекцијама ћемо научити основе NLP-а кроз прављење малих конверзацијских ботова како бисмо разумели како машинско учење помаже да ови разговори постану све „паметнији“. Путоваћете кроз време, разговарајући са Елизабетом Бенет и господином Дарсијем из класичног романа Џејн Остин, **Гордост и предрасуда**, објављеног 1813. године. Затим ћете продубити своје знање учењем о анализи сентимента кроз рецензије хотела у Европи. + + +> Фотографија од Elaine Howlin на Unsplash + +## Лекције + +1. [Увод у обраду природног језика](1-Introduction-to-NLP/README.md) +2. [Уобичајени задаци и технике NLP-а](2-Tasks/README.md) +3. [Превод и анализа сентимента уз машинско учење](3-Translation-Sentiment/README.md) +4. [Припрема ваших података](4-Hotel-Reviews-1/README.md) +5. [NLTK за анализу сентимента](5-Hotel-Reviews-2/README.md) + +## Захвалнице + +Ове лекције о обради природног језика написане су уз ☕ од стране [Stephen Howell](https://twitter.com/Howell_MSFT) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/6-NLP/data/README.md b/translations/sr/6-NLP/data/README.md new file mode 100644 index 00000000..8f3f18eb --- /dev/null +++ b/translations/sr/6-NLP/data/README.md @@ -0,0 +1,15 @@ + +Преузмите податке о рецензијама хотела у овај фолдер. + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/1-Introduction/README.md b/translations/sr/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 00000000..4a59ea1f --- /dev/null +++ b/translations/sr/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,199 @@ + +# Увод у предвиђање временских серија + + + +> Скица од [Томоми Имура](https://www.twitter.com/girlie_mac) + +У овој лекцији и наредној, научићете нешто о предвиђању временских серија, занимљивом и вредном делу репертоара научника за машинско учење, који је мање познат у односу на друге теме. Предвиђање временских серија је нека врста „кристалне кугле“: на основу претходних перформанси неке променљиве, као што је цена, можете предвидети њену будућу потенцијалну вредност. + +[](https://youtu.be/cBojo1hsHiI "Увод у предвиђање временских серија") + +> 🎥 Кликните на слику изнад за видео о предвиђању временских серија + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +Ово је корисно и занимљиво поље са стварном вредношћу за пословање, с обзиром на његову директну примену у решавању проблема цена, залиха и ланца снабдевања. Иако су технике дубоког учења почеле да се користе за добијање бољих увида ради прецизнијег предвиђања будућих перформанси, предвиђање временских серија остаје поље које се у великој мери ослања на класичне технике машинског учења. + +> Корисни наставни план и програм за временске серије са Универзитета Пен Стејт можете пронаћи [овде](https://online.stat.psu.edu/stat510/lesson/1) + +## Увод + +Претпоставимо да одржавате низ паметних паркинг метара који пружају податке о томе колико често се користе и колико дуго током времена. + +> Шта ако бисте могли да предвидите, на основу претходних перформанси метра, његову будућу вредност у складу са законима понуде и потражње? + +Прецизно предвиђање када треба деловати како бисте постигли свој циљ је изазов који би могао бити решен предвиђањем временских серија. Људи можда не би били срећни да плаћају више у ужурбаним временима када траже паркинг место, али то би био сигуран начин за генерисање прихода за чишћење улица! + +Хајде да истражимо неке врсте алгоритама за временске серије и започнемо рад у бележници како бисмо очистили и припремили неке податке. Подаци које ћете анализирати преузети су са такмичења за предвиђање GEFCom2014. Они садрже три године података о сатној потрошњи електричне енергије и температури између 2012. и 2014. године. С обзиром на историјске обрасце потрошње електричне енергије и температуре, можете предвидети будуће вредности потрошње електричне енергије. + +У овом примеру, научићете како да предвидите један корак унапред, користећи само историјске податке о потрошњи. Међутим, пре него што почнете, корисно је разумети шта се дешава „иза сцене“. + +## Неке дефиниције + +Када наиђете на термин „временске серије“, потребно је да разумете његову употребу у неколико различитих контекста. + +🎓 **Временске серије** + +У математици, „временске серије су низ података индексираних (или наведених или графички приказаних) у временском редоследу. Најчешће, временске серије су секвенца узета у једнако размакнутим тачкама у времену.“ Пример временских серија је дневна завршна вредност [Дау Џонс индустријског просека](https://wikipedia.org/wiki/Time_series). Употреба графикона временских серија и статистичког моделирања често се среће у обради сигнала, предвиђању времена, предвиђању земљотреса и другим областима где се догађаји дешавају и подаци могу бити приказани током времена. + +🎓 **Анализа временских серија** + +Анализа временских серија је анализа горе поменутих података временских серија. Подаци временских серија могу имати различите облике, укључујући „прекинуте временске серије“ које откривају обрасце у еволуцији временских серија пре и после неког прекидајућег догађаја. Тип анализе који је потребан за временске серије зависи од природе података. Подаци временских серија могу бити у облику низа бројева или карактера. + +Анализа која се спроводи користи разне методе, укључујући методе у домену фреквенције и времена, линеарне и нелинеарне, и друге. [Сазнајте више](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) о многим начинима анализе ове врсте података. + +🎓 **Предвиђање временских серија** + +Предвиђање временских серија је употреба модела за предвиђање будућих вредности на основу образаца приказаних у претходно прикупљеним подацима. Иако је могуће користити регресионе моделе за истраживање података временских серија, са временским индексима као x-променљивама на графикону, такви подаци се најбоље анализирају коришћењем посебних типова модела. + +Подаци временских серија су листа уређених запажања, за разлику од података који се могу анализирати линеарном регресијом. Најчешћи модел је ARIMA, акроним за „Ауторегресивни интегрисани покретни просек“. + +[ARIMA модели](https://online.stat.psu.edu/stat510/lesson/1/1.1) „повезују тренутну вредност серије са претходним вредностима и претходним грешкама у предвиђању.“ Они су најприкладнији за анализу података у временском домену, где су подаци уређени током времена. + +> Постоји неколико типова ARIMA модела, о којима можете сазнати више [овде](https://people.duke.edu/~rnau/411arim.htm) и које ћете обрадити у наредној лекцији. + +У наредној лекцији, изградићете ARIMA модел користећи [Униваријантне временске серије](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), које се фокусирају на једну променљиву која мења своју вредност током времена. Пример ове врсте података је [овај скуп података](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) који бележи месечну концентрацију CO2 на опсерваторији Мауна Лоа: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Идентификујте променљиву која се мења током времена у овом скупу података + +## Карактеристике података временских серија које треба узети у обзир + +Када посматрате податке временских серија, можда ћете приметити да они имају [одређене карактеристике](https://online.stat.psu.edu/stat510/lesson/1/1.1) које треба узети у обзир и ублажити како бисте боље разумели њихове обрасце. Ако податке временских серија сматрате потенцијалним „сигналом“ који желите да анализирате, ове карактеристике могу се сматрати „шумом“. Често ћете морати да смањите овај „шум“ коришћењем неких статистичких техника. + +Ево неких концепата које треба да знате како бисте могли да радите са временским серијама: + +🎓 **Трендови** + +Трендови се дефинишу као мерљиви пораст или пад током времена. [Прочитајте више](https://machinelearningmastery.com/time-series-trends-in-python). У контексту временских серија, ради се о томе како користити и, ако је потребно, уклонити трендове из ваших временских серија. + +🎓 **[Сезоналност](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Сезоналност се дефинише као периодичне флуктуације, као што су празничне гужве које могу утицати на продају, на пример. [Погледајте](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm) како различите врсте графикона приказују сезоналност у подацима. + +🎓 **Изузетне вредности** + +Изузетне вредности су далеко од стандардне варијансе података. + +🎓 **Дугорочни циклус** + +Независно од сезоналности, подаци могу показивати дугорочни циклус, као што је економски пад који траје дуже од годину дана. + +🎓 **Константна варијанса** + +Током времена, неки подаци показују константне флуктуације, као што је потрошња енергије током дана и ноћи. + +🎓 **Нагле промене** + +Подаци могу показивати наглу промену која захтева даљу анализу. Нагло затварање предузећа због COVID-а, на пример, изазвало је промене у подацима. + +✅ Ево [пример графикона временских серија](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) који приказује дневну потрошњу валуте у игри током неколико година. Можете ли идентификовати неку од горе наведених карактеристика у овим подацима? + + + +## Вежба - почетак рада са подацима о потрошњи енергије + +Хајде да почнемо са креирањем модела временских серија за предвиђање будуће потрошње енергије на основу претходне потрошње. + +> Подаци у овом примеру преузети су са такмичења за предвиђање GEFCom2014. Они садрже три године података о сатној потрошњи електричне енергије и температури између 2012. и 2014. године. +> +> Тао Хонг, Пјер Пинсон, Шу Фан, Хамидреза Зареипур, Алберто Троколи и Роб Џ. Хајндман, „Прогностичко предвиђање енергије: Глобално такмичење за предвиђање енергије 2014 и даље“, International Journal of Forecasting, vol.32, no.3, pp 896-913, јул-септембар, 2016. + +1. У фасцикли `working` ове лекције, отворите датотеку _notebook.ipynb_. Почните додавањем библиотека које ће вам помоћи да учитате и визуализујете податке: + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Имајте на уму да користите датотеке из укључене фасцикле `common` које подешавају ваше окружење и обрађују преузимање података. + +2. Затим, прегледајте податке као dataframe позивајући `load_data()` и `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Можете видети да постоје две колоне које представљају датум и потрошњу: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Сада, нацртајте графикон података позивајући `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Сада, нацртајте прву недељу јула 2014. године, тако што ћете је унети као улаз у `energy` у облику `[од датума]: [до датума]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Прелеп графикон! Погледајте ове графиконе и видите да ли можете утврдити неку од горе наведених карактеристика. Шта можемо закључити визуализацијом података? + +У наредној лекцији, креираћете ARIMA модел за креирање предвиђања. + +--- + +## 🚀Изазов + +Направите листу свих индустрија и области истраживања које вам падну на памет, а које би имале користи од предвиђања временских серија. Можете ли смислити примену ових техника у уметности? У економетрији? Екологији? Малопродаји? Индустрији? Финансијама? Где још? + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Иако их овде нећемо обрађивати, неуронске мреже се понекад користе за побољшање класичних метода предвиђања временских серија. Прочитајте више о томе [у овом чланку](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Задатак + +[Визуелизујте још неке временске серије](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/1-Introduction/assignment.md b/translations/sr/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 00000000..b2f97e74 --- /dev/null +++ b/translations/sr/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Визуализујте још неке временске серије + +## Упутства + +Почели сте да учите о предвиђању временских серија тако што сте погледали тип података који захтевају ово посебно моделирање. Визуализовали сте неке податке о енергији. Сада, потражите неке друге податке који би могли да имају користи од предвиђања временских серија. Пронађите три примера (покушајте [Kaggle](https://kaggle.com) и [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) и направите бележницу за њихову визуализацију. У бележници забележите све посебне карактеристике које имају (сезоналност, нагле промене или други трендови). + +## Рубрика + +| Критеријум | Изузетно | Довољно | Потребно побољшање | +| ---------- | ----------------------------------------------------- | -------------------------------------------------- | ----------------------------------------------------------------------------------------- | +| | Три скупа података су приказана и објашњена у бележници | Два скупа података су приказана и објашњена у бележници | Неколико скупова података је приказано или објашњено у бележници или представљени подаци нису довољни | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен помоћу услуге за превођење уз помоћ вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/sr/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..3c3af2c8 --- /dev/null +++ b/translations/sr/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/sr/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 00000000..203a3634 --- /dev/null +++ b/translations/sr/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,15 @@ + +ово је привремени привремени текст + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/2-ARIMA/README.md b/translations/sr/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 00000000..a82433dd --- /dev/null +++ b/translations/sr/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,405 @@ + +# Прогнозирање временских серија помоћу ARIMA модела + +У претходној лекцији, научили сте нешто о прогнозирању временских серија и учитали скуп података који приказује флуктуације електричног оптерећења током одређеног временског периода. + +[](https://youtu.be/IUSk-YDau10 "Увод у ARIMA") + +> 🎥 Кликните на слику изнад за видео: Кратак увод у ARIMA моделе. Пример је урађен у R језику, али су концепти универзални. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Увод + +У овој лекцији, открићете специфичан начин за изградњу модела помоћу [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). ARIMA модели су посебно погодни за податке који показују [неконстантност](https://wikipedia.org/wiki/Stationary_process). + +## Општи концепти + +Да бисте могли да радите са ARIMA моделима, потребно је да разумете неке основне концепте: + +- 🎓 **Стационарност**. У статистичком контексту, стационарност се односи на податке чија се дистрибуција не мења када се помери у времену. Неконстантни подаци показују флуктуације услед трендова који морају бити трансформисани како би се анализирали. На пример, сезоналност може унети флуктуације у податке и може се елиминисати процесом 'сезонског разликовања'. + +- 🎓 **[Разликовање](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Разликовање података, у статистичком контексту, односи се на процес трансформисања неконстантних података у константне уклањањем њиховог неконстантног тренда. "Разликовање уклања промене у нивоу временске серије, елиминише тренд и сезоналност и тиме стабилизује средњу вредност временске серије." [Рад Шиксионга и сарадника](https://arxiv.org/abs/1904.07632) + +## ARIMA у контексту временских серија + +Хајде да разложимо делове ARIMA модела како бисмо боље разумели како нам помаже у моделирању временских серија и прављењу предвиђања. + +- **AR - АутоРегресивно**. Ауторегресивни модели, како и само име каже, гледају 'уназад' у времену како би анализирали претходне вредности у вашим подацима и направили претпоставке о њима. Те претходне вредности се називају 'закашњења'. Пример би били подаци који приказују месечну продају оловака. Укупна продаја сваког месеца би се сматрала 'променљивом која се развија' у скупу података. Овај модел се гради тако што се "променљива која нас занима регресира на своје закашњеле (тј. претходне) вредности." [википедија](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - Интегрисано**. За разлику од сличних 'ARMA' модела, 'I' у ARIMA се односи на његов *[интегрисани](https://wikipedia.org/wiki/Order_of_integration)* аспект. Подаци се 'интегришу' када се примењују кораци разликовања како би се елиминисала неконстантност. + +- **MA - Покретни Просек**. Аспект [покретног просека](https://wikipedia.org/wiki/Moving-average_model) овог модела односи се на излазну променљиву која се одређује посматрањем тренутних и претходних вредности закашњења. + +Суштина: ARIMA се користи за прављење модела који што боље одговара специфичном облику података временских серија. + +## Вежба - изградња ARIMA модела + +Отворите [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) фасциклу у овој лекцији и пронађите [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb) датотеку. + +1. Покрените бележницу да учитате Python библиотеку `statsmodels`; биће вам потребна за ARIMA моделе. + +1. Учитајте неопходне библиотеке. + +1. Сада учитајте још неколико библиотека корисних за визуализацију података: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Учитајте податке из `/data/energy.csv` датотеке у Pandas dataframe и погледајте их: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Прикажите све доступне податке о енергији од јануара 2012. до децембра 2014. Не би требало да буде изненађења јер смо ове податке видели у претходној лекцији: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Сада, хајде да изградимо модел! + +### Креирање скупова за обуку и тестирање + +Сада када су ваши подаци учитани, можете их поделити на скупове за обуку и тестирање. Модел ћете обучавати на скупу за обуку. Као и обично, након што модел заврши обуку, проценићете његову тачност користећи скуп за тестирање. Морате осигурати да скуп за тестирање покрива каснији временски период у односу на скуп за обуку како бисте били сигурни да модел не добија информације из будућих временских периода. + +1. Доделите двомесечни период од 1. септембра до 31. октобра 2014. скупу за обуку. Скуп за тестирање ће укључивати двомесечни период од 1. новембра до 31. децембра 2014: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Пошто ови подаци одражавају дневну потрошњу енергије, постоји снажан сезонски образац, али је потрошња најсличнија потрошњи у последњим данима. + +1. Визуелизујте разлике: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Дакле, коришћење релативно малог временског прозора за обуку података требало би да буде довољно. + + > Напомена: Пошто функција коју користимо за прилагођавање ARIMA модела користи унутар-узорка валидацију током прилагођавања, изоставићемо валидационе податке. + +### Припрема података за обуку + +Сада треба да припремите податке за обуку тако што ћете извршити филтрирање и скалирање података. Филтрирајте свој скуп података тако да укључује само потребне временске периоде и колоне, а затим извршите скалирање како би подаци били у интервалу 0,1. + +1. Филтрирајте оригинални скуп података тако да укључује само претходно наведене временске периоде по скупу и само потребну колону 'load' плус датум: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Можете видети облик података: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Скалирајте податке тако да буду у опсегу (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Визуелизујте оригиналне и скалиране податке: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Оригинални подаци + +  + + > Скалирани подаци + +1. Сада када сте калибрисали скалиране податке, можете скалирати и тест податке: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Имплементација ARIMA модела + +Време је да имплементирате ARIMA модел! Сада ћете користити библиотеку `statsmodels` коју сте раније инсталирали. + +Сада треба да следите неколико корака: + + 1. Дефинишите модел позивањем `SARIMAX()` и прослеђивањем параметара модела: p, d, и q параметара, као и P, D, и Q параметара. + 2. Припремите модел за скуп података за обуку позивањем функције `fit()`. + 3. Направите предвиђања позивањем функције `forecast()` и специфицирањем броја корака (хоризонта) за предвиђање. + +> 🎓 Шта значе сви ови параметри? У ARIMA моделу постоје 3 параметра која се користе за моделирање главних аспеката временске серије: сезоналност, тренд и шум. Ови параметри су: + +`p`: параметар повезан са ауторегресивним аспектом модела, који укључује *прошле* вредности. +`d`: параметар повезан са интегрисаним делом модела, који утиче на количину *разликовања* (🎓 сећате се разликовања 👆?) која се примењује на временску серију. +`q`: параметар повезан са делом модела који се односи на покретни просек. + +> Напомена: Ако ваши подаци имају сезонски аспект - што је овде случај - користимо сезонски ARIMA модел (SARIMA). У том случају треба да користите још један сет параметара: `P`, `D`, и `Q` који описују исте асоцијације као `p`, `d`, и `q`, али се односе на сезонске компоненте модела. + +1. Почните тако што ћете подесити вредност хоризонта. Пробајмо 3 сата: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Одабир најбољих вредности за параметре ARIMA модела може бити изазован јер је донекле субјективан и временски захтеван. Можете размотрити коришћење функције `auto_arima()` из библиотеке [`pyramid`](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html). + +1. За сада пробајте неке ручне изборе како бисте пронашли добар модел. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Исписује се табела резултата. + +Направили сте свој први модел! Сада треба да пронађемо начин да га евалуирамо. + +### Евалуација вашег модела + +Да бисте евалуирали свој модел, можете извршити такозвану `walk forward` валидацију. У пракси, модели временских серија се поново обучавају сваки пут када нови подаци постану доступни. Ово омогућава моделу да направи најбољу прогнозу у сваком временском кораку. + +Почевши од почетка временске серије, користећи ову технику, обучите модел на скупу података за обуку. Затим направите предвиђање за следећи временски корак. Предвиђање се евалуира у односу на познату вредност. Скуп за обуку се затим проширује тако да укључује познату вредност и процес се понавља. + +> Напомена: Требало би да задржите прозор скупа за обуку фиксним ради ефикасније обуке, тако да сваки пут када додате нову опсервацију у скуп за обуку, уклоните опсервацију са почетка скупа. + +Овај процес пружа робуснију процену како ће модел функционисати у пракси. Међутим, долази са рачунарским трошковима креирања толико модела. Ово је прихватљиво ако су подаци мали или ако је модел једноставан, али може бити проблем на већем обиму. + +`Walk-forward` валидација је златни стандард за евалуацију модела временских серија и препоручује се за ваше пројекте. + +1. Прво, креирајте тестну тачку података за сваки корак ХОРИЗОНТА. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Подаци се померају хоризонтално у складу са тачком хоризонта. + +1. Направите предвиђања за тест податке користећи овај приступ клизног прозора у петљи величине скупа тест података: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Можете пратити процес обуке: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Упоредите предвиђања са стварним оптерећењем: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Излаз + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Посматрајте предвиђања података на сатном нивоу у поређењу са стварним оптерећењем. Колико је тачно? + +### Провера тачности модела + +Проверите тачност вашег модела тестирањем његове средње апсолутне процентуалне грешке (MAPE) за сва предвиђања. +> **🧮 Покажите ми математику** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) се користи за приказивање тачности предвиђања као односа дефинисаног горњом формулом. Разлика између стварне и предвиђене вредности дели се са стварном вредношћу. "Апсолутна вредност у овом израчунавању се сабира за сваку предвиђену тачку у времену и дели са бројем прилагођених тачака n." [википедија](https://wikipedia.org/wiki/Mean_absolute_percentage_error) +1. Изразите једначину у коду: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Израчунајте MAPE за један корак: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE за прогнозу једног корака: 0.5570581332313952 % + +1. Испишите MAPE за прогнозу више корака: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Добар низак број је најбољи: узмите у обзир да је прогноза са MAPE од 10 погрешна за 10%. + +1. Али као и увек, лакше је видети овакву врсту мерења тачности визуелно, па хајде да то прикажемо графички: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Веома леп графикон, који приказује модел са добром тачношћу. Одличан посао! + +--- + +## 🚀Изазов + +Истражите начине за тестирање тачности модела временске серије. У овој лекцији смо се дотакли MAPE-а, али да ли постоје други методи које бисте могли користити? Истражите их и додајте белешке. Корисни документ можете пронаћи [овде](https://otexts.com/fpp2/accuracy.html) + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Ова лекција покрива само основе прогнозирања временских серија са ARIMA моделом. Одвојите време да продубите своје знање истражујући [овај репозиторијум](https://microsoft.github.io/forecasting/) и његове различите типове модела како бисте научили друге начине за креирање модела временских серија. + +## Задатак + +[Нови ARIMA модел](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/2-ARIMA/assignment.md b/translations/sr/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 00000000..37ae2c26 --- /dev/null +++ b/translations/sr/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,25 @@ + +# Нови ARIMA модел + +## Упутства + +Сада када сте направили ARIMA модел, направите нови користећи свежије податке (испробајте један од [ових скупова података са Дјука](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Анотирајте свој рад у свесци, визуализујте податке и свој модел, и тестирајте његову тачност користећи MAPE. + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање | +| ---------- | ------------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------- | ---------------------------------- | +| | Представљена је свеска са новим ARIMA моделом који је направљен, тестиран и објашњен уз визуализације и наведену тачност. | Представљена свеска није анотирана или садржи грешке | Представљена је непотпуна свеска | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/sr/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 00000000..819f1c75 --- /dev/null +++ b/translations/sr/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да превод буде тачан, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/sr/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 00000000..470ea0ab --- /dev/null +++ b/translations/sr/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,15 @@ + +ово је привремени чувач места + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људског преводиоца. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/3-SVR/README.md b/translations/sr/7-TimeSeries/3-SVR/README.md new file mode 100644 index 00000000..3ba38ca6 --- /dev/null +++ b/translations/sr/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,393 @@ + +# Прогнозирање временских серија помоћу модела Support Vector Regressor + +У претходној лекцији научили сте како да користите ARIMA модел за предвиђање временских серија. Сада ћете се упознати са моделом Support Vector Regressor, који је регресиони модел за предвиђање континуираних података. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Увод + +У овој лекцији ћете открити специфичан начин за изградњу модела помоћу [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) за регресију, односно **SVR: Support Vector Regressor**. + +### SVR у контексту временских серија [^1] + +Пре него што разумете значај SVR-а у предвиђању временских серија, ево неких важних концепата које треба да знате: + +- **Регресија:** Надгледана техника учења за предвиђање континуираних вредности из датог скупа улаза. Идеја је да се уклопи крива (или права) у простор карактеристика која садржи максималан број података. [Кликните овде](https://en.wikipedia.org/wiki/Regression_analysis) за више информација. +- **Support Vector Machine (SVM):** Тип модела машинског учења са надзором који се користи за класификацију, регресију и детекцију одступања. Модел представља хиперраван у простору карактеристика, која у случају класификације делује као граница, а у случају регресије као најбоље уклопљена линија. У SVM-у се обично користи Kernel функција за трансформацију скупа података у простор са већим бројем димензија, како би били лакше раздвојиви. [Кликните овде](https://en.wikipedia.org/wiki/Support-vector_machine) за више информација о SVM-у. +- **Support Vector Regressor (SVR):** Тип SVM-а који проналази најбоље уклопљену линију (која је у случају SVM-а хиперраван) са максималним бројем података. + +### Зашто SVR? [^1] + +У претходној лекцији научили сте о ARIMA моделу, који је веома успешан статистички линеарни метод за прогнозирање временских серија. Међутим, у многим случајевима, временске серије садрже *нелинеарности*, које линеарни модели не могу да обраде. У таквим случајевима, способност SVM-а да узме у обзир нелинеарности у подацима за задатке регресије чини SVR успешним у прогнозирању временских серија. + +## Вежба - изградња SVR модела + +Први кораци у припреми података исти су као у претходној лекцији о [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Отворите [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) фасциклу у овој лекцији и пронађите [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb) датотеку.[^2] + +1. Покрените бележницу и увезите неопходне библиотеке: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Учитајте податке из `/data/energy.csv` датотеке у Pandas dataframe и погледајте их: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Прикажите све доступне податке о енергији од јануара 2012. до децембра 2014: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Сада, хајде да изградимо наш SVR модел. + +### Креирање скупова за обуку и тестирање + +Сада када су ваши подаци учитани, можете их поделити на скуп за обуку и скуп за тестирање. Затим ћете преобликовати податке како бисте креирали скуп података заснован на временским корацима, што ће бити потребно за SVR. Обучаваћете модел на скупу за обуку. Након што модел заврши обуку, проценићете његову тачност на скупу за обуку, скупу за тестирање и затим на целом скупу података како бисте видели укупне перформансе. Морате осигурати да скуп за тестирање покрива каснији временски период у односу на скуп за обуку како бисте спречили да модел добије информације из будућих временских периода [^2] (ситуација позната као *претерано уклапање*). + +1. Доделите двомесечни период од 1. септембра до 31. октобра 2014. скупу за обуку. Скуп за тестирање ће укључивати двомесечни период од 1. новембра до 31. децембра 2014: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Визуелизујте разлике: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### Припрема података за обуку + +Сада треба да припремите податке за обуку тако што ћете извршити филтрирање и скалирање података. Филтрирајте скуп података тако да укључује само потребне временске периоде и колоне, а затим извршите скалирање како би подаци били пројектовани у интервалу 0,1. + +1. Филтрирајте оригинални скуп података тако да укључује само претходно наведене временске периоде по скупу и само потребну колону 'load' плус датум: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Скалирајте податке за обуку тако да буду у опсегу (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Сада скалирајте податке за тестирање: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Креирање података са временским корацима [^1] + +За SVR, трансформишете улазне податке у облик `[batch, timesteps]`. Дакле, преобликујете постојеће `train_data` и `test_data` тако да постоји нова димензија која се односи на временске кораке. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +За овај пример, узимамо `timesteps = 5`. Дакле, улази у модел су подаци за прва 4 временска корака, а излаз ће бити подаци за 5. временски корак. + +```python +timesteps=5 +``` + +Претварање података за обуку у 2D тензор помоћу угнежђене листе: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Претварање података за тестирање у 2D тензор: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +Одабир улаза и излаза из података за обуку и тестирање: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Имплементација SVR [^1] + +Сада је време за имплементацију SVR-а. За више информација о овој имплементацији, можете погледати [ову документацију](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). За нашу имплементацију, следимо ове кораке: + +1. Дефинишите модел позивањем `SVR()` и прослеђивањем хиперпараметара модела: kernel, gamma, c и epsilon +2. Припремите модел за податке за обуку позивањем функције `fit()` +3. Направите предвиђања позивањем функције `predict()` + +Сада креирамо SVR модел. Овде користимо [RBF kernel](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel), и постављамо хиперпараметре gamma, C и epsilon на 0.5, 10 и 0.05 респективно. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Обучите модел на подацима за обуку [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Направите предвиђања модела [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Изградили сте свој SVR! Сада треба да га процените. + +### Процена вашег модела [^1] + +За процену, прво ћемо вратити податке на оригиналну скалу. Затим, како бисмо проверили перформансе, приказаћемо оригинални и предвиђени график временских серија, као и исписати MAPE резултат. + +Скалирајте предвиђени и оригинални излаз: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Проверите перформансе модела на подацима за обуку и тестирање [^1] + +Извлачимо временске ознаке из скупа података како бисмо их приказали на x-оси нашег графика. Имајте у виду да користимо првих ```timesteps-1``` вредности као улаз за први излаз, тако да временске ознаке за излаз почињу након тога. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Прикажите предвиђања за податке за обуку: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Испишите MAPE за податке за обуку + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Прикажите предвиђања за податке за тестирање + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Испишите MAPE за податке за тестирање + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Имате веома добар резултат на скупу података за тестирање! + +### Проверите перформансе модела на целом скупу података [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Врло лепи графици, који показују модел са добром тачношћу. Браво! + +--- + +## 🚀Изазов + +- Покушајте да подесите хиперпараметре (gamma, C, epsilon) приликом креирања модела и процените на подацима како бисте видели који сет хиперпараметара даје најбоље резултате на скупу података за тестирање. За више информација о овим хиперпараметрима, можете погледати [документацију овде](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Покушајте да користите различите kernel функције за модел и анализирајте њихове перформансе на скупу података. Корисна документација се налази [овде](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Покушајте да користите различите вредности за `timesteps` како би модел гледао уназад приликом предвиђања. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Преглед и самостално учење + +Ова лекција је била увод у примену SVR-а за прогнозирање временских серија. За више информација о SVR-у, можете погледати [овај блог](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Ова [документација на scikit-learn](https://scikit-learn.org/stable/modules/svm.html) пружа свеобухватније објашњење о SVM-овима уопште, [SVR-овима](https://scikit-learn.org/stable/modules/svm.html#regression) и такође другим детаљима имплементације као што су различите [kernel функције](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) које се могу користити и њихови параметри. + +## Задатак + +[Нови SVR модел](assignment.md) + +## Захвалнице + +[^1]: Текст, код и излаз у овом одељку допринео је [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Текст, код и излаз у овом одељку преузет је из [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/3-SVR/assignment.md b/translations/sr/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 00000000..0d42062e --- /dev/null +++ b/translations/sr/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,27 @@ + +# Нови SVR модел + +## Упутства [^1] + +Сада када сте направили SVR модел, направите нови користећи свеже податке (пробајте један од [ових скупова података са Дјука](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Бележите свој рад у свесци, визуализујте податке и свој модел, и тестирајте његову тачност користећи одговарајуће графиконе и MAPE. Такође, пробајте да подесите различите хиперпараметре и користите различите вредности за временске кораке. + +## Рубрика [^1] + +| Критеријум | Изузетно | Задовољавајуће | Потребно побољшање | +| ---------- | ---------------------------------------------------------- | ------------------------------------------------------- | -------------------------------- | +| | Свеска је представљена са изграђеним, тестираним и објашњеним SVR моделом, уз визуализације и наведену тачност. | Свеска је представљена, али није аннотована или садржи грешке. | Представљена је непотпуна свеска. | + +[^1]: Текст у овом одељку је заснован на [задатку из ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква неспоразумевања или погрешна тумачења која могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/7-TimeSeries/README.md b/translations/sr/7-TimeSeries/README.md new file mode 100644 index 00000000..b9917aee --- /dev/null +++ b/translations/sr/7-TimeSeries/README.md @@ -0,0 +1,37 @@ + +# Увод у предвиђање временских серија + +Шта је предвиђање временских серија? Ради се о предвиђању будућих догађаја анализом трендова из прошлости. + +## Регионална тема: светска потрошња електричне енергије ✨ + +У овим двема лекцијама бићете упознати са предвиђањем временских серија, релативно мање познатом облашћу машинског учења која је ипак изузетно вредна за индустријске и пословне примене, као и за друге области. Иако се неуронске мреже могу користити за побољшање корисности ових модела, проучаваћемо их у контексту класичног машинског учења, јер модели помажу у предвиђању будућих резултата на основу прошлости. + +Наш регионални фокус је потрошња електричне енергије у свету, занимљив скуп података за учење о предвиђању будуће потрошње струје на основу образаца из прошлости. Можете видети како ова врста предвиђања може бити изузетно корисна у пословном окружењу. + + + +Фотографија [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) електричних стубова на путу у Раџастану на [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Лекције + +1. [Увод у предвиђање временских серија](1-Introduction/README.md) +2. [Изградња ARIMA модела временских серија](2-ARIMA/README.md) +3. [Изградња модела Support Vector Regressor за предвиђање временских серија](3-SVR/README.md) + +## Кредити + +"Увод у предвиђање временских серија" написали су ⚡️ [Francesca Lazzeri](https://twitter.com/frlazzeri) и [Jen Looper](https://twitter.com/jenlooper). Бележнице су први пут објављене онлајн у [Azure "Deep Learning For Time Series" репозиторијуму](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) који је оригинално написала Francesca Lazzeri. Лекцију о SVR моделу написао је [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD). + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако тежимо тачности, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/8-Reinforcement/1-QLearning/README.md b/translations/sr/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 00000000..480c9bfd --- /dev/null +++ b/translations/sr/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,258 @@ + +# Увод у учење појачањем и Q-учење + + +> Скица од [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Учење појачањем укључује три важна концепта: агента, нека стања и скуп акција за свако стање. Извршавањем акције у одређеном стању, агент добија награду. Замислите поново компјутерску игру Супер Марио. Ви сте Марио, налазите се на нивоу игре, стојите поред ивице литице. Изнад вас је новчић. Ви сте Марио, на нивоу игре, на одређеној позицији ... то је ваше стање. Померање један корак удесно (акција) одвешће вас преко ивице, што би вам донело низак нумерички резултат. Међутим, притиском на дугме за скок добили бисте поен и остали бисте живи. То је позитиван исход и требало би да вам донесе позитиван нумерички резултат. + +Коришћењем учења појачањем и симулатора (игре), можете научити како да играте игру како бисте максимизовали награду, што је у овом случају преживљавање и освајање што више поена. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Кликните на слику изнад да чујете Дмитрија како говори о учењу појачањем + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Предуслови и подешавање + +У овој лекцији ћемо експериментисати са кодом у Пајтону. Требало би да будете у могућности да покренете код из Јупитер бележнице из ове лекције, било на вашем рачунару или негде у облаку. + +Можете отворити [бележницу лекције](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) и пратити ову лекцију како бисте је изградили. + +> **Напомена:** Ако отварате овај код из облака, такође треба да преузмете датотеку [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), која се користи у коду бележнице. Додајте је у исти директоријум као и бележницу. + +## Увод + +У овој лекцији истражићемо свет **[Петра и вука](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, инспирисан музичком бајком руског композитора [Сергеја Прокофјева](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Користићемо **учење појачањем** како бисмо омогућили Петру да истражује своје окружење, сакупља укусне јабуке и избегава сусрет са вуком. + +**Учење појачањем** (RL) је техника учења која нам омогућава да научимо оптимално понашање **агента** у неком **окружењу** извођењем многих експеримената. Агент у овом окружењу треба да има неки **циљ**, дефинисан **функцијом награде**. + +## Окружење + +Ради једноставности, замислимо Петров свет као квадратну таблу величине `ширина` x `висина`, овако: + + + +Свака ћелија на овој табли може бити: + +* **тло**, по коме Петар и друга створења могу ходати. +* **вода**, по којој очигледно не можете ходати. +* **дрво** или **трава**, место где можете одморити. +* **јабука**, која представља нешто што би Петар радо пронашао како би се нахранио. +* **вук**, који је опасан и треба га избегавати. + +Постоји посебан Пајтон модул, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), који садржи код за рад са овим окружењем. Пошто овај код није важан за разумевање наших концепата, увешћемо модул и користити га за креирање узорка табле (блок кода 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Овај код би требало да испише слику окружења сличну оној изнад. + +## Акције и политика + +У нашем примеру, Петров циљ би био да пронађе јабуку, избегавајући вука и друге препреке. Да би то урадио, он може суштински ходати док не пронађе јабуку. + +Дакле, на било којој позицији, он може изабрати једну од следећих акција: горе, доле, лево и десно. + +Дефинисаћемо те акције као речник и мапирати их на парове одговарајућих промена координата. На пример, померање удесно (`R`) одговарало би пару `(1,0)`. (блок кода 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Да резимирамо, стратегија и циљ овог сценарија су следећи: + +- **Стратегија** нашег агента (Петра) дефинисана је такозваном **политиком**. Политика је функција која враћа акцију у било ком датом стању. У нашем случају, стање проблема представља табла, укључујући тренутну позицију играча. + +- **Циљ** учења појачањем је да на крају научимо добру политику која ће нам омогућити да ефикасно решимо проблем. Међутим, као основну линију, размотримо најједноставнију политику звану **случајно ходање**. + +## Случајно ходање + +Прво ћемо решити наш проблем имплементацијом стратегије случајног ходања. Са случајним ходањем, насумично ћемо бирати следећу акцију из дозвољених акција, док не стигнемо до јабуке (блок кода 3). + +1. Имплементирајте случајно ходање помоћу кода испод: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + Позив функције `walk` треба да врати дужину одговарајуће путање, која може варирати од једног покретања до другог. + +1. Покрените експеримент ходања више пута (рецимо, 100) и испишите резултујућу статистику (блок кода 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Приметите да је просечна дужина путање око 30-40 корака, што је прилично много, с обзиром на то да је просечна удаљеност до најближе јабуке око 5-6 корака. + + Такође можете видети како изгледа Петрово кретање током случајног ходања: + +  + +## Функција награде + +Да бисмо нашу политику учинили интелигентнијом, морамо разумети који потези су "бољи" од других. Да бисмо то урадили, морамо дефинисати наш циљ. + +Циљ се може дефинисати у смислу **функције награде**, која ће враћати неку вредност резултата за свако стање. Што је број већи, то је боља функција награде. (блок кода 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Интересантна ствар код функција награде је да у већини случајева *добијамо значајну награду тек на крају игре*. То значи да наш алгоритам треба некако да запамти "добре" кораке који воде до позитивне награде на крају и повећа њихов значај. Слично томе, сви потези који воде до лоших резултата треба да буду обесхрабрени. + +## Q-учење + +Алгоритам који ћемо овде размотрити зове се **Q-учење**. У овом алгоритму, политика је дефинисана функцијом (или структуром података) која се зове **Q-табела**. Она бележи "квалитет" сваке од акција у датом стању. + +Зове се Q-табела јер је често згодно представити је као табелу или вишедимензионални низ. Пошто наша табла има димензије `ширина` x `висина`, можемо представити Q-табелу користећи numpy низ облика `ширина` x `висина` x `len(actions)`: (блок кода 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Приметите да иницијализујемо све вредности Q-табеле једнаком вредношћу, у нашем случају - 0.25. Ово одговара политици "случајног ходања", јер су сви потези у сваком стању подједнако добри. Можемо проследити Q-табелу функцији `plot` како бисмо визуализовали табелу на табли: `m.plot(Q)`. + + + +У центру сваке ћелије налази се "стрелица" која указује на пожељан правац кретања. Пошто су сви правци једнаки, приказује се тачка. + +Сада треба да покренемо симулацију, истражимо наше окружење и научимо бољу расподелу вредности Q-табеле, што ће нам омогућити да много брже пронађемо пут до јабуке. + +## Суштина Q-учења: Белманова једначина + +Када почнемо да се крећемо, свака акција ће имати одговарајућу награду, тј. теоретски можемо изабрати следећу акцију на основу највише непосредне награде. Међутим, у већини стања, потез неће постићи наш циљ достизања јабуке, и стога не можемо одмах одлучити који је правац бољи. + +> Запамтите да није битан непосредан резултат, већ коначни резултат, који ћемо добити на крају симулације. + +Да бисмо узели у обзир ову одложену награду, морамо користити принципе **[динамичког програмирања](https://en.wikipedia.org/wiki/Dynamic_programming)**, који нам омогућавају да размишљамо о проблему рекурзивно. + +Претпоставимо да се сада налазимо у стању *s*, и желимо да пређемо у следеће стање *s'*. Тиме ћемо добити непосредну награду *r(s,a)*, дефинисану функцијом награде, плус неку будућу награду. Ако претпоставимо да наша Q-табела тачно одражава "атрактивност" сваке акције, онда ћемо у стању *s'* изабрати акцију *a* која одговара максималној вредности *Q(s',a')*. Тако ће најбоља могућа будућа награда коју бисмо могли добити у стању *s* бити дефинисана као `max` *Q(s',a')* (максимум се овде рачуна преко свих могућих акција *a'* у стању *s'*). + +Ово нам даје **Белманову формулу** за израчунавање вредности Q-табеле у стању *s*, за дату акцију *a*: + +## Провера политике + +Пошто Q-табела приказује "атрактивност" сваке акције у сваком стању, прилично је једноставно користити је за дефинисање ефикасне навигације у нашем свету. У најједноставнијем случају, можемо изабрати акцију која одговара највишој вредности у Q-табели: (код блок 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Ако пробате код изнад неколико пута, можда ћете приметити да понекад "заглави", и мораћете да притиснете дугме STOP у бележници да бисте га прекинули. Ово се дешава јер могу постојати ситуације када два стања "упућују" једно на друго у смислу оптималне Q-вредности, у ком случају агент завршава тако што се бесконачно креће између тих стања. + +## 🚀Изазов + +> **Задатак 1:** Измените функцију `walk` да ограничите максималну дужину пута на одређени број корака (рецимо, 100), и посматрајте како код изнад враћа ову вредност с времена на време. + +> **Задатак 2:** Измените функцију `walk` тако да се не враћа на места на којима је већ био. Ово ће спречити `walk` да уђе у петљу, али агент и даље може завршити "заробљен" на локацији са које не може побећи. + +## Навигација + +Боља политика навигације била би она коју смо користили током тренинга, која комбинује експлоатацију и истраживање. У овој политици, изабраћемо сваку акцију са одређеном вероватноћом, пропорционално вредностима у Q-табели. Ова стратегија може и даље довести до тога да се агент врати на позицију коју је већ истражио, али, као што можете видети из кода испод, резултира веома кратком просечном дужином пута до жељене локације (сетите се да `print_statistics` покреће симулацију 100 пута): (код блок 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Након покретања овог кода, требало би да добијете много мању просечну дужину пута него раније, у распону од 3-6. + +## Истраживање процеса учења + +Као што смо поменули, процес учења је баланс између истраживања и експлоатације стеченог знања о структури простора проблема. Видели смо да су резултати учења (способност да се агенту помогне да пронађе кратак пут до циља) побољшани, али је такође занимљиво посматрати како се просечна дужина путања понаша током процеса учења: + +## Сажетак учења: + +- **Просечна дужина пута се повећава**. Оно што овде видимо је да се на почетку просечна дужина пута повећава. Ово је вероватно због чињенице да када ништа не знамо о окружењу, вероватно ћемо се заглавити у лошим стањима, води или код вука. Како више учимо и почнемо да користимо то знање, можемо дуже истраживати окружење, али још увек не знамо добро где се налазе јабуке. + +- **Дужина пута се смањује како више учимо**. Када довољно научимо, постаје лакше агенту да постигне циљ, и дужина пута почиње да се смањује. Међутим, још увек смо отворени за истраживање, па често одступамо од најбољег пута и истражујемо нове опције, чинећи пут дужим од оптималног. + +- **Дужина се нагло повећава**. Оно што такође примећујемо на овом графику је да се у једном тренутку дужина нагло повећала. Ово указује на стохастичку природу процеса, и да у једном тренутку можемо "покварити" коефицијенте у Q-табели тако што их препишемо новим вредностима. Ово би идеално требало минимизирати смањењем стопе учења (на пример, пред крај тренинга, вредности у Q-табели прилагођавамо само малим износом). + +Уопштено, важно је запамтити да успех и квалитет процеса учења значајно зависе од параметара, као што су стопа учења, опадање стопе учења и фактор дисконтовања. Ови параметри се често називају **хиперпараметри**, како би се разликовали од **параметара**, које оптимизујемо током тренинга (на пример, коефицијенти у Q-табели). Процес проналажења најбољих вредности хиперпараметара назива се **оптимизација хиперпараметара**, и заслужује посебну тему. + +## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Задатак +[Реалнији свет](assignment.md) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/8-Reinforcement/1-QLearning/assignment.md b/translations/sr/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 00000000..47fb8808 --- /dev/null +++ b/translations/sr/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,41 @@ + +# Реалистичнији свет + +У нашој ситуацији, Петар је могао да се креће готово без умора или глади. У реалистичнијем свету, морао би с времена на време да седне и одмори се, као и да се нахрани. Хајде да учинимо наш свет реалистичнијим, применом следећих правила: + +1. Крећући се са једног места на друго, Петар губи **енергију** и добија **умор**. +2. Петар може да поврати енергију једући јабуке. +3. Петар може да се ослободи умора одмарајући се испод дрвета или на трави (тј. уласком на поље са дрветом или травом - зелено поље). +4. Петар мора да пронађе и убије вука. +5. Да би убио вука, Петар мора да има одређене нивое енергије и умора, у супротном губи битку. + +## Упутства + +Користите оригинални [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) као почетну тачку за ваше решење. + +Измените функцију награде у складу са правилима игре, покрените алгоритам за учење појачањем како бисте научили најбољу стратегију за победу у игри, и упоредите резултате случајног кретања са вашим алгоритмом у смислу броја добијених и изгубљених игара. + +> **Напомена**: У вашем новом свету, стање је сложеније и, поред позиције човека, укључује и нивое умора и енергије. Можете изабрати да представите стање као тројку (табла, енергија, умор), или да дефинишете класу за стање (можете је чак и наследити из `Board`), или чак да измените оригиналну класу `Board` унутар [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py). + +У вашем решењу, молимо вас да задржите код одговоран за стратегију случајног кретања и упоредите резултате вашег алгоритма са случајним кретањем на крају. + +> **Напомена**: Можда ћете морати да прилагодите хиперпараметре како би све функционисало, посебно број епоха. Пошто је успех у игри (борба са вуком) редак догађај, можете очекивати знатно дуже време обуке. + +## Рубрика + +| Критеријум | Изузетно | Задовољавајуће | Потребна побољшања | +| ---------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Презентован је нотебук са дефиницијом нових правила света, Q-Learning алгоритмом и текстуалним објашњењима. Q-Learning значајно побољшава резултате у поређењу са случајним кретањем. | Презентован је нотебук, Q-Learning је имплементиран и побољшава резултате у поређењу са случајним кретањем, али не значајно; или је нотебук слабо документован, а код није добро структуриран. | Направљен је покушај редефинисања правила света, али Q-Learning алгоритам не функционише, или функција награде није у потпуности дефинисана. | + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/sr/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 00000000..acb6d731 --- /dev/null +++ b/translations/sr/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/sr/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 00000000..4d636254 --- /dev/null +++ b/translations/sr/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,15 @@ + +ово је привремени чувач места + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/8-Reinforcement/2-Gym/README.md b/translations/sr/8-Reinforcement/2-Gym/README.md new file mode 100644 index 00000000..3b29272e --- /dev/null +++ b/translations/sr/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,351 @@ + +# Проблем са клизањем на шипци + +Проблем који смо решавали у претходној лекцији можда изгледа као играчка, без стварне примене у реалним сценаријима. Међутим, то није случај, јер многи проблеми из стварног живота деле сличан сценарио – укључујући играње шаха или игре Го. Они су слични јер такође имамо таблу са одређеним правилима и **дискретно стање**. + +## [Квиз пре предавања](https://ff-quizzes.netlify.app/en/ml/) + +## Увод + +У овој лекцији применићемо исте принципе Q-учења на проблем са **континуалним стањем**, односно стањем које је дефинисано једним или више реалних бројева. Бавићемо се следећим проблемом: + +> **Проблем**: Ако Петар жели да побегне од вука, мора бити у стању да се креће брже. Видећемо како Петар може научити да клиза, конкретно, како да одржава равнотежу, користећи Q-учење. + + + +> Петар и његови пријатељи постају креативни како би побегли од вука! Слика: [Џен Лупер](https://twitter.com/jenlooper) + +Користићемо поједностављену верзију одржавања равнотеже познату као проблем **CartPole**. У свету CartPole-а имамо хоризонтални клизач који се може кретати лево или десно, а циљ је одржати вертикалну шипку у равнотежи на врху клизача. + +## Предуслови + +У овој лекцији користићемо библиотеку **OpenAI Gym** за симулацију различитих **окружења**. Код ове лекције можете покренути локално (нпр. из Visual Studio Code-а), у ком случају ће се симулација отворити у новом прозору. Када покрећете код онлајн, можда ћете морати да направите неке измене у коду, као што је описано [овде](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7). + +## OpenAI Gym + +У претходној лекцији, правила игре и стање су били дефинисани унутар класе `Board` коју смо сами креирали. Овде ћемо користити специјално **симулационо окружење**, које ће симулирати физику иза равнотеже шипке. Једно од најпопуларнијих симулационих окружења за тренирање алгоритама за појачано учење је [Gym](https://gym.openai.com/), који одржава [OpenAI](https://openai.com/). Коришћењем овог Gym-а можемо креирати различита **окружења**, од симулације CartPole-а до Atari игара. + +> **Напомена**: Остала окружења доступна у OpenAI Gym-у можете видети [овде](https://gym.openai.com/envs/#classic_control). + +Прво, инсталирајмо Gym и увезимо потребне библиотеке (блок кода 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Вежба – иницијализација окружења CartPole + +Да бисмо радили са проблемом равнотеже шипке, потребно је да иницијализујемо одговарајуће окружење. Свако окружење је повезано са: + +- **Простором посматрања** који дефинише структуру информација које добијамо из окружења. За проблем CartPole-а, добијамо позицију шипке, брзину и неке друге вредности. + +- **Простором акција** који дефинише могуће акције. У нашем случају, простор акција је дискретан и састоји се од две акције – **лево** и **десно**. (блок кода 2) + +1. Да бисмо иницијализовали окружење, укуцајте следећи код: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Да бисмо видели како окружење функционише, покренимо кратку симулацију од 100 корака. На сваком кораку, задајемо једну од акција које треба предузети – у овој симулацији насумично бирамо акцију из `action_space`. + +1. Покрените код испод и видите шта се дешава. + + ✅ Запамтите да је пожељно покренути овај код на локалној Python инсталацији! (блок кода 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Требало би да видите нешто слично овој слици: + +  + +1. Током симулације, потребно је да добијемо посматрања како бисмо одлучили како да делујемо. У ствари, функција `step` враћа тренутна посматрања, функцију награде и заставицу `done` која указује да ли има смисла наставити симулацију или не: (блок кода 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + У излазу у бележници требало би да видите нешто овако: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Вектор посматрања који се враћа на сваком кораку симулације садржи следеће вредности: + - Позиција колица + - Брзина колица + - Угао шипке + - Брзина ротације шипке + +1. Добијте минималну и максималну вредност ових бројева: (блок кода 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Такође можете приметити да је вредност награде на сваком кораку симулације увек 1. То је зато што је наш циљ да преживимо што је дуже могуће, односно да одржимо шипку у разумно вертикалном положају што дуже. + + ✅ У ствари, симулација CartPole-а се сматра решеном ако успемо да добијемо просечну награду од 195 током 100 узастопних покушаја. + +## Дискретизација стања + +У Q-учењу, потребно је изградити Q-табелу која дефинише шта радити у сваком стању. Да бисмо то урадили, стање мора бити **дискретно**, прецизније, мора садржати коначан број дискретних вредности. Због тога је потребно некако **дискретизовати** наша посматрања, мапирајући их на коначан скуп стања. + +Постоји неколико начина да се то уради: + +- **Подела на интервале**. Ако знамо интервал одређене вредности, можемо поделити тај интервал на одређени број **интервала**, а затим заменити вредност бројем интервала коме припада. Ово се може урадити помоћу numpy методе [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). У овом случају, тачно ћемо знати величину стања, јер ће зависити од броја интервала које изаберемо за дигитализацију. + +✅ Можемо користити линеарну интерполацију да доведемо вредности у неки коначан интервал (рецимо, од -20 до 20), а затим претворити бројеве у целе бројеве заокруживањем. Ово нам даје нешто мању контролу над величином стања, посебно ако не знамо тачне опсеге улазних вредности. На пример, у нашем случају 2 од 4 вредности немају горње/доње границе, што може резултирати бесконачним бројем стања. + +У нашем примеру, користићемо други приступ. Како ћете касније приметити, упркос неодређеним горњим/доњим границама, те вредности ретко прелазе одређене коначне интервале, тако да ће та стања са екстремним вредностима бити веома ретка. + +1. Ево функције која ће узети посматрање из нашег модела и произвести четворку целих бројева: (блок кода 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Такође истражимо други метод дискретизације користећи интервале: (блок кода 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Сада покренимо кратку симулацију и посматрајмо те дискретне вредности окружења. Слободно испробајте и `discretize` и `discretize_bins` и видите да ли постоји разлика. + + ✅ `discretize_bins` враћа број интервала, који почиње од 0. Дакле, за вредности улазне променљиве око 0 враћа број из средине интервала (10). У `discretize`, нисмо се бринули о опсегу излазних вредности, дозвољавајући им да буду негативне, тако да вредности стања нису померене, а 0 одговара 0. (блок кода 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Раскоментаришите линију која почиње са `env.render` ако желите да видите како се окружење извршава. У супротном, можете га извршити у позадини, што је брже. Ово "невидљиво" извршавање ћемо користити током процеса Q-учења. + +## Структура Q-табеле + +У претходној лекцији, стање је било једноставан пар бројева од 0 до 8, и стога је било згодно представити Q-табелу помоћу numpy тензора облика 8x8x2. Ако користимо дискретизацију интервала, величина нашег векторског стања је такође позната, тако да можемо користити исти приступ и представити стање низом облика 20x20x10x10x2 (овде је 2 димензија простора акција, а прве димензије одговарају броју интервала које смо изабрали за сваку од параметара у простору посматрања). + +Међутим, понекад прецизне димензије простора посматрања нису познате. У случају функције `discretize`, никада не можемо бити сигурни да наше стање остаје унутар одређених граница, јер неке од оригиналних вредности нису ограничене. Због тога ћемо користити мало другачији приступ и представити Q-табелу помоћу речника. + +1. Користите пар *(state, action)* као кључ речника, а вредност би одговарала вредности уноса Q-табеле. (блок кода 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Овде такође дефинишемо функцију `qvalues()`, која враћа листу вредности Q-табеле за дато стање које одговарају свим могућим акцијама. Ако унос није присутан у Q-табели, вратићемо 0 као подразумевану вредност. + +## Почнимо са Q-учењем + +Сада смо спремни да научимо Петра како да одржава равнотежу! + +1. Прво, подесимо неке хиперпараметре: (блок кода 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Овде је `alpha` **стопа учења** која дефинише у којој мери треба да прилагодимо тренутне вредности Q-табеле на сваком кораку. У претходној лекцији почели смо са 1, а затим смањили `alpha` на ниже вредности током тренинга. У овом примеру ћемо га држати константним ради једноставности, а ви можете експериментисати са прилагођавањем вредности `alpha` касније. + + `gamma` је **фактор попуста** који показује у којој мери треба да приоритет дамо будућој награди у односу на тренутну награду. + + `epsilon` је **фактор истраживања/експлоатације** који одређује да ли треба да преферирамо истраживање у односу на експлоатацију или обрнуто. У нашем алгоритму, у `epsilon` проценту случајева изабраћемо следећу акцију према вредностима Q-табеле, а у преосталом броју случајева извршићемо насумичну акцију. Ово ће нам омогућити да истражимо области претраживачког простора које раније нисмо видели. + + ✅ У смислу равнотеже – одабир насумичне акције (истраживање) деловао би као насумичан ударац у погрешном смеру, а шипка би морала да научи како да поврати равнотежу из тих "грешака". + +### Побољшање алгоритма + +Можемо направити два побољшања нашег алгоритма из претходне лекције: + +- **Израчунајте просечну кумулативну награду**, током одређеног броја симулација. Штампаћемо напредак сваких 5000 итерација и просечити нашу кумулативну награду током тог периода. То значи да ако добијемо више од 195 поена – можемо сматрати да је проблем решен, и то са још већим квалитетом него што је потребно. + +- **Израчунајте максимални просечни кумулативни резултат**, `Qmax`, и сачуваћемо Q-табелу која одговара том резултату. Када покренете тренинг, приметићете да понекад просечни кумулативни резултат почиње да опада, и желимо да задржимо вредности Q-табеле које одговарају најбољем моделу посматраном током тренинга. + +1. Сакупите све кумулативне награде у свакој симулацији у вектору `rewards` за даље графичко приказивање. (блок кода 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Џен
- Ерик Ванџау
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Џен
- Ерик Ванџау
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Џен и Дмитри
- Ерик Ванџау
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Џен
- Ерик Ванџау
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Џен и Кеси
- Ерик Ванџау
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Џен и Кеси
- Ерик Ванџау
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Џен и Кеси
- Ерик Ванџау
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Џен
- Ерик Ванџау
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Џен
- Ерик Ванџау
.yml). Овај workflow ће обрађивати процес изградње и деплојовања. + +6. Праћење деплојовања +Идите на картицу „Actions“ у вашем GitHub репозиторијуму. +Требало би да видите workflow који се извршава. Овај workflow ће изградити и деплојовати вашу статичну веб апликацију на Azure. +Када workflow буде завршен, ваша апликација ће бити активна на обезбеђеном Azure URL-у. + +### Пример датотеке workflow-а + +Ево примера како би GitHub Actions workflow датотека могла изгледати: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Додатни ресурси +- [Документација за Azure статичне веб апликације](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Документација за GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/sketchnotes/LICENSE.md b/translations/sr/sketchnotes/LICENSE.md new file mode 100644 index 00000000..d83f0961 --- /dev/null +++ b/translations/sr/sketchnotes/LICENSE.md @@ -0,0 +1,126 @@ + +Атрибуција-Делити под истим условима 4.0 Међународна + +======================================================================= + +Creative Commons Corporation („Creative Commons“) није адвокатска фирма и не пружа правне услуге или правне савете. Дистрибуција јавних лиценци Creative Commons не ствара однос адвокат-клијент или било који други однос. Creative Commons чини своје лиценце и повезане информације доступним „као што јесу“. Creative Commons не даје гаранције у вези са својим лиценцама, било којим материјалом лиценцираним под њиховим условима и одредбама, или било којим повезаним информацијама. Creative Commons одриче сваку одговорност за штету која произилази из њихове употребе у највећој могућој мери. + +Коришћење јавних лиценци Creative Commons + +Јавне лиценце Creative Commons пружају стандардни сет услова које творци и други носиоци права могу користити за дељење оригиналних ауторских дела и другог материјала који подлеже ауторским правима и одређеним другим правима наведеним у јавној лиценци испод. Следеће напомене су само информативне, нису исцрпне и не чине део наших лиценци. + + Напомене за лиценцоре: Наше јавне лиценце су намењене за употребу од стране оних који су овлашћени да јавности дају дозволу за коришћење материјала на начине који су иначе ограничени ауторским правима и одређеним другим правима. Наше лиценце су неповратне. Лиценцори треба да прочитају и разумеју услове лиценце коју одаберу пре него што је примене. Лиценцори такође треба да обезбеде сва потребна права пре примене наших лиценци како би јавност могла да поново користи материјал како је очекивано. Лиценцори треба јасно да означе сваки материјал који није предмет лиценце. Ово укључује други материјал лиценциран под CC лиценцом или материјал коришћен под изузетком или ограничењем ауторских права. Више напомена за лиценцоре: + wiki.creativecommons.org/Considerations_for_licensors + + Напомене за јавност: Коришћењем једне од наших јавних лиценци, лиценцор даје јавности дозволу да користи лиценцирани материјал под одређеним условима. Ако дозвола лиценцора није потребна из било ког разлога — на пример, због применљивог изузетка или ограничења ауторских права — онда та употреба није регулисана лиценцом. Наше лиценце дају само дозволе под ауторским правима и одређеним другим правима које лиценцор има овлашћење да да. Употреба лиценцираног материјала може и даље бити ограничена из других разлога, укључујући то што други имају ауторска права или друга права на материјал. Лиценцор може поставити посебне захтеве, као што је тражење да се све измене означе или опишу. Иако то није обавезно према нашим лиценцама, препоручује се да поштујете те захтеве где је то разумно. Више напомена за јавност: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Атрибуција-Делити под истим условима 4.0 Међународна јавна лиценца + +Коришћењем Лиценцираних права (дефинисаних испод), прихватате и слажете се да будете обавезани условима Creative Commons Атрибуција-Делити под истим условима 4.0 Међународне јавне лиценце („Јавна лиценца“). У мери у којој се ова Јавна лиценца може тумачити као уговор, добијате Лиценцирана права у замену за прихватање ових услова, а Лиценцор вам даје та права у замену за користи које Лиценцор добија од стављања Лиценцираног материјала на располагање под овим условима. + +Раздел 1 -- Дефиниције. + + а. Прерађени материјал означава материјал који подлеже ауторским правима и сличним правима, а који је изведен из или заснован на Лиценцираном материјалу и у којем је Лиценцирани материјал преведен, измењен, уређен, трансформисан или на други начин модификован на начин који захтева дозволу под ауторским правима и сличним правима која држи Лиценцор. За потребе ове Јавне лиценце, где је Лиценцирани материјал музичко дело, извођење или звучни запис, Прерађени материјал се увек производи када је Лиценцирани материјал синхронизован у временском односу са покретном сликом. + + б. Лиценца адаптера означава лиценцу коју примењујете на ваша ауторска права и слична права у вашим доприносима Прерађеном материјалу у складу са условима ове Јавне лиценце. + + в. Лиценца компатибилна са BY-SA означава лиценцу наведено на creativecommons.org/compatiblelicenses, коју је Creative Commons одобрио као суштински еквивалент овој Јавној лиценци. + + г. Ауторска права и слична права означавају ауторска права и/или слична права блиско повезана са ауторским правима, укључујући, без ограничења, извођење, емитовање, звучни запис и sui generis права на базу података, без обзира на то како су права означена или категорисана. За потребе ове Јавне лиценце, права наведена у Разделу 2(б)(1)-(2) нису ауторска права и слична права. + + д. Ефективне технолошке мере означавају мере које, у одсуству одговарајућег овлашћења, не могу бити заобиђене према законима који испуњавају обавезе према Члану 11 Уговора о ауторским правима WIPO усвојеног 20. децембра 1996. године, и/или сличним међународним споразумима. + + ђ. Изузеци и ограничења означавају праведну употребу, праведно поступање и/или било који други изузетак или ограничење ауторских права и сличних права који се примењују на вашу употребу Лиценцираног материјала. + + е. Елементи лиценце означавају атрибуте лиценце наведене у називу Creative Commons Јавне лиценце. Елементи лиценце ове Јавне лиценце су Атрибуција и Делити под истим условима. + + ж. Лиценцирани материјал означава уметничко или књижевно дело, базу података или други материјал на који је Лиценцор применио ову Јавну лиценцу. + + з. Лиценцирана права означавају права која су вам додељена под условима ове Јавне лиценце, а која су ограничена на сва ауторска права и слична права која се примењују на вашу употребу Лиценцираног материјала и која Лиценцор има овлашћење да лиценцира. + + и. Лиценцор означава појединца или ентитет који додељује права под овом Јавном лиценцом. + + ј. Делити означава пружање материјала јавности било којим средствима или процесом који захтева дозволу под Лиценцираним правима, као што су репродукција, јавно приказивање, јавно извођење, дистрибуција, ширење, комуникација или увоз, и стављање материјала на располагање јавности, укључујући на начине који омогућавају члановима јавности да приступе материјалу са места и у време које сами изаберу. + + к. Sui generis права на базу података означавају права другачија од ауторских права која произилазе из Директиве 96/9/EC Европског парламента и Савета од 11. марта 1996. године о правној заштити база података, како је измењена и/или наследила, као и друга суштински еквивалентна права било где у свету. + + л. Ви означава појединца или ентитет који користи Лиценцирана права под овом Јавном лиценцом. Ваш има одговарајуће значење. + +... +Права, затим база података у којој имате Sui Generis Database права (али не њен појединачни садржај) је адаптирани материјал, + +укључујући за потребе одељка 3(б); и +ц. Морате се придржавати услова из одељка 3(а) ако делите целокупан или значајан део садржаја базе података. + +Ради избегавања сумње, овај одељак 4 допуњује и не замењује ваше обавезе према овој јавној лиценци где лиценцирана права укључују друга ауторска и слична права. + +--- + +Одељак 5 -- Одрицање од гаранција и ограничење одговорности. + +а. ОСИМ АКО ЛИЦЕНЦОДАВАЦ ПОСЕБНО НЕ ПРЕДУЗМЕ ДРУГАЧИЈЕ, У МЕРИ У КОЈОЈ ЈЕ ТО МОГУЋЕ, ЛИЦЕНЦОДАВАЦ НУДИ ЛИЦЕНЦИРАНИ МАТЕРИЈАЛ У СТАЊУ "КАКВО ЈЕ" И "КАКВО ЈЕ ДОСТУПНО", И НЕ ДАЈЕ НИКАКВЕ ИЗЈАВЕ ИЛИ ГАРАНЦИЈЕ БИЛО КОЈЕ ВРСТЕ У ВЕЗИ СА ЛИЦЕНЦИРАНИМ МАТЕРИЈАЛОМ, БИЛО ИЗРИЧИТЕ, ПОДРАЗУМЕВАНЕ, ЗАКОНСКЕ ИЛИ ДРУГЕ. ОВО УКЉУЧУЈЕ, БЕЗ ОГРАНИЧЕЊА, ГАРАНЦИЈЕ ЗА НАСЛОВ, ПРОДАЈНОСТ, ПРИКЛАДНОСТ ЗА ОДРЕЂЕНУ НАМЕНУ, НЕПОВРЕДУ, ОДСУСТВО ЛАТЕНТНИХ ИЛИ ДРУГИХ МАНА, ТАЧНОСТ, ИЛИ ПРИСУСТВО ИЛИ ОДСУСТВО ГРЕШАКА, БИЛО ПОЗНАТИХ ИЛИ ОТКРИВЕНИХ. ГДЕ ОДРИЦАЊЕ ОД ГАРАНЦИЈА НИЈЕ ДОЗВОЉЕНО У ЦЕЛОСТИ ИЛИ ДЕЛИМИЧНО, ОВО ОДРИЦАЊЕ МОЖДА НЕЋЕ ВАЖИТИ ЗА ВАС. + +б. У МЕРИ У КОЈОЈ ЈЕ ТО МОГУЋЕ, ЛИЦЕНЦОДАВАЦ НИ У КОМ СЛУЧАЈУ НЕЋЕ БИТИ ОДГОВОРАН ВАМА ПО БИЛО КОЈОЈ ПРАВНОЈ ТЕОРИЈИ (УКЉУЧУЈУЋИ, БЕЗ ОГРАНИЧЕЊА, НЕПАЖЊУ) ИЛИ НА ДРУГИ НАЧИН ЗА БИЛО КАКВЕ ДИРЕКТНЕ, ПОСЕБНЕ, ИНДИРЕКТНЕ, СЛУЧАЈНЕ, ПОСЛЕДИЧНЕ, КАЗНЕНЕ, ЕГЗЕМПЛАРНЕ ИЛИ ДРУГЕ ГУБИТКЕ, ТРОШКОВЕ, РАСХОДЕ ИЛИ ШТЕТЕ ПРОИЗАШЛЕ ИЗ ОВЕ ЈАВНЕ ЛИЦЕНЦЕ ИЛИ КОРИШЋЕЊА ЛИЦЕНЦИРАНОГ МАТЕРИЈАЛА, ЧАК И АКО ЈЕ ЛИЦЕНЦОДАВАЦ БИО ОБАВЕШТЕН О МОГУЋНОСТИ ТАКВИХ ГУБИТАКА, ТРОШКОВА, РАСХОДА ИЛИ ШТЕТА. ГДЕ ОГРАНИЧЕЊЕ ОДГОВОРНОСТИ НИЈЕ ДОЗВОЉЕНО У ЦЕЛОСТИ ИЛИ ДЕЛИМИЧНО, ОВО ОГРАНИЧЕЊЕ МОЖДА НЕЋЕ ВАЖИТИ ЗА ВАС. + +ц. Одрицање од гаранција и ограничење одговорности наведено изнад тумачиће се на начин који, у мери у којој је то могуће, најближе одговара апсолутном одрицању и одрицању од сваке одговорности. + +--- + +Одељак 6 -- Рок и раскид. + +а. Ова јавна лиценца важи током трајања ауторских и сличних права лиценцираних овде. Међутим, ако не поштујете ову јавну лиценцу, ваша права према овој јавној лиценци аутоматски престају. + +б. Где ваше право на коришћење лиценцираног материјала престане према одељку 6(а), оно се обнавља: + +1. аутоматски од датума када је прекршај исправљен, под условом да је исправљен у року од 30 дана од вашег откривања прекршаја; или +2. уз изричито обнављање од стране лиценцодавца. + +Ради избегавања сумње, овај одељак 6(б) не утиче на било које право које лиценцодавац може имати да тражи правне лекове за ваше прекршаје ове јавне лиценце. + +ц. Ради избегавања сумње, лиценцодавац може такође понудити лиценцирани материјал под одвојеним условима или престати да дистрибуира лиценцирани материјал у било ком тренутку; међутим, то неће раскинути ову јавну лиценцу. + +д. Одељци 1, 5, 6, 7 и 8 остају на снази након раскида ове јавне лиценце. + +--- + +Одељак 7 -- Други услови и одредбе. + +а. Лиценцодавац неће бити обавезан било којим додатним или различитим условима или одредбама које ви комуницирате, осим ако их изричито прихвати. + +б. Било који договори, разумевања или споразуми у вези са лиценцираним материјалом који нису наведени овде су одвојени и независни од услова и одредби ове јавне лиценце. + +--- + +Одељак 8 -- Тумачење. + +а. Ради избегавања сумње, ова јавна лиценца не смањује, ограничава, рестриктивно тумачи или намеће услове на било коју употребу лиценцираног материјала која би се могла законито обавити без дозволе према овој јавној лиценци. + +б. У мери у којој је то могуће, ако се било која одредба ове јавне лиценце сматра неизводљивом, она ће се аутоматски реформисати до минималне мере потребне да би била изводљива. Ако одредба не може бити реформисана, она ће бити издвојена из ове јавне лиценце без утицаја на изводљивост преосталих услова и одредби. + +ц. Ниједан услов или одредба ове јавне лиценце неће бити одбачен и ниједан пропуст у поштовању неће бити прихваћен, осим ако то изричито прихвати лиценцодавац. + +д. Ништа у овој јавној лиценци не представља или се може тумачити као ограничење или одрицање било којих привилегија и имунитета који се примењују на лиценцодавца или вас, укључујући од правних процеса било које јурисдикције или власти. + +--- + +======================================================================= + +Creative Commons није страна у својим јавним лиценцама. Ипак, Creative Commons може изабрати да примени једну од својих јавних лиценци на материјал који објављује и у тим случајевима ће се сматрати „лиценцодавцем“. Текст јавних лиценци Creative Commons посвећен је јавном домену под CC0 Public Domain Dedication. Осим за ограничену сврху указивања да је материјал подељен под јавном лиценцом Creative Commons или како је другачије дозвољено према политикама Creative Commons објављеним на creativecommons.org/policies, Creative Commons не овлашћује употребу жига „Creative Commons“ или било ког другог жига или логотипа Creative Commons без претходне писмене сагласности, укључујући, без ограничења, у вези са било каквим неовлашћеним изменама било које од његових јавних лиценци или било којим другим договорима, разумевањима или споразумима у вези са коришћењем лиценцираног материјала. Ради избегавања сумње, овај пасус није део јавних лиценци. + +Creative Commons можете контактирати на creativecommons.org. + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода. \ No newline at end of file diff --git a/translations/sr/sketchnotes/README.md b/translations/sr/sketchnotes/README.md new file mode 100644 index 00000000..a01d27ea --- /dev/null +++ b/translations/sr/sketchnotes/README.md @@ -0,0 +1,21 @@ + +Све скице наставног плана могу се преузети овде. + +🖨 За штампање у високој резолуцији, TIFF верзије су доступне у [овом репозиторијуму](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Аутор: [Томоми Имура](https://github.com/girliemac) (Твитер: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +--- + +**Одрицање од одговорности**: +Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неспоразуме који могу произаћи из коришћења овог превода. \ No newline at end of file diff --git a/translations/uk/1-Introduction/1-intro-to-ML/README.md b/translations/uk/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 00000000..128e0bcd --- /dev/null +++ b/translations/uk/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,159 @@ + +# Вступ до машинного навчання + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML для початківців - Вступ до машинного навчання для початківців") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео, яке пояснює цей урок. + +Ласкаво просимо до курсу класичного машинного навчання для початківців! Незалежно від того, чи ви абсолютно новачок у цій темі, чи досвідчений практик ML, який хоче освіжити знання, ми раді вас бачити! Ми прагнемо створити дружню стартову платформу для вашого навчання ML і будемо раді оцінити, відповісти та врахувати ваші [відгуки](https://github.com/microsoft/ML-For-Beginners/discussions). + +[](https://youtu.be/h0e2HAPTGF4 "Вступ до ML") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Джон Гуттаг з MIT представляє машинне навчання + +--- +## Початок роботи з машинним навчанням + +Перед початком цього курсу вам потрібно налаштувати свій комп'ютер для локального запуску ноутбуків. + +- **Налаштуйте свій комп'ютер за допомогою цих відео**. Використовуйте наступні посилання, щоб дізнатися [як встановити Python](https://youtu.be/CXZYvNRIAKM) на вашій системі та [налаштувати текстовий редактор](https://youtu.be/EU8eayHWoZg) для розробки. +- **Вивчіть Python**. Також рекомендується мати базове розуміння [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), мови програмування, яка корисна для спеціалістів з даних і яку ми використовуємо в цьому курсі. +- **Вивчіть Node.js та JavaScript**. Ми також кілька разів використовуємо JavaScript у цьому курсі для створення веб-додатків, тому вам потрібно мати встановлені [node](https://nodejs.org) і [npm](https://www.npmjs.com/), а також [Visual Studio Code](https://code.visualstudio.com/) для розробки на Python і JavaScript. +- **Створіть обліковий запис GitHub**. Оскільки ви знайшли нас тут на [GitHub](https://github.com), можливо, у вас вже є обліковий запис, але якщо ні, створіть його, а потім форкніть цей курс для власного використання. (Можете також поставити нам зірочку 😊) +- **Ознайомтеся з Scikit-learn**. Ознайомтеся з [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), набором бібліотек ML, які ми використовуємо в цих уроках. + +--- +## Що таке машинне навчання? + +Термін "машинне навчання" є одним із найпопулярніших і найчастіше використовуваних термінів сьогодення. Існує значна ймовірність, що ви чули цей термін хоча б раз, якщо маєте певне знайомство з технологіями, незалежно від того, в якій галузі працюєте. Однак механізми машинного навчання залишаються загадкою для більшості людей. Для початківця в машинному навчанні ця тема іноді може здаватися складною. Тому важливо зрозуміти, що таке машинне навчання, і вивчати його поступово, через практичні приклади. + +--- +## Крива популярності + + + +> Google Trends показує останню "криву популярності" терміну "машинне навчання" + +--- +## Загадковий всесвіт + +Ми живемо у всесвіті, повному захоплюючих загадок. Великі вчені, такі як Стівен Гокінг, Альберт Ейнштейн та багато інших, присвятили своє життя пошуку значущої інформації, яка розкриває таємниці світу навколо нас. Це людська природа навчання: дитина вчиться новому і рік за роком відкриває структуру свого світу, дорослішаючи. + +--- +## Мозок дитини + +Мозок і органи чуття дитини сприймають факти про навколишнє середовище і поступово вивчають приховані закономірності життя, які допомагають дитині створювати логічні правила для розпізнавання вивчених шаблонів. Процес навчання людського мозку робить людей найскладнішими живими істотами на цій планеті. Постійне навчання через відкриття прихованих закономірностей і подальше вдосконалення цих закономірностей дозволяє нам ставати кращими протягом усього життя. Ця здатність до навчання та еволюції пов'язана з концепцією, яка називається [пластичність мозку](https://www.simplypsychology.org/brain-plasticity.html). Поверхнево ми можемо провести деякі мотиваційні паралелі між процесом навчання людського мозку і концепціями машинного навчання. + +--- +## Людський мозок + +[Людський мозок](https://www.livescience.com/29365-human-brain.html) сприймає речі з реального світу, обробляє отриману інформацію, приймає раціональні рішення і виконує певні дії залежно від обставин. Це те, що ми називаємо розумною поведінкою. Коли ми програмуємо імітацію процесу розумної поведінки для машини, це називається штучним інтелектом (AI). + +--- +## Деяка термінологія + +Хоча терміни можуть плутатися, машинне навчання (ML) є важливим підрозділом штучного інтелекту. **ML займається використанням спеціалізованих алгоритмів для виявлення значущої інформації та пошуку прихованих закономірностей у отриманих даних для підтвердження процесу раціонального прийняття рішень**. + +--- +## AI, ML, глибоке навчання + + + +> Діаграма, що показує взаємозв'язки між AI, ML, глибоким навчанням і наукою про дані. Інфографіка від [Jen Looper](https://twitter.com/jenlooper), натхненна [цією графікою](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Концепції, які ми розглянемо + +У цьому курсі ми розглянемо лише основні концепції машинного навчання, які повинен знати початківець. Ми зосередимося на тому, що називаємо "класичним машинним навчанням", використовуючи переважно Scikit-learn, чудову бібліотеку, яку багато студентів використовують для вивчення основ. Щоб зрозуміти ширші концепції штучного інтелекту або глибокого навчання, необхідно мати міцні базові знання машинного навчання, і ми прагнемо надати їх тут. + +--- +## У цьому курсі ви навчитеся: + +- основним концепціям машинного навчання +- історії ML +- ML і справедливості +- технікам регресії в ML +- технікам класифікації в ML +- технікам кластеризації в ML +- обробці природної мови в ML +- прогнозуванню часових рядів у ML +- навчанню з підкріпленням +- реальним застосуванням ML + +--- +## Що ми не будемо розглядати + +- глибоке навчання +- нейронні мережі +- AI + +Для кращого навчального досвіду ми уникатимемо складнощів нейронних мереж, "глибокого навчання" - багатошарового моделювання за допомогою нейронних мереж - і AI, які ми розглянемо в іншому курсі. Ми також запропонуємо майбутній курс з науки про дані, щоб зосередитися на цьому аспекті цієї ширшої галузі. + +--- +## Чому варто вивчати машинне навчання? + +Машинне навчання, з точки зору систем, визначається як створення автоматизованих систем, які можуть вивчати приховані закономірності з даних для допомоги у прийнятті розумних рішень. + +Ця мотивація частково натхненна тим, як людський мозок вчиться певним речам на основі даних, які він отримує з навколишнього світу. + +✅ Подумайте хвилину, чому бізнес може захотіти використовувати стратегії машинного навчання замість створення жорстко закодованого механізму на основі правил. + +--- +## Застосування машинного навчання + +Застосування машинного навчання зараз майже всюди і таке ж поширене, як і дані, які циркулюють у наших суспільствах, створені нашими смартфонами, підключеними пристроями та іншими системами. Враховуючи величезний потенціал сучасних алгоритмів машинного навчання, дослідники досліджують їхню здатність вирішувати багатовимірні та багатопрофільні реальні проблеми з великими позитивними результатами. + +--- +## Приклади застосування ML + +**Машинне навчання можна використовувати багатьма способами**: + +- Для прогнозування ймовірності захворювання на основі медичної історії або звітів пацієнта. +- Для використання даних про погоду для прогнозування погодних явищ. +- Для розуміння настрою тексту. +- Для виявлення фейкових новин, щоб зупинити поширення пропаганди. + +Фінанси, економіка, науки про Землю, космічні дослідження, біомедична інженерія, когнітивні науки і навіть гуманітарні галузі адаптували машинне навчання для вирішення складних проблем, пов'язаних з обробкою даних у їхніх сферах. + +--- +## Висновок + +Машинне навчання автоматизує процес відкриття закономірностей, знаходячи значущі інсайти з реальних або створених даних. Воно довело свою високу цінність у бізнесі, медицині, фінансових додатках та інших сферах. + +У найближчому майбутньому розуміння основ машинного навчання стане необхідністю для людей з будь-якої галузі через його широке впровадження. + +--- +# 🚀 Виклик + +Намалюйте на папері або за допомогою онлайн-додатку, такого як [Excalidraw](https://excalidraw.com/), ваше розуміння відмінностей між AI, ML, глибоким навчанням і наукою про дані. Додайте ідеї проблем, які кожна з цих технік добре вирішує. + +# [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +--- +# Огляд і самостійне навчання + +Щоб дізнатися більше про те, як працювати з алгоритмами ML у хмарі, пройдіть цей [навчальний шлях](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott). + +Пройдіть [навчальний шлях](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) про основи ML. + +--- +# Завдання + +[Почніть роботу](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/1-intro-to-ML/assignment.md b/translations/uk/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 00000000..bfdb8dda --- /dev/null +++ b/translations/uk/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,23 @@ + +# Початок роботи + +## Інструкції + +У цьому завданні без оцінювання вам потрібно освіжити знання з Python і налаштувати своє середовище для запуску ноутбуків. + +Пройдіть цей [Шлях навчання Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), а потім налаштуйте свої системи, переглянувши ці вступні відео: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/2-history-of-ML/README.md b/translations/uk/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 00000000..0d13823a --- /dev/null +++ b/translations/uk/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,164 @@ + +# Історія машинного навчання + + +> Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML для початківців - Історія машинного навчання") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео, яке пояснює цей урок. + +У цьому уроці ми розглянемо основні віхи в історії машинного навчання та штучного інтелекту. + +Історія штучного інтелекту (ШІ) як галузі тісно переплітається з історією машинного навчання, оскільки алгоритми та обчислювальні досягнення, які лежать в основі ML, сприяли розвитку ШІ. Важливо пам’ятати, що хоча ці галузі як окремі напрямки досліджень почали формуватися у 1950-х роках, важливі [алгоритмічні, статистичні, математичні, обчислювальні та технічні відкриття](https://wikipedia.org/wiki/Timeline_of_machine_learning) передували та перетиналися з цією епохою. Насправді люди розмірковували над цими питаннями [сотні років](https://wikipedia.org/wiki/History_of_artificial_intelligence): ця стаття обговорює історичні інтелектуальні основи ідеї «мислячої машини». + +--- +## Важливі відкриття + +- 1763, 1812 [Теорема Байєса](https://wikipedia.org/wiki/Bayes%27_theorem) та її попередники. Ця теорема та її застосування лежать в основі інференції, описуючи ймовірність події на основі попередніх знань. +- 1805 [Теорія найменших квадратів](https://wikipedia.org/wiki/Least_squares) французького математика Адрієна-Марі Лежандра. Ця теорія, яку ви вивчатимете в нашому модулі про регресію, допомагає у підгонці даних. +- 1913 [Ланцюги Маркова](https://wikipedia.org/wiki/Markov_chain), названі на честь російського математика Андрія Маркова, використовуються для опису послідовності можливих подій на основі попереднього стану. +- 1957 [Перцептрон](https://wikipedia.org/wiki/Perceptron) — це тип лінійного класифікатора, винайдений американським психологом Френком Розенблаттом, який лежить в основі досягнень у глибокому навчанні. + +--- + +- 1967 [Найближчий сусід](https://wikipedia.org/wiki/Nearest_neighbor) — це алгоритм, спочатку розроблений для прокладання маршрутів. У контексті ML він використовується для виявлення шаблонів. +- 1970 [Зворотне поширення](https://wikipedia.org/wiki/Backpropagation) використовується для навчання [нейронних мереж прямого поширення](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Рекурентні нейронні мережі](https://wikipedia.org/wiki/Recurrent_neural_network) — це штучні нейронні мережі, створені на основі нейронних мереж прямого поширення, які формують часові графи. + +✅ Проведіть невелике дослідження. Які ще дати виділяються як ключові в історії ML та ШІ? + +--- +## 1950: Машини, які думають + +Алан Тюрінг, справді видатна особистість, якого [громадськість у 2019 році](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) визнала найвидатнішим ученим XX століття, вважається тим, хто допоміг закласти основу концепції «машини, яка може думати». Він боровся з критиками та власною потребою в емпіричних доказах цієї концепції, частково створивши [Тест Тюрінга](https://www.bbc.com/news/technology-18475646), який ви досліджуватимете в наших уроках з обробки природної мови. + +--- +## 1956: Літній дослідницький проект у Дартмуті + +"Літній дослідницький проект у Дартмуті з штучного інтелекту став визначною подією для штучного інтелекту як галузі", і саме тут було введено термін "штучний інтелект" ([джерело](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Кожен аспект навчання або будь-яка інша особливість інтелекту може бути настільки точно описаний, що машину можна створити для його імітації. + +--- + +Головний дослідник, професор математики Джон Маккарті, сподівався "просуватися на основі припущення, що кожен аспект навчання або будь-яка інша особливість інтелекту може бути настільки точно описаний, що машину можна створити для його імітації". Учасниками були й інші видатні особистості в цій галузі, зокрема Марвін Мінський. + +Ця майстерня вважається такою, що започаткувала та заохотила кілька дискусій, включаючи "підйом символічних методів, систем, орієнтованих на обмежені домени (ранні експертні системи), та дедуктивні системи проти індуктивних систем". ([джерело](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Золоті роки" + +З 1950-х до середини 70-х років оптимізм щодо того, що ШІ може вирішити багато проблем, був високим. У 1967 році Марвін Мінський впевнено заявив: "Протягом одного покоління ... проблема створення 'штучного інтелекту' буде суттєво вирішена". (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +Дослідження обробки природної мови процвітали, пошук був удосконалений і став потужнішим, а концепція "мікросвітів" була створена, де прості завдання виконувалися за допомогою інструкцій простою мовою. + +--- + +Дослідження добре фінансувалися урядовими агентствами, досягнення були зроблені в обчисленнях та алгоритмах, і прототипи інтелектуальних машин були створені. Деякі з цих машин включають: + +* [Робот Шейкі](https://wikipedia.org/wiki/Shakey_the_robot), який міг маневрувати та вирішувати, як виконувати завдання "інтелектуально". + +  + > Шейкі у 1972 році + +--- + +* Еліза, ранній "чат-бот", могла спілкуватися з людьми та діяти як примітивний "терапевт". Ви дізнаєтеся більше про Елізу в уроках з обробки природної мови. + +  + > Версія Елізи, чат-бота + +--- + +* "Світ блоків" був прикладом мікросвіту, де блоки можна було складати та сортувати, а експерименти з навчання машин приймати рішення могли бути протестовані. Досягнення, створені за допомогою бібліотек, таких як [SHRDLU](https://wikipedia.org/wiki/SHRDLU), допомогли просунути обробку мови вперед. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "Світ блоків з SHRDLU") + + > 🎥 Натисніть на зображення вище для відео: Світ блоків з SHRDLU + +--- +## 1974 - 1980: "Зима ШІ" + +До середини 1970-х років стало очевидним, що складність створення "інтелектуальних машин" була недооцінена, а її обіцянки, враховуючи доступну обчислювальну потужність, були перебільшені. Фінансування скоротилося, і впевненість у галузі знизилася. Деякі проблеми, які вплинули на впевненість, включають: +--- +- **Обмеження**. Обчислювальна потужність була занадто обмеженою. +- **Комбінаторний вибух**. Кількість параметрів, які потрібно було навчати, зростала експоненціально, коли від комп’ютерів вимагали більше, без паралельної еволюції обчислювальної потужності та можливостей. +- **Недостатність даних**. Недостатність даних заважала процесу тестування, розробки та вдосконалення алгоритмів. +- **Чи ми ставимо правильні запитання?**. Самі запитання, які ставилися, почали ставити під сумнів. Дослідники почали стикатися з критикою своїх підходів: + - Тести Тюрінга були поставлені під сумнів, серед іншого, через теорію "китайської кімнати", яка стверджувала, що "програмування цифрового комп’ютера може створити видимість розуміння мови, але не може створити справжнє розуміння". ([джерело](https://plato.stanford.edu/entries/chinese-room/)) + - Етика введення штучного інтелекту, такого як "терапевт" Еліза, у суспільство була поставлена під сумнів. + +--- + +У той же час почали формуватися різні школи думки ШІ. Було встановлено дихотомію між ["неохайним" і "акуратним ШІ"](https://wikipedia.org/wiki/Neats_and_scruffies). _Неохайні_ лабораторії годинами налаштовували програми, поки не отримували бажаних результатів. _Акуратні_ лабораторії "зосереджувалися на логіці та формальному вирішенні проблем". Еліза та SHRDLU були добре відомими _неохайними_ системами. У 1980-х роках, коли виникла потреба зробити системи ML відтворюваними, _акуратний_ підхід поступово вийшов на передній план, оскільки його результати є більш пояснюваними. + +--- +## Експертні системи 1980-х років + +У міру зростання галузі її користь для бізнесу стала очевиднішою, і в 1980-х роках також відбулося поширення "експертних систем". "Експертні системи були одними з перших справді успішних форм програмного забезпечення штучного інтелекту (ШІ)" ([джерело](https://wikipedia.org/wiki/Expert_system)). + +Цей тип системи фактично є _гібридним_, частково складається з механізму правил, що визначає бізнес-вимоги, і механізму висновків, який використовує систему правил для виведення нових фактів. + +Ця епоха також привернула більше уваги до нейронних мереж. + +--- +## 1987 - 1993: "Охолодження ШІ" + +Поширення спеціалізованого апаратного забезпечення для експертних систем мало невдалий ефект надмірної спеціалізації. Поява персональних комп’ютерів також конкурувала з цими великими, спеціалізованими, централізованими системами. Демократизація обчислень розпочалася, і вона зрештою проклала шлях до сучасного вибуху великих даних. + +--- +## 1993 - 2011 + +Ця епоха ознаменувала нову еру для ML і ШІ, які змогли вирішити деякі проблеми, спричинені раніше через брак даних і обчислювальної потужності. Кількість даних почала швидко зростати та ставати більш доступною, як на краще, так і на гірше, особливо з появою смартфона близько 2007 року. Обчислювальна потужність розширювалася експоненціально, а алгоритми еволюціонували разом із нею. Галузь почала набувати зрілості, оскільки вільні дні минулого почали кристалізуватися в справжню дисципліну. + +--- +## Сьогодні + +Сьогодні машинне навчання та ШІ торкаються майже кожної частини нашого життя. Ця епоха вимагає ретельного розуміння ризиків і потенційних наслідків цих алгоритмів для людського життя. Як заявив Бред Сміт із Microsoft: "Інформаційні технології порушують питання, які стосуються основних захистів прав людини, таких як конфіденційність і свобода вираження думок. Ці питання підвищують відповідальність технологічних компаній, які створюють ці продукти. На нашу думку, вони також вимагають продуманої державної регуляції та розробки норм щодо прийнятного використання" ([джерело](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Що чекає на нас у майбутньому, поки невідомо, але важливо розуміти ці комп’ютерні системи, програмне забезпечення та алгоритми, які вони виконують. Ми сподіваємося, що цей навчальний план допоможе вам краще зрозуміти, щоб ви могли вирішити самостійно. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Історія глибокого навчання") +> 🎥 Натисніть на зображення вище для відео: Янн ЛеКун обговорює історію глибокого навчання в цій лекції + +--- +## 🚀Завдання + +Зануртеся в один із цих історичних моментів і дізнайтеся більше про людей, які стоять за ними. Це захоплюючі особистості, і жодне наукове відкриття ніколи не було створене в культурному вакуумі. Що ви відкриєте? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +--- +## Огляд і самостійне навчання + +Ось матеріали для перегляду та прослуховування: + +[Цей подкаст, де Емі Бойд обговорює еволюцію ШІ](http://runasradio.com/Shows/Show/739) + +[](https://www.youtube.com/watch?v=EJt3_bFYKss "Історія ШІ від Емі Бойд") + +--- + +## Завдання + +[Створіть хронологію](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/2-history-of-ML/assignment.md b/translations/uk/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 00000000..7b57bf6c --- /dev/null +++ b/translations/uk/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Створіть хронологію + +## Інструкції + +Використовуючи [цей репозиторій](https://github.com/Digital-Humanities-Toolkit/timeline-builder), створіть хронологію певного аспекту історії алгоритмів, математики, статистики, штучного інтелекту або машинного навчання, або їх комбінації. Ви можете зосередитися на одній особі, одній ідеї або тривалому періоді розвитку думки. Обов’язково додайте мультимедійні елементи. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ------------------------------------------------- | --------------------------------------- | ---------------------------------------------------------------- | +| | Розгорнута хронологія представлена як сторінка GitHub | Код неповний і не розгорнутий | Хронологія неповна, недостатньо досліджена і не розгорнута | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/3-fairness/README.md b/translations/uk/1-Introduction/3-fairness/README.md new file mode 100644 index 00000000..58f1fdef --- /dev/null +++ b/translations/uk/1-Introduction/3-fairness/README.md @@ -0,0 +1,149 @@ + +# Створення рішень машинного навчання з відповідальним AI + + +> Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +## Вступ + +У цьому курсі ви почнете досліджувати, як машинне навчання впливає на наше повсякденне життя. Уже зараз системи та моделі беруть участь у щоденних процесах прийняття рішень, таких як діагностика в охороні здоров’я, схвалення кредитів або виявлення шахрайства. Тому важливо, щоб ці моделі працювали добре та забезпечували результати, яким можна довіряти. Як і будь-яке програмне забезпечення, системи AI можуть не відповідати очікуванням або мати небажані наслідки. Саме тому важливо розуміти та пояснювати поведінку моделі AI. + +Уявіть, що може статися, якщо дані, які ви використовуєте для створення цих моделей, не враховують певні демографічні групи, такі як раса, стать, політичні погляди, релігія, або непропорційно представляють ці групи. А що, якщо результати моделі інтерпретуються так, що вони надають перевагу певній демографічній групі? Які наслідки це матиме для застосування? Крім того, що станеться, якщо модель матиме негативний результат і завдасть шкоди людям? Хто несе відповідальність за поведінку систем AI? Це деякі з питань, які ми будемо досліджувати в цьому курсі. + +У цьому уроці ви: + +- Збільшите свою обізнаність про важливість справедливості в машинному навчанні та шкоду, пов’язану з несправедливістю. +- Ознайомитеся з практикою дослідження аномалій і незвичайних сценаріїв для забезпечення надійності та безпеки. +- Зрозумієте необхідність створення інклюзивних систем, які надають можливості всім. +- Дослідите важливість захисту конфіденційності та безпеки даних і людей. +- Побачите важливість прозорого підходу для пояснення поведінки моделей AI. +- Усвідомите, як відповідальність є ключовою для створення довіри до систем AI. + +## Передумови + +Як передумову, пройдіть навчальний курс "Принципи відповідального AI" та перегляньте відео нижче на цю тему: + +Дізнайтеся більше про відповідальний AI, слідуючи цьому [навчальному курсу](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Підхід Microsoft до відповідального AI") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Підхід Microsoft до відповідального AI + +## Справедливість + +Системи AI повинні ставитися до всіх справедливо та уникати впливу на схожі групи людей різними способами. Наприклад, коли системи AI надають рекомендації щодо медичного лікування, заявок на кредити або працевлаштування, вони повинні робити однакові рекомендації для всіх із схожими симптомами, фінансовими обставинами або професійною кваліфікацією. Кожен із нас, як людина, має успадковані упередження, які впливають на наші рішення та дії. Ці упередження можуть бути очевидними в даних, які ми використовуємо для навчання систем AI. Такі маніпуляції іноді можуть відбуватися ненавмисно. Часто важко свідомо усвідомити, коли ви вводите упередження в дані. + +**"Несправедливість"** охоплює негативні наслідки або "шкоду" для групи людей, таких як ті, що визначаються за расою, статтю, віком або статусом інвалідності. Основні види шкоди, пов’язані зі справедливістю, можна класифікувати як: + +- **Розподіл**, якщо, наприклад, одна стать або етнічна група отримує перевагу над іншою. +- **Якість обслуговування**. Якщо ви навчаєте дані для одного конкретного сценарію, але реальність набагато складніша, це призводить до поганої якості обслуговування. Наприклад, дозатор мила, який не може розпізнати людей із темною шкірою. [Джерело](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Знецінення**. Несправедливе критичне ставлення або маркування чогось чи когось. Наприклад, технологія розпізнавання зображень помилково позначила зображення людей із темною шкірою як горил. +- **Надмірне або недостатнє представлення**. Ідея полягає в тому, що певна група не представлена в певній професії, і будь-яка послуга чи функція, яка продовжує це просувати, сприяє шкоді. +- **Стереотипізація**. Асоціювання певної групи з наперед визначеними атрибутами. Наприклад, система перекладу між англійською та турецькою мовами може мати неточності через слова зі стереотипними асоціаціями до статі. + + +> переклад на турецьку + + +> переклад назад на англійську + +Під час розробки та тестування систем AI ми повинні гарантувати, що AI є справедливим і не запрограмований на прийняття упереджених або дискримінаційних рішень, які також заборонено приймати людям. Гарантування справедливості в AI і машинному навчанні залишається складним соціотехнічним викликом. + +### Надійність і безпека + +Щоб створити довіру, системи AI повинні бути надійними, безпечними та стабільними за нормальних і несподіваних умов. Важливо знати, як системи AI поводитимуться в різних ситуаціях, особливо коли вони є аномаліями. Під час створення рішень AI необхідно приділяти значну увагу тому, як обробляти широкий спектр обставин, з якими можуть зіткнутися ці рішення. Наприклад, самокерований автомобіль повинен ставити безпеку людей на перше місце. Відповідно, AI, який керує автомобілем, має враховувати всі можливі сценарії, з якими автомобіль може зіткнутися, такі як ніч, грози чи хуртовини, діти, які перебігають дорогу, домашні тварини, дорожні роботи тощо. Наскільки добре система AI може надійно та безпечно обробляти широкий спектр умов, відображає рівень передбачення, який врахував розробник даних або AI під час проектування чи тестування системи. + +> [🎥 Натисніть тут для відео: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Інклюзивність + +Системи AI повинні бути розроблені для залучення та надання можливостей усім. Під час розробки та впровадження систем AI науковці з даних і розробники AI визначають і усувають потенційні бар’єри в системі, які можуть ненавмисно виключати людей. Наприклад, у світі є 1 мільярд людей із інвалідністю. Завдяки розвитку AI вони можуть легше отримувати доступ до широкого спектру інформації та можливостей у своєму повсякденному житті. Усунення бар’єрів створює можливості для інновацій і розробки продуктів AI із кращим досвідом, які приносять користь усім. + +> [🎥 Натисніть тут для відео: інклюзивність у AI](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Безпека та конфіденційність + +Системи AI повинні бути безпечними та поважати конфіденційність людей. Люди менше довіряють системам, які ставлять під загрозу їхню конфіденційність, інформацію чи життя. Під час навчання моделей машинного навчання ми покладаємося на дані для отримання найкращих результатів. При цьому необхідно враховувати походження даних і їхню цілісність. Наприклад, чи були дані надані користувачем чи доступні публічно? Далі, працюючи з даними, важливо розробляти системи AI, які можуть захищати конфіденційну інформацію та протистояти атакам. Оскільки AI стає більш поширеним, захист конфіденційності та забезпечення безпеки важливої особистої та бізнес-інформації стає дедалі критичнішим і складнішим. Питання конфіденційності та безпеки даних потребують особливої уваги для AI, оскільки доступ до даних є важливим для того, щоб системи AI могли робити точні та обґрунтовані прогнози та рішення про людей. + +> [🎥 Натисніть тут для відео: безпека в AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Як галузь ми досягли значного прогресу в питаннях конфіденційності та безпеки, значною мірою завдяки регулюванням, таким як GDPR (Загальний регламент захисту даних). +- Однак із системами AI ми повинні визнати напруженість між потребою в більшій кількості персональних даних для підвищення ефективності систем і конфіденційністю. +- Як і з появою підключених комп’ютерів через Інтернет, ми також спостерігаємо значне зростання кількості проблем безпеки, пов’язаних із AI. +- Водночас ми бачимо, як AI використовується для покращення безпеки. Наприклад, більшість сучасних антивірусних сканерів працюють на основі AI-евристики. +- Ми повинні гарантувати, що наші процеси обробки даних гармонійно поєднуються з найновішими практиками конфіденційності та безпеки. + +### Прозорість + +Системи AI повинні бути зрозумілими. Важливою частиною прозорості є пояснення поведінки систем AI та їхніх компонентів. Покращення розуміння систем AI вимагає, щоб зацікавлені сторони розуміли, як і чому вони функціонують, щоб вони могли визначити потенційні проблеми продуктивності, проблеми безпеки та конфіденційності, упередження, практики виключення або ненавмисні наслідки. Ми також вважаємо, що ті, хто використовує системи AI, повинні бути чесними та відкритими щодо того, коли, чому та як вони вирішують їх впроваджувати, а також щодо обмежень систем, які вони використовують. Наприклад, якщо банк використовує систему AI для підтримки своїх рішень щодо споживчого кредитування, важливо перевірити результати та зрозуміти, які дані впливають на рекомендації системи. Уряди починають регулювати AI у різних галузях, тому науковці з даних і організації повинні пояснювати, чи відповідає система AI нормативним вимогам, особливо коли виникає небажаний результат. + +> [🎥 Натисніть тут для відео: прозорість у AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Оскільки системи AI є дуже складними, важко зрозуміти, як вони працюють і інтерпретувати результати. +- Ця відсутність розуміння впливає на те, як ці системи управляються, впроваджуються та документуються. +- Ця відсутність розуміння, що важливіше, впливає на рішення, прийняті на основі результатів, які ці системи генерують. + +### Відповідальність + +Люди, які розробляють і впроваджують системи AI, повинні нести відповідальність за те, як їхні системи працюють. Потреба у відповідальності особливо важлива для технологій чутливого використання, таких як розпізнавання облич. Останнім часом зростає попит на технологію розпізнавання облич, особливо з боку правоохоронних організацій, які бачать потенціал цієї технології, наприклад, у пошуку зниклих дітей. Однак ці технології можуть бути використані урядом для того, щоб поставити під загрозу основні свободи громадян, наприклад, шляхом постійного спостереження за конкретними особами. Тому науковці з даних і організації повинні бути відповідальними за те, як їхня система AI впливає на окремих осіб або суспільство. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Підхід Microsoft до відповідального AI") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Попередження про масове спостереження через розпізнавання облич + +Зрештою, одне з найбільших питань для нашого покоління, як першого покоління, яке впроваджує AI у суспільство, полягає в тому, як гарантувати, що комп’ютери залишатимуться підзвітними людям, і як гарантувати, що люди, які розробляють комп’ютери, залишатимуться підзвітними всім іншим. + +## Оцінка впливу + +Перед навчанням моделі машинного навчання важливо провести оцінку впливу, щоб зрозуміти мету системи AI; її передбачуване використання; де вона буде впроваджена; і хто буде взаємодіяти із системою. Це корисно для рецензентів або тестувальників, які оцінюють систему, щоб знати, які фактори слід враховувати під час визначення потенційних ризиків і очікуваних наслідків. + +Наступні аспекти є ключовими під час проведення оцінки впливу: + +* **Негативний вплив на окремих осіб**. Усвідомлення будь-яких обмежень або вимог, невідповідного використання чи будь-яких відомих обмежень, які перешкоджають продуктивності системи, є важливим для забезпечення того, щоб система не використовувалася таким чином, який може завдати шкоди окремим особам. +* **Вимоги до даних**. Розуміння того, як і де система буде використовувати дані, дозволяє рецензентам досліджувати будь-які вимоги до даних, які потрібно враховувати (наприклад, регулювання даних GDPR або HIPPA). Крім того, перевірте, чи є джерело або кількість даних достатніми для навчання. +* **Резюме впливу**. Зберіть список потенційної шкоди, яка може виникнути внаслідок використання системи. Протягом життєвого циклу ML перевіряйте, чи вирішені або усунені виявлені проблеми. +* **Відповідні цілі** для кожного з шести основних принципів. Оцініть, чи досягнуті цілі кожного принципу та чи є якісь прогалини. + +## Відлагодження з відповідальним AI + +Подібно до відлагодження програмного забезпечення, відлагодження системи AI є необхідним процесом виявлення та вирішення проблем у системі. Існує багато факторів, які можуть вплинути на те, що модель не працює так, як очікувалося або відповідально. Більшість традиційних метрик продуктивності моделі є кількісними агрегатами продуктивності моделі, які недостатні для аналізу того, як модель порушує принципи відповідального AI. Крім того, модель машинного навчання є "чорною скринькою", що ускладнює розуміння того, що впливає на її результати, або пояснення, коли вона робить +Дивіться цей воркшоп, щоб глибше зануритися в теми: + +- У пошуках відповідального ШІ: Втілення принципів у практику від Бесміри Нуші, Мехрнуш Самекі та Аміта Шарми + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Відкрита платформа для створення відповідального ШІ") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: RAI Toolbox: Відкрита платформа для створення відповідального ШІ від Бесміри Нуші, Мехрнуш Самекі та Аміта Шарми + +Також прочитайте: + +- Центр ресурсів Microsoft з відповідального ШІ: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Дослідницька група Microsoft FATE: [FATE: Справедливість, підзвітність, прозорість та етика в ШІ - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [Репозиторій Responsible AI Toolbox на GitHub](https://github.com/microsoft/responsible-ai-toolbox) + +Дізнайтеся про інструменти Azure Machine Learning для забезпечення справедливості: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## Завдання + +[Дослідіть RAI Toolbox](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/3-fairness/assignment.md b/translations/uk/1-Introduction/3-fairness/assignment.md new file mode 100644 index 00000000..2a008b50 --- /dev/null +++ b/translations/uk/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,25 @@ + +# Досліджуйте інструментарій відповідального штучного інтелекту + +## Інструкції + +У цьому уроці ви дізналися про інструментарій відповідального штучного інтелекту, "відкритий, керований спільнотою проєкт, який допомагає науковцям з даних аналізувати та вдосконалювати системи штучного інтелекту". Для цього завдання досліджуйте один із [ноутбуків](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) інструментарію RAI та представте свої висновки у вигляді статті або презентації. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | -------- | ---------- | ------------------- | +| | Представлено статтю або презентацію PowerPoint, в якій обговорюються системи Fairlearn, ноутбук, який було запущено, та висновки, зроблені на основі його виконання | Представлено статтю без висновків | Стаття не представлена | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/4-techniques-of-ML/README.md b/translations/uk/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 00000000..3f9d568d --- /dev/null +++ b/translations/uk/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,132 @@ + +# Техніки машинного навчання + +Процес створення, використання та підтримки моделей машинного навчання і даних, які вони використовують, значно відрізняється від багатьох інших робочих процесів розробки. У цьому уроці ми розкриємо цей процес і окреслимо основні техніки, які вам потрібно знати. Ви: + +- Зрозумієте процеси, що лежать в основі машинного навчання на високому рівні. +- Дослідите базові концепції, такі як "моделі", "прогнози" та "навчальні дані". + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +[](https://youtu.be/4NGM0U2ZSHU "ML для початківців - Техніки машинного навчання") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео, яке пояснює цей урок. + +## Вступ + +На високому рівні мистецтво створення процесів машинного навчання (ML) складається з кількох етапів: + +1. **Визначте питання**. Більшість процесів ML починаються з постановки питання, яке не можна вирішити за допомогою простих умовних програм або систем на основі правил. Ці питання часто стосуються прогнозів на основі зібраних даних. +2. **Зберіть і підготуйте дані**. Щоб відповісти на ваше питання, вам потрібні дані. Якість і, іноді, кількість ваших даних визначатиме, наскільки добре ви зможете відповісти на початкове питання. Візуалізація даних є важливим аспектом цього етапу. Цей етап також включає розділення даних на навчальну та тестову групи для створення моделі. +3. **Виберіть метод навчання**. Залежно від вашого питання і природи ваших даних, вам потрібно вибрати, як ви хочете навчати модель, щоб вона найкраще відображала ваші дані і робила точні прогнози. Ця частина процесу ML вимагає спеціальних знань і часто значної кількості експериментів. +4. **Навчіть модель**. Використовуючи ваші навчальні дані, ви будете використовувати різні алгоритми для навчання моделі розпізнавати шаблони в даних. Модель може використовувати внутрішні ваги, які можна налаштувати, щоб надавати перевагу певним частинам даних над іншими для створення кращої моделі. +5. **Оцініть модель**. Ви використовуєте дані, які модель раніше не бачила (ваші тестові дані), щоб перевірити, як вона працює. +6. **Налаштування параметрів**. Виходячи з продуктивності вашої моделі, ви можете повторити процес, використовуючи різні параметри або змінні, які контролюють поведінку алгоритмів, що використовуються для навчання моделі. +7. **Прогнозуйте**. Використовуйте нові вхідні дані, щоб перевірити точність вашої моделі. + +## Яке питання ставити + +Комп'ютери особливо добре вміють знаходити приховані шаблони в даних. Ця здатність дуже корисна для дослідників, які мають питання про певну область, на які не можна легко відповісти, створивши систему на основі умовних правил. Наприклад, у задачі актуарного аналізу дата-сайєнтист може створити вручну правила щодо смертності курців і некурців. + +Однак, коли до рівняння додається багато інших змінних, модель ML може виявитися більш ефективною для прогнозування майбутніх показників смертності на основі історії здоров'я. Більш оптимістичний приклад може включати прогнозування погоди на квітень у певному місці на основі даних, які включають широту, довготу, зміни клімату, близькість до океану, шаблони струменевих потоків тощо. + +✅ Ця [презентація](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) про моделі погоди пропонує історичний погляд на використання ML в аналізі погоди. + +## Завдання перед створенням моделі + +Перед тим як почати створювати модель, є кілька завдань, які потрібно виконати. Щоб перевірити ваше питання і сформувати гіпотезу на основі прогнозів моделі, вам потрібно визначити і налаштувати кілька елементів. + +### Дані + +Щоб відповісти на ваше питання з будь-якою впевненістю, вам потрібна достатня кількість даних відповідного типу. На цьому етапі потрібно зробити дві речі: + +- **Зберіть дані**. З огляду на попередній урок про справедливість в аналізі даних, збирайте дані з обережністю. Звертайте увагу на джерела цих даних, будь-які властиві їм упередження і документуйте їх походження. +- **Підготуйте дані**. У процесі підготовки даних є кілька кроків. Можливо, вам доведеться об'єднати дані і нормалізувати їх, якщо вони надходять з різних джерел. Ви можете покращити якість і кількість даних різними методами, такими як перетворення рядків у числа (як ми робимо в [Кластеризації](../../5-Clustering/1-Visualize/README.md)). Ви також можете генерувати нові дані на основі оригінальних (як ми робимо в [Класифікації](../../4-Classification/1-Introduction/README.md)). Ви можете очищати і редагувати дані (як ми будемо робити перед уроком [Веб-додаток](../../3-Web-App/README.md)). Нарешті, можливо, вам доведеться рандомізувати і перемішати їх залежно від ваших технік навчання. + +✅ Після збору і обробки даних, приділіть час, щоб перевірити, чи їх структура дозволить вам вирішити ваше заплановане питання. Можливо, дані не будуть добре працювати у вашій задачі, як ми виявляємо в наших уроках [Кластеризації](../../5-Clustering/1-Visualize/README.md)! + +### Ознаки і ціль + +[Ознака](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) — це вимірювана властивість ваших даних. У багатьох наборах даних вона виражається як заголовок стовпця, наприклад, "дата", "розмір" або "колір". Змінна ознаки, зазвичай представлена як `X` у коді, представляє вхідну змінну, яка буде використовуватися для навчання моделі. + +Ціль — це те, що ви намагаєтеся передбачити. Ціль, зазвичай представлена як `y` у коді, представляє відповідь на питання, яке ви намагаєтеся поставити до ваших даних: у грудні, якого **кольору** гарбузи будуть найдешевшими? У Сан-Франциско, які райони матимуть найкращу **ціну** на нерухомість? Іноді ціль також називають атрибутом мітки. + +### Вибір змінної ознаки + +🎓 **Вибір ознак і витяг ознак** Як зрозуміти, яку змінну вибрати при створенні моделі? Ви, ймовірно, пройдете процес вибору ознак або витягу ознак, щоб вибрати правильні змінні для найкращої моделі. Однак це не одне й те саме: "Витяг ознак створює нові ознаки з функцій оригінальних ознак, тоді як вибір ознак повертає підмножину ознак." ([джерело](https://wikipedia.org/wiki/Feature_selection)) + +### Візуалізація даних + +Важливим аспектом інструментарію дата-сайєнтиста є здатність візуалізувати дані за допомогою кількох чудових бібліотек, таких як Seaborn або MatPlotLib. Візуалізація даних може дозволити вам виявити приховані кореляції, які ви можете використати. Ваші візуалізації також можуть допомогти вам виявити упередження або незбалансовані дані (як ми виявляємо в [Класифікації](../../4-Classification/2-Classifiers-1/README.md)). + +### Розділення набору даних + +Перед навчанням вам потрібно розділити ваш набір даних на дві або більше частини нерівного розміру, які все ще добре представляють дані. + +- **Навчання**. Ця частина набору даних використовується для навчання моделі. Цей набір складає більшість оригінального набору даних. +- **Тестування**. Тестовий набір даних — це незалежна група даних, часто зібрана з оригінальних даних, яку ви використовуєте для підтвердження продуктивності створеної моделі. +- **Валідація**. Набір для валідації — це менша незалежна група прикладів, яку ви використовуєте для налаштування гіперпараметрів або архітектури моделі, щоб покращити її. Залежно від розміру ваших даних і питання, яке ви ставите, вам може не знадобитися створювати цей третій набір (як ми зазначаємо в [Прогнозуванні часових рядів](../../7-TimeSeries/1-Introduction/README.md)). + +## Створення моделі + +Використовуючи ваші навчальні дані, ваша мета — створити модель, або статистичне представлення ваших даних, використовуючи різні алгоритми для її **навчання**. Навчання моделі дозволяє їй робити припущення про виявлені шаблони, перевіряти їх і приймати або відхиляти. + +### Вибір методу навчання + +Залежно від вашого питання і природи ваших даних, ви виберете метод для навчання. Переглядаючи [документацію Scikit-learn](https://scikit-learn.org/stable/user_guide.html) — яку ми використовуємо в цьому курсі — ви можете дослідити багато способів навчання моделі. Залежно від вашого досвіду, вам, можливо, доведеться спробувати кілька різних методів, щоб створити найкращу модель. Ви, ймовірно, пройдете процес, під час якого дата-сайєнтисти оцінюють продуктивність моделі, подаючи їй невідомі дані, перевіряючи точність, упередження та інші проблеми, що знижують якість, і вибираючи найбільш відповідний метод навчання для поставленої задачі. + +### Навчання моделі + +Озброївшись вашими навчальними даними, ви готові "підганяти" їх для створення моделі. Ви помітите, що в багатьох бібліотеках ML ви знайдете код 'model.fit' — саме в цей момент ви передаєте змінну ознаки як масив значень (зазвичай 'X') і змінну цілі (зазвичай 'y'). + +### Оцінка моделі + +Після завершення процесу навчання (для навчання великої моделі може знадобитися багато ітерацій або "епох"), ви зможете оцінити якість моделі, використовуючи тестові дані для оцінки її продуктивності. Ці дані є підмножиною оригінальних даних, які модель раніше не аналізувала. Ви можете вивести таблицю метрик про якість вашої моделі. + +🎓 **Підгонка моделі** + +У контексті машинного навчання підгонка моделі стосується точності функції моделі, коли вона намагається аналізувати дані, з якими вона не знайома. + +🎓 **Недопідгонка** і **перепідгонка** — це поширені проблеми, які знижують якість моделі, коли модель підганяється або недостатньо добре, або занадто добре. Це призводить до того, що модель робить прогнози або занадто тісно пов'язані, або занадто слабо пов'язані з її навчальними даними. Перепідгонка моделі передбачає навчальні дані занадто добре, оскільки вона занадто добре вивчила деталі і шум даних. Недопідгонка моделі є неточною, оскільки вона не може точно аналізувати ні свої навчальні дані, ні дані, які вона ще не "бачила". + + +> Інфографіка від [Jen Looper](https://twitter.com/jenlooper) + +## Налаштування параметрів + +Після завершення початкового навчання спостерігайте за якістю моделі і розгляньте можливість її покращення шляхом налаштування її "гіперпараметрів". Дізнайтеся більше про процес [у документації](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Прогнозування + +Це момент, коли ви можете використовувати абсолютно нові дані, щоб перевірити точність вашої моделі. У "прикладному" середовищі ML, де ви створюєте веб-ресурси для використання моделі в продакшені, цей процес може включати збір даних від користувача (наприклад, натискання кнопки), щоб встановити змінну і передати її моделі для інференсу або оцінки. + +У цих уроках ви дізнаєтеся, як використовувати ці кроки для підготовки, створення, тестування, оцінки і прогнозування — всі дії дата-сайєнтиста і більше, коли ви просуваєтеся у своїй подорожі, щоб стати "фул-стек" ML-інженером. + +--- + +## 🚀Завдання + +Намалюйте блок-схему, яка відображає кроки практикуючого ML. Де ви бачите себе зараз у процесі? Де, на вашу думку, ви зіткнетеся з труднощами? Що здається вам легким? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Шукайте в інтернеті інтерв'ю з дата-сайєнтистами, які обговорюють свою щоденну роботу. Ось [одне](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Завдання + +[Інтерв'ю з дата-сайєнтистом](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, звертаємо вашу увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/4-techniques-of-ML/assignment.md b/translations/uk/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 00000000..2164f569 --- /dev/null +++ b/translations/uk/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,25 @@ + +# Інтерв'ю з дата-сайєнтистом + +## Інструкції + +У вашій компанії, у групі користувачів або серед друзів чи однокурсників поговоріть з кимось, хто професійно працює як дата-сайєнтист. Напишіть короткий текст (500 слів) про їхні щоденні обов'язки. Чи є вони спеціалістами, чи працюють у форматі "full stack"? + +## Рубрика + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ---------------------------------------------------------------------------------------- | ----------------------------------------------------------------- | ---------------------- | +| | Есе відповідної довжини, з зазначеними джерелами, представлене у форматі .doc | Есе погано атрибутоване або коротше за необхідну довжину | Есе не представлено | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/1-Introduction/README.md b/translations/uk/1-Introduction/README.md new file mode 100644 index 00000000..626ea028 --- /dev/null +++ b/translations/uk/1-Introduction/README.md @@ -0,0 +1,37 @@ + +# Вступ до машинного навчання + +У цьому розділі навчальної програми ви познайомитеся з основними концепціями, які лежать в основі машинного навчання, дізнаєтеся, що це таке, ознайомитеся з його історією та техніками, які використовують дослідники для роботи з ним. Давайте разом досліджувати цей новий світ ML! + + +> Фото Білла Оксфорда на Unsplash + +### Уроки + +1. [Вступ до машинного навчання](1-intro-to-ML/README.md) +1. [Історія машинного навчання та штучного інтелекту](2-history-of-ML/README.md) +1. [Справедливість у машинному навчанні](3-fairness/README.md) +1. [Техніки машинного навчання](4-techniques-of-ML/README.md) + +### Автори + +"Вступ до машинного навчання" написаний з ♥️ командою, до якої входять [Мухаммад Сакіб Хан Інан](https://twitter.com/Sakibinan), [Орнелла Алтунян](https://twitter.com/ornelladotcom) та [Джен Лупер](https://twitter.com/jenlooper) + +"Історія машинного навчання" написана з ♥️ [Джен Лупер](https://twitter.com/jenlooper) та [Емі Бойд](https://twitter.com/AmyKateNicho) + +"Справедливість у машинному навчанні" написана з ♥️ [Томомі Імура](https://twitter.com/girliemac) + +"Техніки машинного навчання" написані з ♥️ [Джен Лупер](https://twitter.com/jenlooper) та [Крісом Норінгом](https://twitter.com/softchris) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/1-Tools/README.md b/translations/uk/2-Regression/1-Tools/README.md new file mode 100644 index 00000000..4133e71f --- /dev/null +++ b/translations/uk/2-Regression/1-Tools/README.md @@ -0,0 +1,238 @@ + +# Початок роботи з Python та Scikit-learn для регресійних моделей + + + +> Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Цей урок доступний у R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Вступ + +У цих чотирьох уроках ви дізнаєтеся, як створювати регресійні моделі. Ми скоро обговоримо, для чого вони потрібні. Але перед тим, як щось робити, переконайтеся, що у вас є всі необхідні інструменти для початку роботи! + +У цьому уроці ви навчитеся: + +- Налаштовувати комп'ютер для локальних завдань машинного навчання. +- Працювати з Jupyter Notebook. +- Використовувати Scikit-learn, включаючи встановлення. +- Досліджувати лінійну регресію через практичну вправу. + +## Встановлення та налаштування + +[](https://youtu.be/-DfeD2k2Kj0 "ML для початківців - Налаштуйте свої інструменти для створення моделей машинного навчання") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про налаштування комп'ютера для ML. + +1. **Встановіть Python**. Переконайтеся, що [Python](https://www.python.org/downloads/) встановлений на вашому комп'ютері. Ви будете використовувати Python для багатьох завдань у сфері науки про дані та машинного навчання. Більшість комп'ютерних систем вже мають встановлений Python. Також доступні корисні [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott), які спрощують налаштування для деяких користувачів. + + Деякі завдання з використанням Python вимагають однієї версії програмного забезпечення, тоді як інші — іншої. Тому корисно працювати у [віртуальному середовищі](https://docs.python.org/3/library/venv.html). + +2. **Встановіть Visual Studio Code**. Переконайтеся, що Visual Studio Code встановлений на вашому комп'ютері. Дотримуйтесь цих інструкцій для [встановлення Visual Studio Code](https://code.visualstudio.com/) для базової установки. Ви будете використовувати Python у Visual Studio Code у цьому курсі, тому вам може бути корисно ознайомитися з тим, як [налаштувати Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) для розробки на Python. + + > Ознайомтеся з Python, пройшовши цей набір [модулів Learn](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Налаштування Python у Visual Studio Code") + > + > 🎥 Натисніть на зображення вище, щоб переглянути відео: використання Python у VS Code. + +3. **Встановіть Scikit-learn**, дотримуючись [цих інструкцій](https://scikit-learn.org/stable/install.html). Оскільки вам потрібно переконатися, що ви використовуєте Python 3, рекомендується використовувати віртуальне середовище. Зверніть увагу, якщо ви встановлюєте цю бібліотеку на Mac з процесором M1, на сторінці за посиланням вище є спеціальні інструкції. + +4. **Встановіть Jupyter Notebook**. Вам потрібно [встановити пакет Jupyter](https://pypi.org/project/jupyter/). + +## Ваше середовище для створення ML + +Ви будете використовувати **ноутбуки** для розробки коду на Python і створення моделей машинного навчання. Цей тип файлу є поширеним інструментом для науковців, які працюють з даними, і його можна ідентифікувати за суфіксом або розширенням `.ipynb`. + +Ноутбуки — це інтерактивне середовище, яке дозволяє розробнику як писати код, так і додавати нотатки та документацію навколо коду, що дуже корисно для експериментальних або дослідницьких проектів. + +[](https://youtu.be/7E-jC8FLA2E "ML для початківців - Налаштуйте Jupyter Notebook для створення регресійних моделей") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про виконання цієї вправи. + +### Вправа - робота з ноутбуком + +У цій папці ви знайдете файл _notebook.ipynb_. + +1. Відкрийте _notebook.ipynb_ у Visual Studio Code. + + Jupyter сервер запуститься з Python 3+. Ви знайдете області ноутбука, які можна `запустити`, тобто блоки коду. Ви можете запустити блок коду, вибравши значок, який виглядає як кнопка відтворення. + +2. Виберіть значок `md` і додайте трохи markdown, а також наступний текст **# Ласкаво просимо до вашого ноутбука**. + + Далі додайте трохи коду на Python. + +3. Введіть **print('hello notebook')** у блоці коду. +4. Виберіть стрілку, щоб запустити код. + + Ви повинні побачити надруковане повідомлення: + + ```output + hello notebook + ``` + + + +Ви можете чергувати свій код із коментарями, щоб самодокументувати ноутбук. + +✅ Подумайте хвилину, наскільки відрізняється робоче середовище веб-розробника від середовища науковця, який працює з даними. + +## Початок роботи з Scikit-learn + +Тепер, коли Python налаштований у вашому локальному середовищі, і ви комфортно працюєте з Jupyter Notebook, давайте так само комфортно освоїмо Scikit-learn (вимовляється як `sci`, як у `science`). Scikit-learn надає [широкий API](https://scikit-learn.org/stable/modules/classes.html#api-ref), який допоможе вам виконувати завдання машинного навчання. + +Згідно з їх [вебсайтом](https://scikit-learn.org/stable/getting_started.html), "Scikit-learn — це бібліотека машинного навчання з відкритим кодом, яка підтримує навчання з учителем і без учителя. Вона також надає різні інструменти для підгонки моделей, попередньої обробки даних, вибору моделей та їх оцінки, а також багато інших утиліт." + +У цьому курсі ви будете використовувати Scikit-learn та інші інструменти для створення моделей машинного навчання для виконання того, що ми називаємо "традиційними завданнями машинного навчання". Ми свідомо уникали нейронних мереж і глибокого навчання, оскільки вони краще висвітлюються в нашій майбутній навчальній програмі "AI для початківців". + +Scikit-learn робить створення моделей та їх оцінку простим і зручним. Вона зосереджена на використанні числових даних і містить кілька готових наборів даних для використання як навчальні інструменти. Вона також включає попередньо створені моделі для студентів. Давайте дослідимо процес завантаження готових даних і використання вбудованого оцінювача для першої моделі машинного навчання з Scikit-learn на основі базових даних. + +## Вправа - ваш перший ноутбук з Scikit-learn + +> Цей підручник був натхненний [прикладом лінійної регресії](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) на вебсайті Scikit-learn. + +[](https://youtu.be/2xkXL5EUpS0 "ML для початківців - Ваш перший проект лінійної регресії на Python") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про виконання цієї вправи. + +У файлі _notebook.ipynb_, пов'язаному з цим уроком, очистіть усі комірки, натиснувши значок "сміттєвий бак". + +У цьому розділі ви будете працювати з невеликим набором даних про діабет, який вбудований у Scikit-learn для навчальних цілей. Уявіть, що ви хочете протестувати лікування для пацієнтів із діабетом. Моделі машинного навчання можуть допомогти вам визначити, які пацієнти краще реагуватимуть на лікування, виходячи з комбінацій змінних. Навіть дуже базова регресійна модель, коли її візуалізувати, може показати інформацію про змінні, які допоможуть вам організувати ваші теоретичні клінічні випробування. + +✅ Існує багато типів методів регресії, і який із них ви оберете, залежить від питання, на яке ви хочете отримати відповідь. Якщо ви хочете передбачити ймовірний зріст людини певного віку, вам слід використовувати лінійну регресію, оскільки ви шукаєте **числове значення**. Якщо вас цікавить визначення, чи слід вважати певну кухню веганською чи ні, ви шукаєте **категоріальне призначення**, тому вам слід використовувати логістичну регресію. Ви дізнаєтеся більше про логістичну регресію пізніше. Подумайте трохи про питання, які ви можете поставити даним, і який із цих методів буде більш доречним. + +Давайте розпочнемо виконання цього завдання. + +### Імпорт бібліотек + +Для цього завдання ми імпортуємо деякі бібліотеки: + +- **matplotlib**. Це корисний [інструмент для побудови графіків](https://matplotlib.org/), і ми будемо використовувати його для створення лінійного графіка. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) — це корисна бібліотека для роботи з числовими даними в Python. +- **sklearn**. Це [бібліотека Scikit-learn](https://scikit-learn.org/stable/user_guide.html). + +Імпортуйте деякі бібліотеки для виконання завдань. + +1. Додайте імпорти, ввівши наступний код: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Ви імпортуєте `matplotlib`, `numpy`, а також імпортуєте `datasets`, `linear_model` і `model_selection` з `sklearn`. `model_selection` використовується для розділення даних на навчальні та тестові набори. + +### Набір даних про діабет + +Вбудований [набір даних про діабет](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) містить 442 зразки даних про діабет із 10 змінними, серед яких: + +- age: вік у роках +- bmi: індекс маси тіла +- bp: середній артеріальний тиск +- s1 tc: Т-клітини (тип білих кров'яних клітин) + +✅ Цей набір даних включає концепцію "статі" як змінної, важливої для досліджень діабету. Багато медичних наборів даних включають цей тип бінарної класифікації. Подумайте трохи про те, як такі категоризації можуть виключати певні частини населення з лікування. + +Тепер завантажте дані X та y. + +> 🎓 Пам'ятайте, це навчання з учителем, і нам потрібна цільова змінна 'y'. + +У новій комірці коду завантажте набір даних про діабет, викликавши `load_diabetes()`. Вхідний параметр `return_X_y=True` сигналізує, що `X` буде матрицею даних, а `y` буде цільовою змінною регресії. + +1. Додайте кілька команд print, щоб показати форму матриці даних та її перший елемент: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Те, що ви отримуєте у відповідь, — це кортеж. Ви призначаєте два перші значення кортежу відповідно до `X` та `y`. Дізнайтеся більше [про кортежі](https://wikipedia.org/wiki/Tuple). + + Ви можете побачити, що ці дані мають 442 елементи, організовані у масиви з 10 елементів: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Подумайте трохи про взаємозв'язок між даними та цільовою змінною регресії. Лінійна регресія прогнозує взаємозв'язки між змінною X та цільовою змінною y. Чи можете ви знайти [цільову змінну](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) для набору даних про діабет у документації? Що демонструє цей набір даних, враховуючи цільову змінну? + +2. Далі виберіть частину цього набору даних для побудови графіка, вибравши 3-й стовпець набору даних. Ви можете зробити це, використовуючи оператор `:`, щоб вибрати всі рядки, а потім вибрати 3-й стовпець за допомогою індексу (2). Ви також можете змінити форму даних на 2D-масив — як це потрібно для побудови графіка — використовуючи `reshape(n_rows, n_columns)`. Якщо один із параметрів дорівнює -1, відповідний розмір обчислюється автоматично. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ У будь-який момент друкуйте дані, щоб перевірити їх форму. + +3. Тепер, коли дані готові до побудови графіка, ви можете перевірити, чи може машина допомогти визначити логічний розподіл між числами в цьому наборі даних. Для цього вам потрібно розділити як дані (X), так і цільову змінну (y) на тестові та навчальні набори. Scikit-learn має простий спосіб зробити це; ви можете розділити ваші тестові дані в заданій точці. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Тепер ви готові навчити вашу модель! Завантажте модель лінійної регресії та навчіть її за допомогою ваших навчальних наборів X та y, використовуючи `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` — це функція, яку ви побачите в багатьох бібліотеках ML, таких як TensorFlow. + +5. Потім створіть прогноз, використовуючи тестові дані, за допомогою функції `predict()`. Це буде використано для побудови лінії між групами даних. + + ```python + y_pred = model.predict(X_test) + ``` + +6. Тепер настав час показати дані на графіку. Matplotlib — дуже корисний інструмент для цього завдання. Створіть діаграму розсіювання для всіх тестових даних X та y, і використовуйте прогноз для побудови лінії в найбільш відповідному місці між групами даних моделі. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  +✅ Подумайте трохи над тим, що тут відбувається. Пряма лінія проходить через багато маленьких точок даних, але що саме вона робить? Чи можете ви побачити, як ця лінія може допомогти передбачити, де нова, невидима точка даних повинна розташуватися відносно осі y графіка? Спробуйте сформулювати практичне застосування цієї моделі. + +Вітаємо, ви створили свою першу модель лінійної регресії, зробили прогноз за її допомогою та відобразили його на графіку! + +--- +## 🚀Завдання + +Побудуйте графік для іншої змінної з цього набору даних. Підказка: змініть цей рядок: `X = X[:,2]`. Враховуючи ціль цього набору даних, що ви можете дізнатися про прогресування діабету як хвороби? +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +У цьому уроці ви працювали з простою лінійною регресією, а не з уніваріантною чи багатофакторною регресією. Почитайте трохи про відмінності між цими методами або перегляньте [це відео](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef). + +Дізнайтеся більше про концепцію регресії та подумайте, які типи питань можна вирішити за допомогою цієї техніки. Пройдіть [цей навчальний курс](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott), щоб поглибити своє розуміння. + +## Завдання + +[Інший набір даних](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/1-Tools/assignment.md b/translations/uk/2-Regression/1-Tools/assignment.md new file mode 100644 index 00000000..95e17686 --- /dev/null +++ b/translations/uk/2-Regression/1-Tools/assignment.md @@ -0,0 +1,27 @@ + +# Регресія з Scikit-learn + +## Інструкції + +Ознайомтеся з [набором даних Linnerud](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) у Scikit-learn. Цей набір даних має кілька [цільових змінних](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset): "Він складається з трьох змінних вправ (дані) та трьох фізіологічних змінних (цільові), зібраних у двадцяти чоловіків середнього віку в фітнес-клубі". + +Своїми словами опишіть, як створити модель регресії, яка б показувала взаємозв’язок між обхватом талії та кількістю виконаних присідань. Зробіть те ж саме для інших точок даних у цьому наборі. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| Надати описовий абзац | Надано добре написаний абзац | Надано кілька речень | Опис не надано | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/1-Tools/solution/Julia/README.md b/translations/uk/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 00000000..2a40f5ba --- /dev/null +++ b/translations/uk/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/2-Data/README.md b/translations/uk/2-Regression/2-Data/README.md new file mode 100644 index 00000000..64a7f4a4 --- /dev/null +++ b/translations/uk/2-Regression/2-Data/README.md @@ -0,0 +1,226 @@ + +# Побудова регресійної моделі за допомогою Scikit-learn: підготовка та візуалізація даних + + + +Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Цей урок доступний мовою R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Вступ + +Тепер, коли ви налаштували інструменти для створення моделей машинного навчання за допомогою Scikit-learn, ви готові почати ставити запитання до своїх даних. Працюючи з даними та застосовуючи рішення ML, дуже важливо вміти правильно формулювати запитання, щоб максимально розкрити потенціал вашого набору даних. + +У цьому уроці ви дізнаєтесь: + +- Як підготувати дані для створення моделі. +- Як використовувати Matplotlib для візуалізації даних. + +## Як правильно ставити запитання до даних + +Запитання, на яке ви хочете отримати відповідь, визначить, який тип алгоритмів ML ви будете використовувати. А якість отриманої відповіді значною мірою залежатиме від характеру ваших даних. + +Ознайомтеся з [даними](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv), наданими для цього уроку. Ви можете відкрити цей файл .csv у VS Code. Швидкий перегляд одразу показує, що є пропуски, а також суміш рядків і числових даних. Є також дивний стовпець під назвою 'Package', де дані містять значення на кшталт 'sacks', 'bins' та інші. Дані, насправді, трохи безладні. + +[](https://youtu.be/5qGjczWTrDQ "ML для початківців - Як аналізувати та очищати набір даних") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про підготовку даних для цього уроку. + +Насправді, рідко трапляється, щоб набір даних був повністю готовий для створення моделі ML "з коробки". У цьому уроці ви дізнаєтесь, як підготувати сирий набір даних за допомогою стандартних бібліотек Python. Ви також ознайомитеся з різними техніками візуалізації даних. + +## Кейс: "ринок гарбузів" + +У цій папці ви знайдете файл .csv у кореневій папці `data` під назвою [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv), який містить 1757 рядків даних про ринок гарбузів, згрупованих за містами. Це сирі дані, отримані з [Звітів про стандартні ринки спеціальних культур](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice), які розповсюджуються Міністерством сільського господарства США. + +### Підготовка даних + +Ці дані є у відкритому доступі. Їх можна завантажити у вигляді багатьох окремих файлів для кожного міста з вебсайту USDA. Щоб уникнути надмірної кількості файлів, ми об'єднали всі дані по містах в одну таблицю, таким чином ми вже трохи _підготували_ дані. Тепер давайте уважніше розглянемо ці дані. + +### Дані про гарбузи - попередні висновки + +Що ви помітили про ці дані? Ви вже бачили, що є суміш рядків, чисел, пропусків і дивних значень, які потрібно зрозуміти. + +Яке запитання можна поставити до цих даних, використовуючи регресійний метод? Наприклад: "Передбачити ціну гарбуза, що продається в певному місяці". Знову поглянувши на дані, ви побачите, що потрібно внести деякі зміни, щоб створити структуру даних, необхідну для виконання цього завдання. + +## Вправа - аналіз даних про гарбузи + +Давайте використаємо [Pandas](https://pandas.pydata.org/) (назва походить від `Python Data Analysis`), інструмент, дуже корисний для обробки даних, щоб проаналізувати та підготувати ці дані про гарбузи. + +### Спочатку перевірте наявність відсутніх дат + +Спочатку потрібно виконати кроки для перевірки відсутніх дат: + +1. Перетворіть дати у формат місяця (це дати США, тому формат `MM/DD/YYYY`). +2. Витягніть місяць у новий стовпець. + +Відкрийте файл _notebook.ipynb_ у Visual Studio Code і імпортуйте таблицю в новий датафрейм Pandas. + +1. Використайте функцію `head()`, щоб переглянути перші п'ять рядків. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Яку функцію ви б використали, щоб переглянути останні п'ять рядків? + +1. Перевірте, чи є пропущені дані в поточному датафреймі: + + ```python + pumpkins.isnull().sum() + ``` + + Є пропущені дані, але, можливо, це не матиме значення для виконання завдання. + +1. Щоб зробити ваш датафрейм зручнішим для роботи, виберіть лише потрібні стовпці, використовуючи функцію `loc`, яка витягує з оригінального датафрейму групу рядків (передається як перший параметр) і стовпців (передається як другий параметр). Вираз `:` у наведеному нижче прикладі означає "усі рядки". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Далі визначте середню ціну гарбуза + +Подумайте, як визначити середню ціну гарбуза в певному місяці. Які стовпці ви б обрали для цього завдання? Підказка: вам знадобляться 3 стовпці. + +Рішення: візьміть середнє значення стовпців `Low Price` і `High Price`, щоб заповнити новий стовпець Price, і перетворіть стовпець Date так, щоб він показував лише місяць. На щастя, згідно з перевіркою вище, немає пропущених даних для дат або цін. + +1. Щоб обчислити середнє значення, додайте наступний код: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Ви можете вивести будь-які дані для перевірки, використовуючи `print(month)`. + +2. Тепер скопіюйте ваші перетворені дані в новий датафрейм Pandas: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Виведення вашого датафрейму покаже вам чистий, впорядкований набір даних, на основі якого ви зможете створити нову регресійну модель. + +### Але зачекайте! Тут є щось дивне + +Якщо подивитися на стовпець `Package`, гарбузи продаються в багатьох різних конфігураціях. Деякі продаються у вимірюваннях '1 1/9 bushel', деякі у '1/2 bushel', деякі за штуку, деякі за фунт, а деякі у великих коробках із різною шириною. + +> Гарбузи, здається, дуже важко зважувати послідовно + +Заглиблюючись в оригінальні дані, цікаво, що все, що має `Unit of Sale`, рівне 'EACH' або 'PER BIN', також має тип `Package` у дюймах, бін або 'each'. Гарбузи, здається, дуже важко зважувати послідовно, тому давайте відфільтруємо їх, вибравши лише гарбузи зі словом 'bushel' у стовпці `Package`. + +1. Додайте фільтр на початку файлу, під початковим імпортом .csv: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Якщо ви виведете дані зараз, ви побачите, що отримуєте лише близько 415 рядків даних, які містять гарбузи за бушель. + +### Але зачекайте! Є ще одна річ, яку потрібно зробити + +Чи помітили ви, що кількість бушелів варіюється в кожному рядку? Вам потрібно нормалізувати ціни, щоб показати ціни за бушель, тому виконайте деякі обчислення для стандартизації. + +1. Додайте ці рядки після блоку, що створює датафрейм new_pumpkins: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Згідно з [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308), вага бушеля залежить від типу продукту, оскільки це об'ємне вимірювання. "Бушель помідорів, наприклад, повинен важити 56 фунтів... Листя та зелень займають більше місця з меншою вагою, тому бушель шпинату важить лише 20 фунтів." Це все досить складно! Давайте не будемо займатися перетворенням бушеля у фунти, а замість цього ціноутворювати за бушель. Усі ці дослідження бушелів гарбузів, однак, показують, наскільки важливо розуміти природу ваших даних! + +Тепер ви можете аналізувати ціни за одиницю на основі їхнього вимірювання в бушелях. Якщо ви ще раз виведете дані, ви побачите, як вони стандартизовані. + +✅ Чи помітили ви, що гарбузи, які продаються за півбушеля, дуже дорогі? Чи можете ви зрозуміти, чому? Підказка: маленькі гарбузи набагато дорожчі за великі, ймовірно, тому що їх набагато більше в одному бушелі, враховуючи невикористаний простір, який займає один великий порожнистий гарбуз для пирога. + +## Стратегії візуалізації + +Частина роботи дата-сайєнтиста полягає в демонстрації якості та характеру даних, з якими він працює. Для цього часто створюють цікаві візуалізації, такі як графіки, діаграми та схеми, які показують різні аспекти даних. Таким чином, вони можуть візуально показати взаємозв'язки та прогалини, які інакше важко виявити. + +[](https://youtu.be/SbUkxH6IJo0 "ML для початківців - Як візуалізувати дані за допомогою Matplotlib") + +> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про візуалізацію даних для цього уроку. + +Візуалізації також можуть допомогти визначити техніку машинного навчання, яка найбільше підходить для даних. Наприклад, діаграма розсіювання, яка здається лінійною, вказує на те, що дані є хорошим кандидатом для вправи з лінійної регресії. + +Одна з бібліотек для візуалізації даних, яка добре працює в Jupyter notebooks, — це [Matplotlib](https://matplotlib.org/) (яку ви також бачили в попередньому уроці). + +> Отримайте більше досвіду з візуалізації даних у [цих навчальних посібниках](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Вправа - експериментуйте з Matplotlib + +Спробуйте створити базові графіки для відображення нового датафрейму, який ви щойно створили. Що покаже базовий лінійний графік? + +1. Імпортуйте Matplotlib на початку файлу, під імпортом Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Перезапустіть весь ноутбук, щоб оновити. +1. У нижній частині ноутбука додайте комірку для побудови графіка у вигляді коробки: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Чи є цей графік корисним? Чи щось у ньому вас здивувало? + + Він не особливо корисний, оскільки лише відображає ваші дані як розкид точок у певному місяці. + +### Зробіть це корисним + +Щоб графіки відображали корисні дані, зазвичай потрібно якось згрупувати дані. Спробуймо створити графік, де вісь y показує місяці, а дані демонструють розподіл. + +1. Додайте комірку для створення згрупованої стовпчастої діаграми: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Це більш корисна візуалізація даних! Здається, вона вказує на те, що найвища ціна на гарбузи припадає на вересень і жовтень. Чи відповідає це вашим очікуванням? Чому або чому ні? + +--- + +## 🚀Виклик + +Дослідіть різні типи візуалізацій, які пропонує Matplotlib. Які типи найбільше підходять для задач регресії? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Ознайомтеся з багатьма способами візуалізації даних. Складіть список різних бібліотек, доступних для цього, і зазначте, які з них найкраще підходять для певних типів завдань, наприклад, для 2D-візуалізацій проти 3D-візуалізацій. Що ви виявите? + +## Завдання + +[Дослідження візуалізації](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/2-Data/assignment.md b/translations/uk/2-Regression/2-Data/assignment.md new file mode 100644 index 00000000..19816da6 --- /dev/null +++ b/translations/uk/2-Regression/2-Data/assignment.md @@ -0,0 +1,22 @@ + +# Дослідження візуалізацій + +Існує кілька різних бібліотек, доступних для візуалізації даних. Створіть кілька візуалізацій, використовуючи дані про гарбузи з цього уроку, за допомогою matplotlib та seaborn у зразковому ноутбуці. Які бібліотеки зручніше використовувати? +## Критерії оцінювання + +| Критерії | Відмінно | Достатньо | Потребує покращення | +| -------- | --------- | -------- | ----------------- | +| | Ноутбук подано з двома дослідженнями/візуалізаціями | Ноутбук подано з одним дослідженням/візуалізацією | Ноутбук не подано | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/2-Data/solution/Julia/README.md b/translations/uk/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 00000000..fa247c16 --- /dev/null +++ b/translations/uk/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматизовані переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/2-Regression/3-Linear/README.md b/translations/uk/2-Regression/3-Linear/README.md new file mode 100644 index 00000000..04ed8bfd --- /dev/null +++ b/translations/uk/2-Regression/3-Linear/README.md @@ -0,0 +1,374 @@ + +# Побудова моделі регресії за допомогою Scikit-learn: чотири способи регресії + + +> Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Цей урок доступний у R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Вступ + +До цього моменту ви дослідили, що таке регресія, використовуючи вибіркові дані з набору даних про ціни на гарбузи, який ми будемо використовувати протягом цього уроку. Ви також візуалізували ці дані за допомогою Matplotlib. + +Тепер ви готові глибше зануритися в регресію для машинного навчання. Хоча візуалізація дозволяє зрозуміти дані, справжня сила машинного навчання полягає у _навчанні моделей_. Моделі навчаються на історичних даних, щоб автоматично захоплювати залежності між даними, і дозволяють прогнозувати результати для нових даних, які модель раніше не бачила. + +У цьому уроці ви дізнаєтеся більше про два типи регресії: _основну лінійну регресію_ та _поліноміальну регресію_, а також про деякі математичні основи цих методів. Ці моделі дозволять нам прогнозувати ціни на гарбузи залежно від різних вхідних даних. + +[](https://youtu.be/CRxFT8oTDMg "ML для початківців - Розуміння лінійної регресії") + +> 🎥 Натисніть на зображення вище, щоб переглянути короткий відеоогляд лінійної регресії. + +> Протягом цього курсу ми припускаємо мінімальні знання математики та прагнемо зробити її доступною для студентів з інших галузей, тому звертайте увагу на примітки, 🧮 математичні виклики, діаграми та інші навчальні інструменти для полегшення розуміння. + +### Передумови + +На даний момент ви повинні бути знайомі зі структурою даних про гарбузи, які ми досліджуємо. Ви можете знайти їх попередньо завантаженими та очищеними у файлі _notebook.ipynb_ цього уроку. У файлі ціна гарбуза відображається за бушель у новому фреймі даних. Переконайтеся, що ви можете запускати ці ноутбуки в ядрах Visual Studio Code. + +### Підготовка + +Нагадаємо, ви завантажуєте ці дані, щоб ставити запитання до них. + +- Коли найкращий час для купівлі гарбузів? +- Яку ціну можна очікувати за ящик мініатюрних гарбузів? +- Чи варто купувати їх у кошиках на півбушеля чи в коробках на 1 1/9 бушеля? +Давайте продовжимо досліджувати ці дані. + +У попередньому уроці ви створили фрейм даних Pandas і заповнили його частиною оригінального набору даних, стандартизуючи ціни за бушель. Однак, зробивши це, ви змогли зібрати лише близько 400 точок даних і лише для осінніх місяців. + +Перегляньте дані, які ми попередньо завантажили у супровідному ноутбуці цього уроку. Дані попередньо завантажені, а початковий діаграма розсіювання побудована для відображення даних за місяцями. Можливо, ми зможемо отримати трохи більше деталей про природу даних, якщо очистимо їх більше. + +## Лінія лінійної регресії + +Як ви дізналися в Уроці 1, мета вправи з лінійної регресії полягає в тому, щоб побудувати лінію для: + +- **Показу взаємозв'язків змінних**. Показати взаємозв'язок між змінними. +- **Прогнозування**. Зробити точні прогнози щодо того, де нова точка даних буде розташована відносно цієї лінії. + +Зазвичай для побудови такого типу лінії використовується метод **регресії найменших квадратів**. Термін "найменші квадрати" означає, що всі точки даних навколо лінії регресії підносяться до квадрату, а потім додаються. Ідеально, щоб остаточна сума була якомога меншою, оскільки ми хочемо мати низьку кількість помилок, або `найменші квадрати`. + +Ми робимо це, оскільки хочемо змоделювати лінію, яка має найменшу сумарну відстань від усіх наших точок даних. Ми також підносимо терміни до квадрату перед додаванням, оскільки нас цікавить їх величина, а не напрямок. + +> **🧮 Покажіть мені математику** +> +> Ця лінія, яка називається _лінією найкращого підходу_, може бути виражена [рівнянням](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` — це "пояснювальна змінна". `Y` — це "залежна змінна". Нахил лінії — це `b`, а `a` — це точка перетину з віссю Y, яка відповідає значенню `Y`, коли `X = 0`. +> +> +> +> Спочатку обчисліть нахил `b`. Інфографіка від [Jen Looper](https://twitter.com/jenlooper) +> +> Іншими словами, звертаючись до початкового питання про дані гарбузів: "прогнозуйте ціну гарбуза за бушель за місяцями", `X` буде означати ціну, а `Y` — місяць продажу. +> +> +> +> Обчисліть значення Y. Якщо ви платите близько $4, це має бути квітень! Інфографіка від [Jen Looper](https://twitter.com/jenlooper) +> +> Математика, яка обчислює лінію, повинна демонструвати нахил лінії, який також залежить від точки перетину, або де `Y` розташований, коли `X = 0`. +> +> Ви можете ознайомитися з методом обчислення цих значень на веб-сайті [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html). Також відвідайте [цей калькулятор найменших квадратів](https://www.mathsisfun.com/data/least-squares-calculator.html), щоб побачити, як значення чисел впливають на лінію. + +## Кореляція + +Ще один термін, який потрібно зрозуміти, — це **коефіцієнт кореляції** між заданими змінними X і Y. Використовуючи діаграму розсіювання, ви можете швидко візуалізувати цей коефіцієнт. Діаграма з точками даних, розташованими в акуратній лінії, має високу кореляцію, але діаграма з точками даних, розкиданими між X і Y, має низьку кореляцію. + +Хороша модель лінійної регресії буде тією, яка має високий (ближче до 1, ніж до 0) коефіцієнт кореляції, використовуючи метод регресії найменших квадратів із лінією регресії. + +✅ Запустіть ноутбук, що супроводжує цей урок, і подивіться на діаграму розсіювання "Місяць до Ціни". Чи здається, що дані, які асоціюють місяць із ціною продажу гарбузів, мають високу чи низьку кореляцію, згідно з вашим візуальним інтерпретацією діаграми розсіювання? Чи змінюється це, якщо використовувати більш детальний вимір замість `Місяць`, наприклад, *день року* (тобто кількість днів з початку року)? + +У наведеному нижче коді ми припускаємо, що ми очистили дані та отримали фрейм даних під назвою `new_pumpkins`, схожий на наступний: + +ID | Місяць | ДеньРоку | Сорт | Місто | Упаковка | Низька ціна | Висока ціна | Ціна +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> Код для очищення даних доступний у [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). Ми виконали ті ж кроки очищення, що й у попередньому уроці, і обчислили стовпець `DayOfYear`, використовуючи наступний вираз: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Тепер, коли ви розумієте математику, що лежить в основі лінійної регресії, давайте створимо модель регресії, щоб перевірити, чи можемо ми передбачити, яка упаковка гарбузів матиме найкращі ціни на гарбузи. Хтось, хто купує гарбузи для святкового гарбузового поля, може захотіти отримати цю інформацію, щоб оптимізувати свої покупки упаковок гарбузів для поля. + +## Пошук кореляції + +[](https://youtu.be/uoRq-lW2eQo "ML для початківців - Пошук кореляції: ключ до лінійної регресії") + +> 🎥 Натисніть на зображення вище, щоб переглянути короткий відеоогляд кореляції. + +З попереднього уроку ви, мабуть, бачили, що середня ціна за різні місяці виглядає так: + +
+
+Це свідчить про те, що має бути певна кореляція, і ми можемо спробувати навчити модель лінійної регресії, щоб передбачити взаємозв'язок між `Місяць` і `Ціна`, або між `ДеньРоку` і `Ціна`. Ось діаграма розсіювання, яка показує останній взаємозв'язок:
+
+
+
+Давайте перевіримо, чи є кореляція, використовуючи функцію `corr`:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Схоже, що кореляція досить мала, -0.15 за `Місяць` і -0.17 за `ДеньРоку`, але може бути інший важливий взаємозв'язок. Схоже, що є різні кластери цін, які відповідають різним сортам гарбузів. Щоб підтвердити цю гіпотезу, давайте побудуємо кожну категорію гарбузів, використовуючи різний колір. Передаючи параметр `ax` до функції побудови діаграми розсіювання, ми можемо побудувати всі точки на одному графіку:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Наше дослідження свідчить про те, що сорт має більший вплив на загальну ціну, ніж фактична дата продажу. Ми можемо побачити це за допомогою стовпчастої діаграми:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Давайте зосередимося на даний момент лише на одному сорті гарбузів, "pie type", і подивимося, який вплив має дата на ціну:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Якщо ми тепер обчислимо кореляцію між `Ціна` і `ДеньРоку`, використовуючи функцію `corr`, ми отримаємо щось близько `-0.27` - що означає, що навчання моделі прогнозування має сенс.
+
+> Перед навчанням моделі лінійної регресії важливо переконатися, що наші дані очищені. Лінійна регресія не працює добре з відсутніми значеннями, тому має сенс позбутися всіх порожніх клітинок:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Інший підхід полягатиме в заповненні цих порожніх значень середніми значеннями з відповідного стовпця.
+
+## Проста лінійна регресія
+
+[](https://youtu.be/e4c_UP2fSjg "ML для початківців - Лінійна та поліноміальна регресія за допомогою Scikit-learn")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути короткий відеоогляд лінійної та поліноміальної регресії.
+
+Для навчання нашої моделі лінійної регресії ми будемо використовувати бібліотеку **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Ми починаємо з розділення вхідних значень (особливостей) і очікуваного результату (мітки) на окремі масиви numpy:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Зверніть увагу, що нам довелося виконати `reshape` для вхідних даних, щоб пакет лінійної регресії правильно їх зрозумів. Лінійна регресія очікує 2D-масив як вхідні дані, де кожен рядок масиву відповідає вектору вхідних особливостей. У нашому випадку, оскільки у нас є лише один вхід, нам потрібен масив із формою N×1, де N — це розмір набору даних.
+
+Потім нам потрібно розділити дані на навчальний і тестовий набори, щоб ми могли перевірити нашу модель після навчання:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Нарешті, навчання фактичної моделі лінійної регресії займає лише два рядки коду. Ми визначаємо об'єкт `LinearRegression` і підганяємо його до наших даних, використовуючи метод `fit`:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+Об'єкт `LinearRegression` після підгонки містить усі коефіцієнти регресії, до яких можна отримати доступ за допомогою властивості `.coef_`. У нашому випадку є лише один коефіцієнт, який має бути близько `-0.017`. Це означає, що ціни, здається, трохи падають з часом, але не надто сильно, приблизно на 2 центи на день. Ми також можемо отримати точку перетину регресії з віссю Y, використовуючи `lin_reg.intercept_` - вона буде близько `21` у нашому випадку, що вказує на ціну на початку року.
+
+Щоб побачити, наскільки точна наша модель, ми можемо прогнозувати ціни на тестовому набор
+Наша помилка, здається, зосереджена на 2 пунктах, що становить ~17%. Не надто добре. Ще одним показником якості моделі є **коефіцієнт детермінації**, який можна отримати таким чином:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Якщо значення дорівнює 0, це означає, що модель не враховує вхідні дані і діє як *найгірший лінійний прогнозатор*, який просто є середнім значенням результату. Значення 1 означає, що ми можемо ідеально передбачити всі очікувані результати. У нашому випадку коефіцієнт становить близько 0.06, що досить низько.
+
+Ми також можемо побудувати графік тестових даних разом із лінією регресії, щоб краще побачити, як регресія працює у нашому випадку:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Поліноміальна регресія
+
+Іншим типом лінійної регресії є поліноміальна регресія. Хоча іноді існує лінійна залежність між змінними — чим більший об’єм гарбуза, тим вища ціна — іноді ці залежності не можна зобразити у вигляді площини або прямої лінії.
+
+✅ Ось [кілька прикладів](https://online.stat.psu.edu/stat501/lesson/9/9.8) даних, які можуть використовувати поліноміальну регресію.
+
+Подивіться ще раз на залежність між датою та ціною. Чи здається цей розкид точок таким, що його обов’язково слід аналізувати прямою лінією? Хіба ціни не можуть коливатися? У цьому випадку можна спробувати поліноміальну регресію.
+
+✅ Поліноми — це математичні вирази, які можуть складатися з однієї або кількох змінних і коефіцієнтів.
+
+Поліноміальна регресія створює криву, яка краще підходить для нелінійних даних. У нашому випадку, якщо ми включимо квадратну змінну `DayOfYear` у вхідні дані, ми зможемо підігнати наші дані під параболічну криву, яка матиме мінімум у певний момент протягом року.
+
+Scikit-learn включає зручний [API для конвеєра](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline), щоб об’єднати різні етапи обробки даних. **Конвеєр** — це ланцюжок **оцінювачів**. У нашому випадку ми створимо конвеєр, який спочатку додає поліноміальні ознаки до нашої моделі, а потім навчає регресію:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Використання `PolynomialFeatures(2)` означає, що ми включимо всі поліноми другого ступеня з вхідних даних. У нашому випадку це просто означатиме `DayOfYear`2, але якщо є дві вхідні змінні X і Y, це додасть X2, XY і Y2. Ми також можемо використовувати поліноми вищого ступеня, якщо це необхідно.
+
+Конвеєри можна використовувати так само, як і оригінальний об’єкт `LinearRegression`, тобто ми можемо виконати `fit` для конвеєра, а потім використовувати `predict`, щоб отримати результати прогнозу. Ось графік, який показує тестові дані та криву апроксимації:
+
+
+
+Використовуючи поліноміальну регресію, ми можемо отримати трохи нижчий MSE і вищий коефіцієнт детермінації, але не значно. Нам потрібно врахувати інші ознаки!
+
+> Ви можете побачити, що мінімальні ціни на гарбузи для пирогів спостерігаються десь навколо Хелловіну. Як ви можете це пояснити?
+
+🎃 Вітаємо, ви щойно створили модель, яка може допомогти передбачити ціну гарбузів для пирогів. Ви, ймовірно, можете повторити ту саму процедуру для всіх типів гарбузів, але це було б виснажливо. Давайте тепер навчимося враховувати різновиди гарбузів у нашій моделі!
+
+## Категоріальні ознаки
+
+У ідеальному світі ми хочемо мати можливість передбачати ціни для різних різновидів гарбузів, використовуючи одну й ту саму модель. Однак стовпець `Variety` дещо відрізняється від таких стовпців, як `Month`, оскільки він містить нечислові значення. Такі стовпці називаються **категоріальними**.
+
+[](https://youtu.be/DYGliioIAE0 "ML для початківців - Прогнозування категоріальних ознак за допомогою лінійної регресії")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути короткий відеоогляд використання категоріальних ознак.
+
+Ось як середня ціна залежить від різновиду:
+
+
+
+Щоб врахувати різновид, спочатку потрібно перетворити його у числову форму, або **закодувати**. Є кілька способів зробити це:
+
+* Просте **числове кодування** створить таблицю різних різновидів, а потім замінить назву різновиду на індекс у цій таблиці. Це не найкраща ідея для лінійної регресії, оскільки лінійна регресія бере фактичне числове значення індексу та додає його до результату, множачи на певний коефіцієнт. У нашому випадку залежність між номером індексу та ціною явно нелінійна, навіть якщо ми переконаємося, що індекси впорядковані певним чином.
+* **One-hot кодування** замінить стовпець `Variety` на 4 різні стовпці, по одному для кожного різновиду. Кожен стовпець міститиме `1`, якщо відповідний рядок належить до даного різновиду, і `0` в іншому випадку. Це означає, що в лінійній регресії буде чотири коефіцієнти, по одному для кожного різновиду гарбуза, які відповідають за "початкову ціну" (або скоріше "додаткову ціну") для цього конкретного різновиду.
+
+Код нижче показує, як ми можемо виконати one-hot кодування для різновиду:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Щоб навчити лінійну регресію, використовуючи one-hot закодований різновид як вхідні дані, нам просто потрібно правильно ініціалізувати дані `X` і `y`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Решта коду така ж, як і той, що ми використовували вище для навчання лінійної регресії. Якщо ви спробуєте це, то побачите, що середньоквадратична помилка приблизно така ж, але ми отримуємо набагато вищий коефіцієнт детермінації (~77%). Щоб отримати ще точніші прогнози, ми можемо врахувати більше категоріальних ознак, а також числові ознаки, такі як `Month` або `DayOfYear`. Щоб отримати один великий масив ознак, ми можемо використати `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Тут ми також враховуємо `City` і тип `Package`, що дає нам MSE 2.84 (10%) і детермінацію 0.94!
+
+## Об’єднання всього разом
+
+Щоб створити найкращу модель, ми можемо використовувати комбіновані (one-hot закодовані категоріальні + числові) дані з наведеного вище прикладу разом із поліноміальною регресією. Ось повний код для вашої зручності:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Це має дати нам найкращий коефіцієнт детермінації майже 97% і MSE=2.23 (~8% помилки прогнозу).
+
+| Модель | MSE | Детермінація |
+|--------|-----|--------------|
+| `DayOfYear` Лінійна | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Поліноміальна | 2.73 (17.0%) | 0.08 |
+| `Variety` Лінійна | 5.24 (19.7%) | 0.77 |
+| Усі ознаки Лінійна | 2.84 (10.5%) | 0.94 |
+| Усі ознаки Поліноміальна | 2.23 (8.25%) | 0.97 |
+
+🏆 Чудова робота! Ви створили чотири моделі регресії за один урок і покращили якість моделі до 97%. У фінальному розділі про регресію ви дізнаєтеся про логістичну регресію для визначення категорій.
+
+---
+
+## 🚀Завдання
+
+Перевірте кілька різних змінних у цьому ноутбуці, щоб побачити, як кореляція відповідає точності моделі.
+
+## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/)
+
+## Огляд і самостійне навчання
+
+У цьому уроці ми дізналися про лінійну регресію. Існують інші важливі типи регресії. Прочитайте про методи Stepwise, Ridge, Lasso і Elasticnet. Хороший курс для вивчення — [курс статистичного навчання Стенфорда](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning).
+
+## Завдання
+
+[Створіть модель](assignment.md)
+
+---
+
+**Відмова від відповідальності**:
+Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/3-Linear/assignment.md b/translations/uk/2-Regression/3-Linear/assignment.md
new file mode 100644
index 00000000..313d11b2
--- /dev/null
+++ b/translations/uk/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,25 @@
+
+# Створення моделі регресії
+
+## Інструкції
+
+У цьому уроці вам було показано, як створити модель, використовуючи як лінійну, так і поліноміальну регресію. Використовуючи ці знання, знайдіть набір даних або скористайтеся одним із вбудованих наборів Scikit-learn, щоб створити нову модель. Поясніть у своєму ноутбуці, чому ви обрали саме цей метод, і продемонструйте точність вашої моделі. Якщо модель не є точною, поясніть причини.
+
+## Рубрика
+
+| Критерії | Відмінно | Задовільно | Потребує покращення |
+| -------- | ------------------------------------------------------------ | -------------------------- | ------------------------------- |
+| | представлено повний ноутбук із добре задокументованим рішенням | рішення є неповним | рішення має помилки або недоліки |
+
+---
+
+**Відмова від відповідальності**:
+Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/3-Linear/solution/Julia/README.md b/translations/uk/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 00000000..62003720
--- /dev/null
+++ b/translations/uk/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**Відмова від відповідальності**:
+Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/4-Logistic/README.md b/translations/uk/2-Regression/4-Logistic/README.md
new file mode 100644
index 00000000..ca641a9a
--- /dev/null
+++ b/translations/uk/2-Regression/4-Logistic/README.md
@@ -0,0 +1,407 @@
+
+# Логістична регресія для прогнозування категорій
+
+
+
+## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/)
+
+> ### [Цей урок доступний у R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Вступ
+
+У цьому останньому уроці про регресію, одну з базових _класичних_ технік машинного навчання, ми розглянемо логістичну регресію. Цю техніку можна використовувати для виявлення закономірностей і прогнозування бінарних категорій. Чи є ця цукерка шоколадом чи ні? Чи є ця хвороба заразною чи ні? Чи вибере цей клієнт продукт чи ні?
+
+У цьому уроці ви дізнаєтесь:
+
+- Нову бібліотеку для візуалізації даних
+- Техніки логістичної регресії
+
+✅ Поглибте своє розуміння роботи з цим типом регресії у [модулі навчання](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Передумови
+
+Працюючи з даними про гарбузи, ми вже достатньо знайомі з ними, щоб зрозуміти, що є одна бінарна категорія, з якою ми можемо працювати: `Color`.
+
+Давайте побудуємо модель логістичної регресії, щоб прогнозувати, _якого кольору, ймовірно, буде даний гарбуз_ (помаранчевий 🎃 чи білий 👻), враховуючи деякі змінні.
+
+> Чому ми говоримо про бінарну класифікацію в уроці про регресію? Лише для мовної зручності, оскільки логістична регресія [насправді є методом класифікації](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), хоча й базується на лінійній моделі. Дізнайтеся про інші способи класифікації даних у наступній групі уроків.
+
+## Визначення питання
+
+Для наших цілей ми сформулюємо це як бінарне: "Білий" чи "Не білий". У нашому наборі даних також є категорія "смугастий", але випадків її використання мало, тому ми її не враховуватимемо. Вона зникає після видалення нульових значень із набору даних.
+
+> 🎃 Цікавий факт: ми іноді називаємо білі гарбузи "гарбузами-привидами". Їх не дуже легко вирізати, тому вони не такі популярні, як помаранчеві, але виглядають круто! Тож ми також могли б переформулювати наше питання як: "Привид" чи "Не привид". 👻
+
+## Про логістичну регресію
+
+Логістична регресія відрізняється від лінійної регресії, яку ви вивчали раніше, кількома важливими аспектами.
+
+[](https://youtu.be/KpeCT6nEpBY "Машинне навчання для початківців - Розуміння логістичної регресії для класифікації")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про логістичну регресію.
+
+### Бінарна класифікація
+
+Логістична регресія не пропонує тих самих функцій, що й лінійна регресія. Перша пропонує прогнозування бінарної категорії ("білий чи не білий"), тоді як друга здатна прогнозувати безперервні значення, наприклад, враховуючи походження гарбуза та час збору врожаю, _наскільки зросте його ціна_.
+
+
+> Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Інші класифікації
+
+Існують інші типи логістичної регресії, включаючи мультиноміальну та порядкову:
+
+- **Мультиноміальна**, яка передбачає наявність більше ніж однієї категорії - "Помаранчевий, Білий і Смугастий".
+- **Порядкова**, яка передбачає впорядковані категорії, корисна, якщо ми хочемо впорядкувати результати логічно, наприклад, гарбузи, які впорядковані за обмеженою кількістю розмірів (mini, sm, med, lg, xl, xxl).
+
+
+
+### Змінні НЕ повинні корелювати
+
+Пам'ятаєте, як лінійна регресія працювала краще з більш корельованими змінними? Логістична регресія є протилежною - змінні не повинні співпадати. Це підходить для даних, які мають слабкі кореляції.
+
+### Вам потрібні великі обсяги чистих даних
+
+Логістична регресія дає більш точні результати, якщо використовувати більше даних; наш невеликий набір даних не є оптимальним для цього завдання, тому враховуйте це.
+
+[](https://youtu.be/B2X4H9vcXTs "Машинне навчання для початківців - Аналіз і підготовка даних для логістичної регресії")
+
+✅ Подумайте про типи даних, які добре підходять для логістичної регресії
+
+## Вправа - підготовка даних
+
+Спочатку трохи очистимо дані, видаливши нульові значення та вибравши лише деякі стовпці:
+
+1. Додайте наступний код:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Ви завжди можете переглянути ваш новий датафрейм:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Візуалізація - категоріальний графік
+
+На даний момент ви завантажили [початковий ноутбук](../../../../2-Regression/4-Logistic/notebook.ipynb) з даними про гарбузи та очистили його, щоб зберегти набір даних, що містить кілька змінних, включаючи `Color`. Давайте візуалізуємо датафрейм у ноутбуці, використовуючи іншу бібліотеку: [Seaborn](https://seaborn.pydata.org/index.html), яка побудована на Matplotlib, яку ми використовували раніше.
+
+Seaborn пропонує цікаві способи візуалізації ваших даних. Наприклад, ви можете порівняти розподіли даних для кожного `Variety` і `Color` у категоріальному графіку.
+
+1. Створіть такий графік, використовуючи функцію `catplot`, дані про гарбузи `pumpkins` і вказавши кольорове відображення для кожної категорії гарбузів (помаранчевий або білий):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Спостерігаючи за даними, ви можете побачити, як дані про Color співвідносяться з Variety.
+
+ ✅ Враховуючи цей категоріальний графік, які цікаві дослідження ви можете уявити?
+
+### Попередня обробка даних: кодування ознак і міток
+
+Наш набір даних про гарбузи містить текстові значення для всіх своїх стовпців. Робота з категоріальними даними є інтуїтивною для людей, але не для машин. Алгоритми машинного навчання добре працюють із числами. Саме тому кодування є дуже важливим етапом у фазі попередньої обробки даних, оскільки воно дозволяє перетворити категоріальні дані в числові, не втрачаючи жодної інформації. Хороше кодування сприяє створенню хорошої моделі.
+
+Для кодування ознак існує два основних типи кодерів:
+
+1. Ordinal encoder: добре підходить для порядкових змінних, які є категоріальними змінними, де їх дані мають логічний порядок, як стовпець `Item Size` у нашому наборі даних. Він створює відображення, так що кожна категорія представлена числом, яке є порядком категорії в стовпці.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Categorical encoder: добре підходить для номінальних змінних, які є категоріальними змінними, де їх дані не мають логічного порядку, як усі ознаки, відмінні від `Item Size` у нашому наборі даних. Це кодування "один-гарячий", що означає, що кожна категорія представлена бінарним стовпцем: закодована змінна дорівнює 1, якщо гарбуз належить до цієї Variety, і 0 в іншому випадку.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+
+Потім `ColumnTransformer` використовується для об'єднання кількох кодерів в один етап і застосування їх до відповідних стовпців.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+
+Для кодування мітки ми використовуємо клас `LabelEncoder` з бібліотеки scikit-learn, який є утилітою для нормалізації міток так, щоб вони містили лише значення між 0 і n_classes-1 (тут, 0 і 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+
+Після того, як ми закодували ознаки та мітку, ми можемо об'єднати їх у новий датафрейм `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+
+✅ Які переваги використання порядкового кодера для стовпця `Item Size`?
+
+### Аналіз взаємозв'язків між змінними
+
+Тепер, коли ми попередньо обробили наші дані, ми можемо аналізувати взаємозв'язки між ознаками та міткою, щоб зрозуміти, наскільки добре модель зможе прогнозувати мітку, враховуючи ознаки. Найкращий спосіб виконати такий аналіз - це побудова графіків. Ми знову будемо використовувати функцію `catplot` з бібліотеки Seaborn, щоб візуалізувати взаємозв'язки між `Item Size`, `Variety` і `Color` у категоріальному графіку. Для кращої побудови графіка ми будемо використовувати закодований стовпець `Item Size` і незакодований стовпець `Variety`.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+
+### Використання swarm plot
+
+Оскільки Color є бінарною категорією (Білий чи Не білий), для її візуалізації потрібен '[спеціалізований підхід](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar)'. Існують інші способи візуалізації взаємозв'язку цієї категорії з іншими змінними.
+
+Ви можете візуалізувати змінні поруч за допомогою графіків Seaborn.
+
+1. Спробуйте побудувати графік типу 'swarm', щоб показати розподіл значень:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Зверніть увагу**: код вище може викликати попередження, оскільки Seaborn не може представити таку кількість точок даних у swarm графіку. Можливим рішенням є зменшення розміру маркера, використовуючи параметр 'size'. Однак майте на увазі, що це впливає на читабельність графіка.
+
+> **🧮 Покажіть мені математику**
+>
+> Логістична регресія базується на концепції 'максимальної ймовірності', використовуючи [сигмоїдальні функції](https://wikipedia.org/wiki/Sigmoid_function). 'Сигмоїдальна функція' на графіку виглядає як форма 'S'. Вона бере значення і відображає його в діапазоні між 0 і 1. Її крива також називається 'логістичною кривою'. Її формула виглядає так:
+>
+> 
+>
+> де середина сигмоїди знаходиться на точці 0 для x, L - максимальне значення кривої, а k - крутизна кривої. Якщо результат функції більше 0.5, мітка буде віднесена до класу '1' бінарного вибору. Якщо ні, вона буде класифікована як '0'.
+
+## Побудова моделі
+
+Побудова моделі для знаходження цих бінарних класифікацій є досить простою у Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "Машинне навчання для початківців - Логістична регресія для класифікації даних")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про побудову моделі лінійної регресії
+
+1. Виберіть змінні, які ви хочете використовувати у вашій моделі класифікації, і розділіть навчальні та тестові набори, викликавши `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Тепер ви можете навчити свою модель, викликавши `fit()` з вашими навчальними даними, і вивести її результат:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Подивіться на результати вашої моделі. Вони непогані, враховуючи, що у вас є лише близько 1000 рядків даних:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Краще розуміння через матрицю плутанини
+
+Хоча ви можете отримати звіт про результати [терміни](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report), вивівши наведені вище елементи, ви можете краще зрозуміти свою модель, використовуючи [матрицю плутанини](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix), щоб допомогти нам зрозуміти, як модель працює.
+
+> 🎓 '[Матриця плутанини](https://wikipedia.org/wiki/Confusion_matrix)' (або 'матриця помилок') - це таблиця, яка виражає справжні та хибні позитивні та негативні результати вашої моделі, таким чином оцінюючи точність прогнозів.
+
+1. Щоб використовувати матрицю плутанини, викличте `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Подивіться на матрицю плутанини вашої моделі:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+У Scikit-learn рядки (вісь 0) представляють фактичні мітки, а стовпці (вісь 1) - прогнозовані мітки.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Що тут відбувається? Припустимо, наша модель має класифікувати гарбузи між двома бінарними категоріями: категорія 'білий' і категорія 'не білий'.
+
+- Якщо ваша модель прогнозує гарбуз як не білий, і він насправді належить до категорії 'не білий', ми називаємо це справжнім негативом, показаним у верхньому лівому числі.
+- Якщо ваша модель прогнозує гарбуз як білий, і він насправді належить до категорії 'не білий', ми називаємо це хибним негативом, показаним у нижньому лівому числі.
+- Якщо ваша модель прогнозує гарбуз як не білий, і він насправді належить до категорії 'білий', ми називаємо це хибним позитив
+Як пов'язана матриця плутанини з точністю та повнотою? Пам'ятайте, що класифікаційний звіт, наведений вище, показав точність (0.85) і повноту (0.67).
+
+Точність = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Повнота = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Питання: Як, згідно з матрицею плутанини, впорався модель? Відповідь: Непогано; є значна кількість правильних негативних результатів, але також кілька хибно-негативних.
+
+Давайте ще раз розглянемо терміни, які ми бачили раніше, за допомогою відображення TP/TN і FP/FN у матриці плутанини:
+
+🎓 Точність: TP/(TP + FP) Частка релевантних прикладів серед отриманих (наприклад, які мітки були правильно позначені).
+
+🎓 Повнота: TP/(TP + FN) Частка релевантних прикладів, які були отримані, незалежно від того, чи були вони правильно позначені.
+
+🎓 f1-оцінка: (2 * точність * повнота)/(точність + повнота) Зважене середнє точності та повноти, де найкраще значення — 1, а найгірше — 0.
+
+🎓 Підтримка: Кількість випадків кожної мітки, що були отримані.
+
+🎓 Точність (Accuracy): (TP + TN)/(TP + TN + FP + FN) Відсоток міток, які були правильно передбачені для вибірки.
+
+🎓 Середнє значення (Macro Avg): Розрахунок незваженого середнього значення метрик для кожної мітки, без урахування дисбалансу міток.
+
+🎓 Зважене середнє (Weighted Avg): Розрахунок середнього значення метрик для кожної мітки з урахуванням дисбалансу міток шляхом зважування їх за підтримкою (кількість правильних випадків для кожної мітки).
+
+✅ Чи можете ви визначити, на яку метрику слід звертати увагу, якщо ви хочете, щоб ваша модель зменшила кількість хибно-негативних результатів?
+
+## Візуалізація ROC-кривої цієї моделі
+
+[](https://youtu.be/GApO575jTA0 "ML для початківців - Аналіз продуктивності логістичної регресії за допомогою ROC-кривих")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути короткий відеоогляд ROC-кривих.
+
+Давайте зробимо ще одну візуалізацію, щоб побачити так звану 'ROC'-криву:
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+За допомогою Matplotlib побудуйте [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) або ROC-криву моделі. ROC-криві часто використовуються для оцінки результатів класифікатора з точки зору його істинно позитивних і хибно позитивних результатів. "ROC-криві зазвичай мають істинно позитивну частоту на осі Y і хибно позитивну частоту на осі X." Таким чином, важливі крутизна кривої та простір між середньою лінією і кривою: ви хочете, щоб крива швидко піднімалася вгору і відходила від лінії. У нашому випадку є хибно позитивні результати на початку, а потім лінія піднімається вгору і відходить належним чином:
+
+
+
+Нарешті, скористайтеся [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) з бібліотеки Scikit-learn, щоб обчислити фактичну 'Площу під кривою' (AUC):
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+Результат становить `0.9749908725812341`. Оскільки AUC варіюється від 0 до 1, вам потрібен високий показник, адже модель, яка на 100% правильно передбачає результати, матиме AUC, що дорівнює 1; у цьому випадку модель _доволі хороша_.
+
+У майбутніх уроках з класифікації ви дізнаєтеся, як ітеративно покращувати показники вашої моделі. Але наразі вітаємо! Ви завершили ці уроки з регресії!
+
+---
+## 🚀Виклик
+
+Логістична регресія має ще багато цікавого! Але найкращий спосіб навчитися — це експериментувати. Знайдіть набір даних, який підходить для такого типу аналізу, і створіть модель на його основі. Що ви дізналися? Порада: спробуйте [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) для пошуку цікавих наборів даних.
+
+## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/)
+
+## Огляд і самостійне навчання
+
+Прочитайте перші кілька сторінок [цієї статті зі Стенфорда](https://web.stanford.edu/~jurafsky/slp3/5.pdf) про деякі практичні застосування логістичної регресії. Подумайте про завдання, які краще підходять для одного чи іншого типу регресії, які ми вивчали до цього моменту. Що працюватиме найкраще?
+
+## Завдання
+
+[Повторення цієї регресії](assignment.md)
+
+---
+
+**Відмова від відповідальності**:
+Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/4-Logistic/assignment.md b/translations/uk/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 00000000..880210b2
--- /dev/null
+++ b/translations/uk/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,25 @@
+
+# Повторна спроба регресії
+
+## Інструкції
+
+У цьому уроці ви використовували підмножину даних про гарбузи. Тепер поверніться до оригінальних даних і спробуйте використати всі дані, очищені та стандартизовані, щоб побудувати модель логістичної регресії.
+
+## Критерії оцінювання
+
+| Критерії | Відмінно | Задовільно | Потребує покращення |
+| -------- | ----------------------------------------------------------------------- | ---------------------------------------------------------- | ---------------------------------------------------------- |
+| | Представлено ноутбук із добре поясненою та ефективною моделлю | Представлено ноутбук із моделлю, яка працює мінімально | Представлено ноутбук із неефективною моделлю або її відсутність |
+
+---
+
+**Відмова від відповідальності**:
+Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/4-Logistic/solution/Julia/README.md b/translations/uk/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 00000000..b1a8c0f9
--- /dev/null
+++ b/translations/uk/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,15 @@
+
+
+
+---
+
+**Відмова від відповідальності**:
+Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/2-Regression/README.md b/translations/uk/2-Regression/README.md
new file mode 100644
index 00000000..42b5ceb7
--- /dev/null
+++ b/translations/uk/2-Regression/README.md
@@ -0,0 +1,54 @@
+
+# Регресійні моделі для машинного навчання
+## Регіональна тема: Регресійні моделі для цін на гарбузи в Північній Америці 🎃
+
+У Північній Америці гарбузи часто вирізають у вигляді страшних облич для святкування Гелловіну. Давайте дізнаємося більше про ці захоплюючі овочі!
+
+
+> Фото зроблено Beth Teutschmann на Unsplash
+
+## Що ви дізнаєтесь
+
+[](https://youtu.be/5QnJtDad4iQ "Відео про вступ до регресії - Натисніть, щоб переглянути!")
+> 🎥 Натисніть на зображення вище, щоб переглянути коротке вступне відео до цього уроку
+
+Уроки в цьому розділі охоплюють типи регресії в контексті машинного навчання. Регресійні моделі допомагають визначити _взаємозв'язок_ між змінними. Цей тип моделі може прогнозувати значення, такі як довжина, температура або вік, розкриваючи взаємозв'язки між змінними під час аналізу даних.
+
+У цій серії уроків ви дізнаєтесь про відмінності між лінійною та логістичною регресією, а також коли слід віддати перевагу одній з них.
+
+[](https://youtu.be/XA3OaoW86R8 "Машинне навчання для початківців - Вступ до регресійних моделей")
+
+> 🎥 Натисніть на зображення вище, щоб переглянути коротке відео про регресійні моделі.
+
+У цій групі уроків ви налаштуєте середовище для виконання завдань машинного навчання, зокрема конфігуруєте Visual Studio Code для роботи з ноутбуками, які є поширеним інструментом для науковців з даних. Ви ознайомитеся з бібліотекою Scikit-learn для машинного навчання та створите свої перші моделі, зосереджуючись на регресійних моделях у цьому розділі.
+
+> Існують корисні інструменти з низьким рівнем кодування, які допоможуть вам вивчити роботу з регресійними моделями. Спробуйте [Azure ML для цього завдання](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Уроки
+
+1. [Інструменти для роботи](1-Tools/README.md)
+2. [Управління даними](2-Data/README.md)
+3. [Лінійна та поліноміальна регресія](3-Linear/README.md)
+4. [Логістична регресія](4-Logistic/README.md)
+
+---
+### Подяки
+
+"Машинне навчання з регресією" написано з ♥️ [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ У створенні вікторин брали участь: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) та [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Набір даних про гарбузи запропонований [цим проєктом на Kaggle](https://www.kaggle.com/usda/a-year-of-pumpkin-prices), а його дані отримані з [Спеціалізованих звітів ринків сільськогосподарських культур](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice), які розповсюджуються Міністерством сільського господарства США. Ми додали кілька точок щодо кольору залежно від сорту для нормалізації розподілу. Ці дані є у відкритому доступі.
+
+---
+
+**Відмова від відповідальності**:
+Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу.
\ No newline at end of file
diff --git a/translations/uk/3-Web-App/1-Web-App/README.md b/translations/uk/3-Web-App/1-Web-App/README.md
new file mode 100644
index 00000000..3502c86a
--- /dev/null
+++ b/translations/uk/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,359 @@
+
+# Створення веб-додатку для використання ML моделі
+
+У цьому уроці ви навчитеся тренувати ML модель на наборі даних, який просто космічний: _спостереження НЛО за останнє століття_, отримані з бази даних NUFORC.
+
+Ви дізнаєтеся:
+
+- Як "запакувати" треновану модель
+- Як використовувати цю модель у додатку Flask
+
+Ми продовжимо використовувати ноутбуки для очищення даних і тренування моделі, але ви можете зробити ще один крок вперед, досліджуючи використання моделі "в реальному світі", так би мовити: у веб-додатку.
+
+Для цього вам потрібно створити веб-додаток за допомогою Flask.
+
+## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/)
+
+## Створення додатку
+
+Існує кілька способів створення веб-додатків для використання моделей машинного навчання. Ваша веб-архітектура може впливати на спосіб тренування моделі. Уявіть, що ви працюєте в компанії, де група з аналізу даних тренувала модель, яку вони хочуть, щоб ви використали у додатку.
+
+### Міркування
+
+Є багато питань, які потрібно поставити:
+
+- **Це веб-додаток чи мобільний додаток?** Якщо ви створюєте мобільний додаток або вам потрібно використовувати модель у контексті IoT, ви можете скористатися [TensorFlow Lite](https://www.tensorflow.org/lite/) і використовувати модель у додатку для Android або iOS.
+- **Де буде розташована модель?** У хмарі чи локально?
+- **Підтримка офлайн-режиму.** Чи має додаток працювати офлайн?
+- **Яка технологія була використана для тренування моделі?** Обрана технологія може впливати на інструменти, які вам потрібно використовувати.
+ - **Використання TensorFlow.** Якщо ви тренуєте модель за допомогою TensorFlow, наприклад, ця екосистема дозволяє конвертувати модель TensorFlow для використання у веб-додатку за допомогою [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Використання PyTorch.** Якщо ви створюєте модель за допомогою бібліотеки, такої як [PyTorch](https://pytorch.org/), у вас є можливість експортувати її у формат [ONNX](https://onnx.ai/) (Open Neural Network Exchange) для використання у веб-додатках на JavaScript, які можуть використовувати [Onnx Runtime](https://www.onnxruntime.ai/). Цей варіант буде розглянуто в майбутньому уроці для моделі, тренованої за допомогою Scikit-learn.
+ - **Використання Lobe.ai або Azure Custom Vision.** Якщо ви використовуєте ML SaaS (Software as a Service) систему, таку як [Lobe.ai](https://lobe.ai/) або [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) для тренування моделі, цей тип програмного забезпечення надає способи експорту моделі для багатьох платформ, включаючи створення спеціального API для запитів у хмарі вашим онлайн-додатком.
+
+У вас також є можливість створити повноцінний веб-додаток Flask, який зможе тренувати модель прямо у веб-браузері. Це також можна зробити за допомогою TensorFlow.js у контексті JavaScript.
+
+Для наших цілей, оскільки ми працювали з ноутбуками на основі Python, давайте розглянемо кроки, які потрібно виконати, щоб експортувати треновану модель з такого ноутбука у формат, який може бути прочитаний веб-додатком, створеним на Python.
+
+## Інструменти
+
+Для цього завдання вам потрібні два інструменти: Flask і Pickle, обидва працюють на Python.
+
+✅ Що таке [Flask](https://palletsprojects.com/p/flask/)? Визначений як "мікро-фреймворк" його творцями, Flask надає базові функції веб-фреймворків, використовуючи Python і механізм шаблонів для створення веб-сторінок. Ознайомтеся з [цим модулем навчання](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott), щоб попрактикуватися у створенні додатків за допомогою Flask.
+
+✅ Що таке [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 — це модуль Python, який серіалізує та десеріалізує структуру об'єктів Python. Коли ви "запаковуєте" модель, ви серіалізуєте або спрощуєте її структуру для використання у вебі. Будьте обережні: Pickle не є внутрішньо безпечним, тому будьте уважні, якщо вам запропонують "розпакувати" файл. Файл Pickle має суфікс `.pkl`.
+
+## Вправа - очищення даних
+
+У цьому уроці ви будете використовувати дані про 80,000 спостережень НЛО, зібрані [NUFORC](https://nuforc.org) (Національний центр повідомлень про НЛО). Ці дані містять цікаві описи спостережень НЛО, наприклад:
+
+- **Довгий приклад опису.** "Чоловік виходить з променя світла, який освітлює трав'яне поле вночі, і біжить до парковки Texas Instruments".
+- **Короткий приклад опису.** "вогні переслідували нас".
+
+Електронна таблиця [ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) містить стовпці про `місто`, `штат` і `країну`, де відбулося спостереження, `форму` об'єкта, а також його `широту` і `довготу`.
+
+У порожньому [ноутбуці](../../../../3-Web-App/1-Web-App/notebook.ipynb), включеному в цей урок:
+
+1. імпортуйте `pandas`, `matplotlib` і `numpy`, як ви робили в попередніх уроках, і імпортуйте електронну таблицю ufos. Ви можете переглянути зразок набору даних:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Перетворіть дані ufos у невеликий датафрейм із новими заголовками. Перевірте унікальні значення в полі `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Тепер ви можете зменшити кількість даних, з якими потрібно працювати, видаливши будь-які значення null і імпортувавши лише спостереження тривалістю від 1 до 60 секунд:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Імпортуйте бібліотеку `LabelEncoder` з Scikit-learn для перетворення текстових значень країн у числа:
+
+ ✅ LabelEncoder кодує дані в алфавітному порядку
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Ваші дані повинні виглядати так:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Вправа - створення моделі
+
+Тепер ви можете підготуватися до тренування моделі, розділивши дані на групи для тренування та тестування.
+
+1. Виберіть три характеристики, на яких ви хочете тренуватися, як ваш X-вектор, а y-вектор буде `Country`. Ви хочете мати можливість вводити `Seconds`, `Latitude` і `Longitude` і отримувати ідентифікатор країни для повернення.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Тренуйте вашу модель, використовуючи логістичну регресію:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Точність непогана **(близько 95%)**, що не дивно, оскільки `Country` і `Latitude/Longitude` корелюють.
+
+Модель, яку ви створили, не дуже революційна, оскільки ви повинні бути здатні визначити `Country` за її `Latitude` і `Longitude`, але це гарна вправа для тренування на сирих даних, які ви очистили, експортували, а потім використали цю модель у веб-додатку.
+
+## Вправа - "запакування" моделі
+
+Тепер настав час _запакувати_ вашу модель! Ви можете зробити це за кілька рядків коду. Після того, як модель буде _запакована_, завантажте її і протестуйте на зразковому масиві даних, що містить значення для секунд, широти і довготи.
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Модель повертає **'3'**, що є кодом країни для Великобританії. Дивовижно! 👽
+
+## Вправа - створення додатку Flask
+
+Тепер ви можете створити додаток Flask, щоб викликати вашу модель і повертати схожі результати, але у більш візуально приємний спосіб.
+
+1. Почніть зі створення папки **web-app** поруч із файлом _notebook.ipynb_, де знаходиться ваш файл _ufo-model.pkl_.
+
+1. У цій папці створіть ще три папки: **static**, з папкою **css** всередині, і **templates**. Тепер у вас повинні бути наступні файли та каталоги:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Зверніться до папки рішення, щоб побачити готовий додаток
+
+1. Перший файл, який потрібно створити в папці _web-app_, це файл **requirements.txt**. Як _package.json_ у додатку на JavaScript, цей файл містить залежності, необхідні для додатку. У **requirements.txt** додайте рядки:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Тепер запустіть цей файл, перейшовши до _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. У вашому терміналі введіть `pip install`, щоб встановити бібліотеки, зазначені в _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Тепер ви готові створити ще три файли, щоб завершити додаток:
+
+ 1. Створіть **app.py** у кореневій папці.
+ 2. Створіть **index.html** у папці _templates_.
+ 3. Створіть **styles.css** у папці _static/css_.
+
+1. Заповніть файл _styles.css_ кількома стилями:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Далі, заповніть файл _index.html_:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Зверніть увагу на шаблонізацію в цьому файлі. Зверніть увагу на синтаксис "вусів" навколо змінних, які будуть надані додатком, наприклад текст прогнозу: `{{}}`. Тут також є форма, яка надсилає прогноз на маршрут `/predict`. + + Нарешті, ви готові створити файл Python, який керує використанням моделі та відображенням прогнозів: + +1. У `app.py` додайте: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Порада: коли ви додаєте [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) під час запуску веб-додатку за допомогою Flask, будь-які зміни, які ви вносите у ваш додаток, будуть відображатися негайно без необхідності перезапуску сервера. Будьте обережні! Не вмикайте цей режим у продуктивному додатку. + +Якщо ви запустите `python app.py` або `python3 app.py`, ваш веб-сервер запуститься локально, і ви зможете заповнити коротку форму, щоб отримати відповідь на ваше запитання про те, де були помічені НЛО! + +Перед тим, як це зробити, погляньте на частини `app.py`: + +1. Спочатку завантажуються залежності і запускається додаток. +1. Потім імпортується модель. +1. Потім на домашньому маршруті відображається index.html. + +На маршруті `/predict` відбувається кілька речей, коли форма надсилається: + +1. Змінні форми збираються і перетворюються у масив numpy. Потім вони надсилаються до моделі, і повертається прогноз. +2. Країни, які ми хочемо відобразити, перетворюються у читабельний текст із їхнього передбаченого коду країни, і це значення повертається до index.html для відображення у шаблоні. + +Використовувати модель таким чином, за допомогою Flask і запакованої моделі, досить просто. Найскладніше — зрозуміти, яку форму дані повинні мати, щоб їх можна було надіслати до моделі для отримання прогнозу. Це залежить від того, як модель була тренована. У цьому випадку потрібно ввести три точки даних, щоб отримати прогноз. + +У професійному середовищі ви можете побачити, наскільки важливим є гарна комунікація між людьми, які тренують модель, і тими, хто використовує її у веб- або мобільному додатку. У нашому випадку це лише одна людина — ви! + +--- + +## 🚀 Виклик + +Замість того, щоб працювати у ноутбуці та імпортувати модель у додаток Flask, ви могли б тренувати модель прямо у додатку Flask! Спробуйте перетворити ваш код Python у ноутбуці, можливо, після очищення даних, щоб тренувати модель прямо у додатку на маршруті `train`. Які плюси і мінуси цього методу? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Існує багато способів створення веб-додатку для використання ML моделей. Складіть список способів, якими ви могли б використовувати JavaScript або Python для створення веб-додатку, що використовує машинне навчання. Розгляньте архітектуру: чи повинна модель залишатися у додатку або жити у хмарі? Якщо останнє, як ви б її отримували? Намалюйте архітектурну модель для прикладного ML веб-рішення. + +## Завдання + +[Спробуйте іншу модель](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/3-Web-App/1-Web-App/assignment.md b/translations/uk/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 00000000..a1f4c2cd --- /dev/null +++ b/translations/uk/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,25 @@ + +# Спробуйте іншу модель + +## Інструкції + +Тепер, коли ви створили один веб-додаток, використовуючи навчений модель регресії, скористайтеся однією з моделей з попереднього уроку з регресії, щоб переробити цей веб-додаток. Ви можете залишити стиль або оформити його по-іншому, щоб відобразити дані про гарбузи. Будьте уважні, змінюючи вхідні дані, щоб вони відповідали методу навчання вашої моделі. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| ------------------------- | ------------------------------------------------------- | ------------------------------------------------------- | ------------------------------------ | +| | Веб-додаток працює як очікується і розгорнутий у хмарі | Веб-додаток має недоліки або демонструє неочікувані результати | Веб-додаток не працює належним чином | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/3-Web-App/README.md b/translations/uk/3-Web-App/README.md new file mode 100644 index 00000000..30feb3ff --- /dev/null +++ b/translations/uk/3-Web-App/README.md @@ -0,0 +1,35 @@ + +# Створення веб-додатку для використання вашої ML-моделі + +У цьому розділі навчальної програми ви познайомитеся з прикладною темою машинного навчання: як зберегти вашу модель Scikit-learn у файл, який можна використовувати для прогнозування у веб-додатку. Після того, як модель буде збережена, ви дізнаєтеся, як використовувати її у веб-додатку, створеному на Flask. Спочатку ви створите модель, використовуючи дані про спостереження НЛО! Потім ви створите веб-додаток, який дозволить вводити кількість секунд разом із значеннями широти та довготи, щоб передбачити, яка країна повідомила про спостереження НЛО. + + + +Фото Майкла Херрена на Unsplash + +## Уроки + +1. [Створення веб-додатку](1-Web-App/README.md) + +## Авторство + +"Створення веб-додатку" написано з ♥️ [Джен Лупер](https://twitter.com/jenlooper). + +♥️ Тести були написані Роханом Раджем. + +Дані взяті з [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +Архітектура веб-додатку частково запропонована у [цій статті](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) та [цьому репозиторії](https://github.com/abhinavsagar/machine-learning-deployment) Абхінава Сагара. + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, звертаємо вашу увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується звертатися до професійного людського перекладу. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/1-Introduction/README.md b/translations/uk/4-Classification/1-Introduction/README.md new file mode 100644 index 00000000..af8bdd09 --- /dev/null +++ b/translations/uk/4-Classification/1-Introduction/README.md @@ -0,0 +1,313 @@ + +# Вступ до класифікації + +У цих чотирьох уроках ви дослідите основний аспект класичного машинного навчання — _класифікацію_. Ми розглянемо використання різних алгоритмів класифікації на основі набору даних про всі чудові кухні Азії та Індії. Сподіваємося, ви голодні! + + + +> Святкуйте паназійські кухні в цих уроках! Зображення від [Jen Looper](https://twitter.com/jenlooper) + +Класифікація — це форма [навчання з учителем](https://wikipedia.org/wiki/Supervised_learning), яка має багато спільного з техніками регресії. Якщо машинне навчання полягає у прогнозуванні значень або назв для речей за допомогою наборів даних, то класифікація зазвичай поділяється на дві групи: _бінарна класифікація_ та _багатокласова класифікація_. + +[](https://youtu.be/eg8DJYwdMyg "Вступ до класифікації") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Джон Гуттаг з MIT представляє класифікацію + +Запам’ятайте: + +- **Лінійна регресія** допомогла вам передбачити взаємозв’язки між змінними та зробити точні прогнози щодо того, де нова точка даних потрапить у відношенні до цієї лінії. Наприклад, ви могли б передбачити _яка ціна гарбуза буде у вересні проти грудня_. +- **Логістична регресія** допомогла вам виявити "бінарні категорії": за цією ціною _чи цей гарбуз помаранчевий чи не помаранчевий_? + +Класифікація використовує різні алгоритми для визначення інших способів визначення мітки або класу точки даних. Давайте попрацюємо з цими даними про кухні, щоб побачити, чи можемо ми, спостерігаючи за групою інгредієнтів, визначити її кухню походження. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +> ### [Цей урок доступний у R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Вступ + +Класифікація є однією з основних діяльностей дослідника машинного навчання та дата-сайєнтиста. Від базової класифікації бінарного значення ("чи цей електронний лист є спамом чи ні?") до складної класифікації зображень і сегментації за допомогою комп’ютерного зору — завжди корисно мати можливість сортувати дані за класами та ставити їм запитання. + +Якщо висловити процес більш науково, ваш метод класифікації створює прогностичну модель, яка дозволяє вам зіставити взаємозв’язок між вхідними змінними та вихідними змінними. + + + +> Бінарні та багатокласові задачі для алгоритмів класифікації. Інфографіка від [Jen Looper](https://twitter.com/jenlooper) + +Перш ніж розпочати процес очищення наших даних, їх візуалізації та підготовки до завдань машинного навчання, давайте трохи дізнаємося про різні способи використання машинного навчання для класифікації даних. + +Походячи з [статистики](https://wikipedia.org/wiki/Statistical_classification), класифікація за допомогою класичного машинного навчання використовує ознаки, такі як `smoker`, `weight` і `age`, щоб визначити _ймовірність розвитку X хвороби_. Як техніка навчання з учителем, схожа на вправи з регресії, які ви виконували раніше, ваші дані мають мітки, і алгоритми машинного навчання використовують ці мітки для класифікації та прогнозування класів (або "ознак") набору даних і призначення їх групі або результату. + +✅ Уявіть собі набір даних про кухні. На які запитання міг би відповісти багатокласовий модель? А бінарний? Що, якщо ви хотіли б визначити, чи ймовірно, що певна кухня використовує пажитник? А якщо ви хотіли б побачити, чи зможете ви, маючи в подарунок пакет із продуктами, що містить зірчастий аніс, артишоки, цвітну капусту та хрін, створити типову індійську страву? + +[](https://youtu.be/GuTeDbaNoEU "Дивні кошики з інгредієнтами") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео. Вся концепція шоу 'Chopped' полягає у "таємничому кошику", де шеф-кухарі повинні приготувати страву з випадкового набору інгредієнтів. Напевно, модель машинного навчання могла б допомогти! + +## Привіт, "класифікатор" + +Запитання, яке ми хочемо поставити до цього набору даних про кухні, насправді є **багатокласовим запитанням**, оскільки у нас є кілька потенційних національних кухонь для роботи. Враховуючи набір інгредієнтів, до якого з цих багатьох класів належатимуть дані? + +Scikit-learn пропонує кілька різних алгоритмів для класифікації даних залежно від типу задачі, яку ви хочете вирішити. У наступних двох уроках ви дізнаєтеся про кілька з цих алгоритмів. + +## Вправа - очистіть і збалансуйте свої дані + +Перше завдання, яке потрібно виконати перед початком цього проекту, — це очистити та **збалансувати** ваші дані, щоб отримати кращі результати. Почніть із порожнього файлу _notebook.ipynb_ у кореневій папці. + +Перше, що потрібно встановити, це [imblearn](https://imbalanced-learn.org/stable/). Це пакет Scikit-learn, який дозволить вам краще збалансувати дані (ви дізнаєтеся більше про це завдання за хвилину). + +1. Щоб встановити `imblearn`, запустіть `pip install`, як показано нижче: + + ```python + pip install imblearn + ``` + +1. Імпортуйте пакети, які вам потрібні для імпорту даних і їх візуалізації, також імпортуйте `SMOTE` з `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Тепер ви готові імпортувати дані. + +1. Наступним завданням буде імпортувати дані: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Використання `read_csv()` зчитує вміст csv-файлу _cusines.csv_ і розміщує його у змінній `df`. + +1. Перевірте форму даних: + + ```python + df.head() + ``` + + Перші п’ять рядків виглядають так: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Отримайте інформацію про ці дані, викликавши `info()`: + + ```python + df.info() + ``` + + Ваш результат виглядає так: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Вправа - вивчення кухонь + +Тепер робота стає цікавішою. Давайте дізнаємося розподіл даних за кухнями. + +1. Побудуйте дані у вигляді стовпців, викликавши `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Існує обмежена кількість кухонь, але розподіл даних нерівномірний. Ви можете це виправити! Перш ніж це зробити, досліджуйте трохи більше. + +1. Дізнайтеся, скільки даних доступно для кожної кухні, і виведіть їх: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + результат виглядає так: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Вивчення інгредієнтів + +Тепер ви можете глибше зануритися в дані та дізнатися, які типові інгредієнти для кожної кухні. Ви повинні очистити повторювані дані, які створюють плутанину між кухнями, тому давайте дізнаємося про цю проблему. + +1. Створіть функцію `create_ingredient()` у Python, щоб створити датафрейм інгредієнтів. Ця функція почне з видалення непотрібного стовпця та сортування інгредієнтів за їх кількістю: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Тепер ви можете використовувати цю функцію, щоб отримати уявлення про десять найпопулярніших інгредієнтів для кожної кухні. + +1. Викличте `create_ingredient()` і побудуйте графік, викликавши `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Зробіть те ж саме для японських даних: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Тепер для китайських інгредієнтів: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Побудуйте графік індійських інгредієнтів: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Нарешті, побудуйте графік корейських інгредієнтів: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Тепер видаліть найпоширеніші інгредієнти, які створюють плутанину між різними кухнями, викликавши `drop()`: + + Усі люблять рис, часник і імбир! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Збалансуйте набір даних + +Тепер, коли ви очистили дані, використовуйте [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) — "Synthetic Minority Over-sampling Technique" — для їх балансування. + +1. Викличте `fit_resample()`, ця стратегія генерує нові зразки шляхом інтерполяції. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Балансуючи дані, ви отримаєте кращі результати під час їх класифікації. Подумайте про бінарну класифікацію. Якщо більшість ваших даних належить до одного класу, модель машинного навчання буде частіше прогнозувати цей клас просто тому, що для нього більше даних. Балансування даних усуває цей дисбаланс. + +1. Тепер ви можете перевірити кількість міток на інгредієнт: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Ваш результат виглядає так: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Дані чисті, збалансовані та дуже апетитні! + +1. Останній крок — зберегти збалансовані дані, включаючи мітки та ознаки, у новий датафрейм, який можна експортувати у файл: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Ви можете ще раз переглянути дані, використовуючи `transformed_df.head()` і `transformed_df.info()`. Збережіть копію цих даних для використання в майбутніх уроках: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + Цей новий CSV тепер можна знайти в кореневій папці даних. + +--- + +## 🚀Завдання + +Ця навчальна програма містить кілька цікавих наборів даних. Перегляньте папки `data` і подивіться, чи містять вони набори даних, які підходять для бінарної або багатокласової класифікації? Які запитання ви б поставили до цього набору даних? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Досліджуйте API SMOTE. Для яких випадків використання він найкраще підходить? Які проблеми він вирішує? + +## Завдання + +[Досліджуйте методи класифікації](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/1-Introduction/assignment.md b/translations/uk/4-Classification/1-Introduction/assignment.md new file mode 100644 index 00000000..f47cb51e --- /dev/null +++ b/translations/uk/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Дослідження методів класифікації + +## Інструкції + +У [документації Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) ви знайдете великий список способів класифікації даних. Проведіть невелике дослідження в цих документах: ваша мета — знайти методи класифікації та підібрати набір даних із цього курсу, питання, яке можна поставити до нього, і техніку класифікації. Створіть електронну таблицю або таблицю у файлі .doc і поясніть, як набір даних буде працювати з алгоритмом класифікації. + +## Критерії оцінювання + +| Критерії | Відмінно | Достатньо | Потребує покращення | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | представлено документ, який містить огляд 5 алгоритмів разом із технікою класифікації. Огляд добре пояснений і детальний. | представлено документ, який містить огляд 3 алгоритмів разом із технікою класифікації. Огляд добре пояснений і детальний. | представлено документ, який містить огляд менше трьох алгоритмів разом із технікою класифікації, і огляд не є добре поясненим або детальним. | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/1-Introduction/solution/Julia/README.md b/translations/uk/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..d8e6a27c --- /dev/null +++ b/translations/uk/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/2-Classifiers-1/README.md b/translations/uk/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 00000000..32ff3b77 --- /dev/null +++ b/translations/uk/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,253 @@ + +# Класифікатори кухонь 1 + +У цьому уроці ви будете використовувати набір даних, який ви зберегли з попереднього уроку, наповнений збалансованими та очищеними даними про кухні. + +Ви будете використовувати цей набір даних із різними класифікаторами, щоб _передбачити національну кухню на основі групи інгредієнтів_. Під час цього ви дізнаєтеся більше про способи використання алгоритмів для задач класифікації. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) +# Підготовка + +Якщо ви завершили [Урок 1](../1-Introduction/README.md), переконайтеся, що файл _cleaned_cuisines.csv_ знаходиться в кореневій папці `/data` для цих чотирьох уроків. + +## Вправа - передбачення національної кухні + +1. Працюючи в папці _notebook.ipynb_ цього уроку, імпортуйте цей файл разом із бібліотекою Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Дані виглядають так: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Тепер імпортуйте ще кілька бібліотек: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Розділіть координати X та y на два датафрейми для тренування. `cuisine` може бути датафреймом міток: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Це виглядатиме так: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Видаліть стовпці `Unnamed: 0` та `cuisine`, використовуючи `drop()`. Збережіть решту даних як тренувальні ознаки: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Ваші ознаки виглядають так: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +Тепер ви готові тренувати вашу модель! + +## Вибір класифікатора + +Тепер, коли ваші дані очищені та готові до тренування, вам потрібно вирішити, який алгоритм використовувати для задачі. + +Scikit-learn групує класифікацію під Навчання з учителем, і в цій категорії ви знайдете багато способів класифікації. [Різноманіття](https://scikit-learn.org/stable/supervised_learning.html) може здатися приголомшливим на перший погляд. Наступні методи включають техніки класифікації: + +- Лінійні моделі +- Машини опорних векторів +- Стохастичний градієнтний спуск +- Найближчі сусіди +- Гауссові процеси +- Дерева рішень +- Ансамблеві методи (голосуючий класифікатор) +- Алгоритми для багатокласових і багатовихідних задач (багатокласова і багатоміткова класифікація, багатокласова-багатовихідна класифікація) + +> Ви також можете використовувати [нейронні мережі для класифікації даних](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification), але це виходить за рамки цього уроку. + +### Який класифікатор обрати? + +Отже, який класифікатор слід обрати? Часто тестування кількох класифікаторів і пошук найкращого результату є способом перевірки. Scikit-learn пропонує [порівняння](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html) на створеному наборі даних, порівнюючи KNeighbors, SVC двома способами, GaussianProcessClassifier, DecisionTreeClassifier, RandomForestClassifier, MLPClassifier, AdaBoostClassifier, GaussianNB і QuadraticDiscriminationAnalysis, показуючи результати візуалізованими: + + +> Графіки, створені на документації Scikit-learn + +> AutoML вирішує цю проблему, виконуючи ці порівняння в хмарі, дозволяючи вам обрати найкращий алгоритм для ваших даних. Спробуйте [тут](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) + +### Кращий підхід + +Кращий спосіб, ніж просто здогадуватися, — це слідувати ідеям із цього завантажуваного [ML Cheat sheet](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott). Тут ми дізнаємося, що для нашої багатокласової задачі у нас є кілька варіантів: + + +> Частина шпаргалки Microsoft Algorithm Cheat Sheet, що описує варіанти багатокласової класифікації + +✅ Завантажте цю шпаргалку, роздрукуйте її та повісьте на стіну! + +### Міркування + +Давайте спробуємо розібратися в різних підходах, враховуючи наші обмеження: + +- **Нейронні мережі занадто важкі**. З огляду на наш очищений, але мінімальний набір даних, і той факт, що ми запускаємо тренування локально через ноутбуки, нейронні мережі занадто важкі для цього завдання. +- **Не використовуємо класифікатор для двох класів**. Ми не використовуємо класифікатор для двох класів, тому це виключає one-vs-all. +- **Дерева рішень або логістична регресія можуть підійти**. Дерева рішень можуть підійти, або логістична регресія для багатокласових даних. +- **Багатокласові Boosted Decision Trees вирішують іншу задачу**. Багатокласове Boosted Decision Tree найбільш підходить для непараметричних задач, наприклад, задач, спрямованих на створення рейтингів, тому це нам не підходить. + +### Використання Scikit-learn + +Ми будемо використовувати Scikit-learn для аналізу наших даних. Однак існує багато способів використання логістичної регресії в Scikit-learn. Ознайомтеся з [параметрами для передачі](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Фактично, є два важливі параметри - `multi_class` і `solver` - які нам потрібно вказати, коли ми просимо Scikit-learn виконати логістичну регресію. Значення `multi_class` визначає певну поведінку. Значення solver визначає, який алгоритм використовувати. Не всі solvers можна поєднувати з усіма значеннями `multi_class`. + +Згідно з документацією, у випадку багатокласової задачі, алгоритм навчання: + +- **Використовує схему one-vs-rest (OvR)**, якщо параметр `multi_class` встановлено як `ovr` +- **Використовує функцію втрат крос-ентропії**, якщо параметр `multi_class` встановлено як `multinomial`. (На даний момент опція `multinomial` підтримується лише solvers: ‘lbfgs’, ‘sag’, ‘saga’ і ‘newton-cg’.) + +> 🎓 "Схема" тут може бути або 'ovr' (one-vs-rest), або 'multinomial'. Оскільки логістична регресія насправді призначена для підтримки бінарної класифікації, ці схеми дозволяють їй краще справлятися з багатокласовими задачами класифікації. [джерело](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 "Solver" визначається як "алгоритм, який використовується для вирішення задачі оптимізації". [джерело](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn пропонує цю таблицю, щоб пояснити, як solvers справляються з різними викликами, представленими різними типами структур даних: + + + +## Вправа - розділіть дані + +Ми можемо зосередитися на логістичній регресії для нашого першого тренувального випробування, оскільки ви нещодавно вивчали її на попередньому уроці. +Розділіть ваші дані на тренувальні та тестові групи, викликавши `train_test_split()`: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## Вправа - застосуйте логістичну регресію + +Оскільки ви використовуєте багатокласовий випадок, вам потрібно вибрати, яку _схему_ використовувати і який _solver_ встановити. Використовуйте LogisticRegression із багатокласовим налаштуванням і **liblinear** solver для тренування. + +1. Створіть логістичну регресію з multi_class, встановленим як `ovr`, і solver, встановленим як `liblinear`: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ Спробуйте інший solver, наприклад `lbfgs`, який часто встановлюється за замовчуванням. +> Зверніть увагу, використовуйте функцію Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) для згладжування ваших даних, коли це необхідно. +Точність становить понад **80%**! + +1. Ви можете побачити, як ця модель працює, протестувавши один рядок даних (#50): + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + Результат виводиться: + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ Спробуйте інший номер рядка та перевірте результати. + +1. Заглиблюючись, ви можете перевірити точність цього прогнозу: + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + Результат виводиться - індійська кухня є найкращим припущенням моделі з високою ймовірністю: + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ Чи можете ви пояснити, чому модель досить впевнена, що це індійська кухня? + +1. Отримайте більше деталей, вивівши звіт про класифікацію, як ви робили в уроках регресії: + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀Виклик + +У цьому уроці ви використали очищені дані для створення моделі машинного навчання, яка може передбачати національну кухню на основі серії інгредієнтів. Приділіть час, щоб ознайомитися з багатьма варіантами, які Scikit-learn пропонує для класифікації даних. Заглибтеся в концепцію 'solver', щоб зрозуміти, що відбувається за лаштунками. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Заглибтеся трохи більше в математику логістичної регресії в [цьому уроці](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) +## Завдання + +[Вивчіть solvers](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/2-Classifiers-1/assignment.md b/translations/uk/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 00000000..232cd7c8 --- /dev/null +++ b/translations/uk/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,23 @@ + +# Вивчіть вирішувачі +## Інструкції + +У цьому уроці ви дізналися про різні вирішувачі, які поєднують алгоритми з процесом машинного навчання для створення точної моделі. Ознайомтеся з вирішувачами, переліченими в уроці, і виберіть два. Своїми словами порівняйте та протиставте ці два вирішувачі. Які проблеми вони вирішують? Як вони працюють з різними структурами даних? Чому ви б обрали один замість іншого? +## Критерії оцінювання + +| Критерій | Відмінно | Достатньо | Потребує покращення | +| -------- | ---------------------------------------------------------------------------------------------- | ---------------------------------------------- | ---------------------------- | +| | Представлено .doc файл із двома абзацами, кожен про один вирішувач, з продуманим порівнянням. | Представлено .doc файл лише з одним абзацом | Завдання не завершено | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/uk/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 00000000..64fe90fd --- /dev/null +++ b/translations/uk/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/3-Classifiers-2/README.md b/translations/uk/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 00000000..8d00ef13 --- /dev/null +++ b/translations/uk/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,249 @@ + +# Класифікатори кухонь 2 + +У цьому другому уроці класифікації ви дослідите більше способів класифікації числових даних. Ви також дізнаєтеся про наслідки вибору одного класифікатора над іншим. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +### Попередні знання + +Ми припускаємо, що ви завершили попередні уроки та маєте очищений набір даних у папці `data`, який називається _cleaned_cuisines.csv_ у кореневій папці цього 4-урочного блоку. + +### Підготовка + +Ми завантажили ваш файл _notebook.ipynb_ з очищеним набором даних і розділили його на X та y датафрейми, готові до процесу побудови моделі. + +## Карта класифікації + +Раніше ви дізналися про різні варіанти класифікації даних, використовуючи шпаргалку Microsoft. Scikit-learn пропонує схожу, але більш детальну шпаргалку, яка може допомогти ще більше звузити вибір оцінювачів (інша назва класифікаторів): + + +> Порада: [відвідайте цю карту онлайн](https://scikit-learn.org/stable/tutorial/machine_learning_map/) і натискайте на шляхи, щоб прочитати документацію. + +### План + +Ця карта дуже корисна, коли ви добре розумієте свої дані, оскільки ви можете "пройти" її шляхами до рішення: + +- У нас є >50 зразків +- Ми хочемо передбачити категорію +- У нас є мічені дані +- У нас менше ніж 100К зразків +- ✨ Ми можемо вибрати Linear SVC +- Якщо це не спрацює, оскільки у нас числові дані + - Ми можемо спробувати ✨ KNeighbors Classifier + - Якщо це не спрацює, спробуйте ✨ SVC та ✨ Ensemble Classifiers + +Це дуже корисний шлях для слідування. + +## Вправа - розділіть дані + +Слідуючи цьому шляху, ми повинні почати з імпорту деяких бібліотек для використання. + +1. Імпортуйте необхідні бібліотеки: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Розділіть ваші дані на тренувальні та тестові: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Класифікатор Linear SVC + +Support-Vector clustering (SVC) є частиною сімейства методів машинного навчання Support-Vector machines (докладніше про них нижче). У цьому методі ви можете вибрати "ядро", щоб вирішити, як кластеризувати мітки. Параметр 'C' стосується "регуляризації", яка регулює вплив параметрів. Ядро може бути одним із [кількох](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); тут ми встановлюємо його як 'linear', щоб використовувати Linear SVC. За замовчуванням ймовірність встановлена як 'false'; тут ми встановлюємо її як 'true', щоб отримати оцінки ймовірності. Ми встановлюємо random state як '0', щоб перемішати дані для отримання ймовірностей. + +### Вправа - застосуйте Linear SVC + +Почніть із створення масиву класифікаторів. Ви будете поступово додавати до цього масиву, тестуючи. + +1. Почніть із Linear SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Навчіть вашу модель, використовуючи Linear SVC, і виведіть звіт: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Результат досить хороший: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## Класифікатор K-Neighbors + +K-Neighbors є частиною сімейства методів ML "neighbors", які можуть використовуватися як для контрольованого, так і для неконтрольованого навчання. У цьому методі створюється задана кількість точок, і дані збираються навколо цих точок таким чином, щоб можна було передбачити узагальнені мітки для даних. + +### Вправа - застосуйте класифікатор K-Neighbors + +Попередній класифікатор був хорошим і добре працював із даними, але, можливо, ми можемо отримати кращу точність. Спробуйте класифікатор K-Neighbors. + +1. Додайте рядок до вашого масиву класифікаторів (додайте кому після елемента Linear SVC): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Результат трохи гірший: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Дізнайтеся більше про [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Класифікатор Support Vector + +Класифікатори Support-Vector є частиною сімейства методів ML [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine), які використовуються для задач класифікації та регресії. SVM "відображають навчальні приклади в точки в просторі", щоб максимізувати відстань між двома категоріями. Наступні дані відображаються в цьому просторі, щоб можна було передбачити їхню категорію. + +### Вправа - застосуйте класифікатор Support Vector + +Спробуємо отримати трохи кращу точність за допомогою класифікатора Support Vector. + +1. Додайте кому після елемента K-Neighbors, а потім додайте цей рядок: + + ```python + 'SVC': SVC(), + ``` + + Результат досить хороший! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Дізнайтеся більше про [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Ensemble Classifiers + +Давайте пройдемо шлях до самого кінця, навіть якщо попередній тест був досить хорошим. Спробуємо деякі класифікатори 'Ensemble', зокрема Random Forest та AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Результат дуже хороший, особливо для Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Дізнайтеся більше про [Ensemble Classifiers](https://scikit-learn.org/stable/modules/ensemble.html) + +Цей метод машинного навчання "об'єднує прогнози кількох базових оцінювачів", щоб покращити якість моделі. У нашому прикладі ми використовували Random Trees та AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), метод усереднення, будує "ліс" із "дерев рішень", наповнених випадковістю, щоб уникнути перенавчання. Параметр n_estimators встановлюється як кількість дерев. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) підбирає класифікатор до набору даних, а потім підбирає копії цього класифікатора до того ж набору даних. Він зосереджується на вагах неправильно класифікованих елементів і коригує підбір для наступного класифікатора, щоб виправити помилки. + +--- + +## 🚀Виклик + +Кожен із цих методів має велику кількість параметрів, які ви можете налаштувати. Дослідіть параметри за замовчуванням кожного методу та подумайте, що означатиме їхнє налаштування для якості моделі. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд та самостійне навчання + +У цих уроках багато термінології, тому приділіть хвилинку, щоб переглянути [цей список](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) корисних термінів! + +## Завдання + +[Гра з параметрами](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, звертаємо вашу увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/3-Classifiers-2/assignment.md b/translations/uk/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 00000000..cf08d6c2 --- /dev/null +++ b/translations/uk/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,25 @@ + +# Гра з параметрами + +## Інструкції + +Існує багато параметрів, які встановлюються за замовчуванням при роботі з цими класифікаторами. Intellisense у VS Code може допомогти вам розібратися в них. Виберіть одну з технік класифікації машинного навчання, представлених у цьому уроці, і перенавчіть моделі, змінюючи різні значення параметрів. Створіть ноутбук, у якому поясніть, чому деякі зміни покращують якість моделі, а інші погіршують її. Будьте детальними у своїй відповіді. + +## Критерії оцінювання + +| Критерій | Відмінно | Достатньо | Потребує покращення | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Представлено ноутбук із повністю побудованим класифікатором, параметри змінено, а зміни пояснено у текстових блоках | Представлено ноутбук частково або пояснення слабкі | Ноутбук містить помилки або недоліки | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, звертаємо вашу увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/uk/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 00000000..fe41b878 --- /dev/null +++ b/translations/uk/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/4-Applied/README.md b/translations/uk/4-Classification/4-Applied/README.md new file mode 100644 index 00000000..ee0ad337 --- /dev/null +++ b/translations/uk/4-Classification/4-Applied/README.md @@ -0,0 +1,329 @@ + +# Створення веб-додатку для рекомендацій кухні + +У цьому уроці ви створите модель класифікації, використовуючи деякі техніки, які ви вивчили в попередніх уроках, а також смачний набір даних про кухні, який використовувався протягом цієї серії. Крім того, ви створите невеликий веб-додаток для використання збереженої моделі, використовуючи веб-рантайм Onnx. + +Одним із найкорисніших практичних застосувань машинного навчання є створення систем рекомендацій, і сьогодні ви можете зробити перший крок у цьому напрямку! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Джен Лупер створює веб-додаток, використовуючи дані класифікованих кухонь + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +У цьому уроці ви дізнаєтеся: + +- Як створити модель та зберегти її у форматі Onnx +- Як використовувати Netron для перевірки моделі +- Як використовувати вашу модель у веб-додатку для інференсу + +## Створення вашої моделі + +Створення прикладних систем машинного навчання є важливою частиною використання цих технологій для ваших бізнес-систем. Ви можете використовувати моделі у своїх веб-додатках (а отже, використовувати їх в офлайн-режимі, якщо це необхідно), використовуючи Onnx. + +У [попередньому уроці](../../3-Web-App/1-Web-App/README.md) ви створили модель регресії про спостереження НЛО, "запакували" її та використали у додатку Flask. Хоча ця архітектура дуже корисна, це повноцінний Python-додаток, і ваші вимоги можуть включати використання JavaScript-додатку. + +У цьому уроці ви можете створити базову систему на основі JavaScript для інференсу. Спочатку, однак, вам потрібно навчити модель і конвертувати її для використання з Onnx. + +## Вправа - навчання моделі класифікації + +Спочатку навчіть модель класифікації, використовуючи очищений набір даних про кухні, який ми використовували. + +1. Почніть з імпорту корисних бібліотек: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Вам потрібен '[skl2onnx](https://onnx.ai/sklearn-onnx/)', щоб допомогти конвертувати вашу модель Scikit-learn у формат Onnx. + +1. Потім працюйте з вашими даними так само, як ви робили в попередніх уроках, читаючи CSV-файл за допомогою `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Видаліть перші два непотрібні стовпці та збережіть решту даних як 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Збережіть мітки як 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Початок процедури навчання + +Ми будемо використовувати бібліотеку 'SVC', яка має хорошу точність. + +1. Імпортуйте відповідні бібліотеки з Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Розділіть дані на навчальний та тестовий набори: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Створіть модель класифікації SVC, як ви робили в попередньому уроці: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Тепер протестуйте вашу модель, викликавши `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Виведіть звіт про класифікацію, щоб перевірити якість моделі: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Як ми бачили раніше, точність хороша: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Конвертуйте вашу модель у формат Onnx + +Переконайтеся, що конвертація виконується з правильним числом тензорів. У цьому наборі даних є 380 інгредієнтів, тому вам потрібно зазначити це число у `FloatTensorType`: + +1. Конвертуйте, використовуючи число тензорів 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Створіть файл **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Зверніть увагу, що ви можете передати [опції](https://onnx.ai/sklearn-onnx/parameterized.html) у вашому скрипті конвертації. У цьому випадку ми передали 'nocl', щоб він був True, і 'zipmap', щоб він був False. Оскільки це модель класифікації, у вас є опція видалити ZipMap, який створює список словників (необов'язково). `nocl` стосується включення інформації про класи у модель. Зменшіть розмір вашої моделі, встановивши `nocl` на 'True'. + +Запуск всього ноутбука тепер створить модель Onnx і збереже її у цій папці. + +## Перегляд вашої моделі + +Моделі Onnx не дуже зручні для перегляду у Visual Studio Code, але є дуже хороше безкоштовне програмне забезпечення, яке багато дослідників використовують для візуалізації моделі, щоб переконатися, що вона правильно побудована. Завантажте [Netron](https://github.com/lutzroeder/Netron) і відкрийте ваш файл model.onnx. Ви можете побачити вашу просту модель, візуалізовану з її 380 входами та класифікатором: + + + +Netron — це корисний інструмент для перегляду ваших моделей. + +Тепер ви готові використовувати цю чудову модель у веб-додатку. Давайте створимо додаток, який стане в нагоді, коли ви заглянете у свій холодильник і спробуєте визначити, яку комбінацію залишків інгредієнтів ви можете використати для приготування певної кухні, як визначено вашою моделлю. + +## Створення веб-додатку для рекомендацій + +Ви можете використовувати вашу модель безпосередньо у веб-додатку. Ця архітектура також дозволяє запускати її локально і навіть офлайн, якщо це необхідно. Почніть зі створення файлу `index.html` у тій самій папці, де ви зберегли ваш файл `model.onnx`. + +1. У цьому файлі _index.html_ додайте наступну розмітку: + + ```html + + + + + + ... + + + ``` + +1. Тепер, працюючи всередині тегів `body`, додайте трохи розмітки, щоб показати список чекбоксів, що відображають деякі інгредієнти: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Зверніть увагу, що кожному чекбоксу присвоєно значення. Це відображає індекс, де інгредієнт знаходиться відповідно до набору даних. Наприклад, яблуко у цьому алфавітному списку займає п'ятий стовпець, тому його значення — '4', оскільки ми починаємо рахувати з 0. Ви можете звернутися до [електронної таблиці інгредієнтів](../../../../4-Classification/data/ingredient_indexes.csv), щоб дізнатися індекс певного інгредієнта. + + Продовжуючи роботу у файлі index.html, додайте блок скрипту, де модель викликається після останнього закриваючого ``. + +1. Спочатку імпортуйте [Onnx Runtime](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime використовується для запуску ваших моделей Onnx на широкому спектрі апаратних платформ, включаючи оптимізації та API для використання. + +1. Як тільки Runtime встановлено, ви можете викликати його: + + ```html + + ``` + +У цьому коді відбувається кілька речей: + +1. Ви створили масив із 380 можливих значень (1 або 0), які будуть встановлені та відправлені до моделі для інференсу залежно від того, чи вибрано чекбокс. +2. Ви створили масив чекбоксів і спосіб визначити, чи вони були вибрані, у функції `init`, яка викликається при запуску додатку. Коли чекбокс вибрано, масив `ingredients` змінюється, щоб відобразити вибраний інгредієнт. +3. Ви створили функцію `testCheckboxes`, яка перевіряє, чи вибрано будь-який чекбокс. +4. Ви використовуєте функцію `startInference`, коли натискається кнопка, і якщо вибрано будь-який чекбокс, ви починаєте інференс. +5. Рутинна процедура інференсу включає: + 1. Налаштування асинхронного завантаження моделі + 2. Створення структури Tensor для відправки до моделі + 3. Створення 'feeds', які відображають вхідний `float_input`, створений вами при навчанні моделі (ви можете використовувати Netron, щоб перевірити цю назву) + 4. Відправлення цих 'feeds' до моделі та очікування відповіді + +## Тестування вашого додатку + +Відкрийте термінал у Visual Studio Code у папці, де знаходиться ваш файл index.html. Переконайтеся, що у вас встановлено [http-server](https://www.npmjs.com/package/http-server) глобально, і введіть `http-server` у командному рядку. Локальний хост має відкритися, і ви можете переглянути ваш веб-додаток. Перевірте, яку кухню рекомендують на основі різних інгредієнтів: + + + +Вітаємо, ви створили веб-додаток для рекомендацій із кількома полями. Приділіть трохи часу, щоб розширити цю систему! + +## 🚀Завдання + +Ваш веб-додаток дуже мінімальний, тому продовжуйте розширювати його, використовуючи інгредієнти та їх індекси з даних [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Які комбінації смаків працюють для створення певної національної страви? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Хоча цей урок лише торкнувся корисності створення системи рекомендацій для інгредієнтів їжі, ця область застосування ML дуже багата на приклади. Прочитайте більше про те, як створюються ці системи: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Завдання + +[Створіть нову систему рекомендацій](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/4-Applied/assignment.md b/translations/uk/4-Classification/4-Applied/assignment.md new file mode 100644 index 00000000..f9f9cfaf --- /dev/null +++ b/translations/uk/4-Classification/4-Applied/assignment.md @@ -0,0 +1,25 @@ + +# Створіть рекомендаційну систему + +## Інструкції + +Враховуючи ваші вправи в цьому уроці, тепер ви знаєте, як створити веб-додаток на JavaScript, використовуючи Onnx Runtime і перетворену модель Onnx. Спробуйте створити нову рекомендаційну систему, використовуючи дані з цих уроків або знайдені в іншому місці (будь ласка, вказуйте джерело). Ви можете створити рекомендаційну систему для домашніх улюбленців, враховуючи різні характеристики особистості, або систему рекомендацій музичних жанрів, базуючись на настрої людини. Будьте креативними! + +## Критерії оцінювання + +| Критерій | Відмінно | Задовільно | Потребує покращення | +| -------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | Представлено веб-додаток і блокнот, обидва добре задокументовані та працюють | Один із них відсутній або має недоліки | Обидва відсутні або мають недоліки | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/4-Classification/README.md b/translations/uk/4-Classification/README.md new file mode 100644 index 00000000..95793789 --- /dev/null +++ b/translations/uk/4-Classification/README.md @@ -0,0 +1,41 @@ + +# Початок роботи з класифікацією + +## Регіональна тема: Смачні азійські та індійські кухні 🍜 + +В Азії та Індії традиції їжі надзвичайно різноманітні та дуже смачні! Давайте розглянемо дані про регіональні кухні, щоб зрозуміти їхні інгредієнти. + + +> Фото зроблено Лішенгом Чангом на Unsplash + +## Що ви дізнаєтесь + +У цьому розділі ви продовжите своє попереднє вивчення регресії та ознайомитеся з іншими класифікаторами, які можна використовувати для кращого розуміння даних. + +> Існують корисні інструменти з низьким рівнем кодування, які допоможуть вам навчитися працювати з моделями класифікації. Спробуйте [Azure ML для цього завдання](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Уроки + +1. [Вступ до класифікації](1-Introduction/README.md) +2. [Більше класифікаторів](2-Classifiers-1/README.md) +3. [Ще інші класифікатори](3-Classifiers-2/README.md) +4. [Прикладне машинне навчання: створення веб-додатку](4-Applied/README.md) + +## Автори + +"Початок роботи з класифікацією" написано з ♥️ [Кассі Бревіу](https://www.twitter.com/cassiebreviu) та [Джен Лупер](https://www.twitter.com/jenlooper) + +Набір даних про смачні кухні взято з [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/1-Visualize/README.md b/translations/uk/5-Clustering/1-Visualize/README.md new file mode 100644 index 00000000..d97f84ed --- /dev/null +++ b/translations/uk/5-Clustering/1-Visualize/README.md @@ -0,0 +1,347 @@ + +# Вступ до кластеризації + +Кластеризація — це тип [навчання без учителя](https://wikipedia.org/wiki/Unsupervised_learning), який передбачає, що набір даних не має міток або його вхідні дані не пов’язані з визначеними виходами. Вона використовує різні алгоритми для аналізу немаркованих даних і створення груп на основі виявлених у даних закономірностей. + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео. Поки ви вивчаєте машинне навчання з кластеризацією, насолоджуйтесь нігерійськими танцювальними треками — це високо оцінена пісня 2014 року від PSquare. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +### Вступ + +[Кластеризація](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) дуже корисна для дослідження даних. Давайте подивимося, чи може вона допомогти виявити тенденції та закономірності у способах споживання музики нігерійською аудиторією. + +✅ Зробіть паузу та подумайте про застосування кластеризації. У реальному житті кластеризація відбувається, коли у вас є купа білизни, і вам потрібно розсортувати одяг членів вашої родини 🧦👕👖🩲. У науці про дані кластеризація відбувається під час аналізу уподобань користувачів або визначення характеристик будь-якого немаркованого набору даних. Кластеризація, певною мірою, допомагає навести лад у хаосі, як у шухляді для шкарпеток. + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Джон Гуттаг з MIT представляє кластеризацію. + +У професійному середовищі кластеризацію можна використовувати для визначення таких речей, як сегментація ринку, наприклад, визначення, які вікові групи купують які товари. Інше застосування — виявлення аномалій, наприклад, для виявлення шахрайства в наборі даних про транзакції кредитних карток. Або ви можете використовувати кластеризацію для визначення пухлин у партії медичних сканів. + +✅ Подумайте хвилину про те, як ви могли зустрічати кластеризацію «у дикій природі», у банківській, електронній комерції чи бізнес-середовищі. + +> 🎓 Цікаво, що аналіз кластерів виник у галузях антропології та психології у 1930-х роках. Уявляєте, як його могли використовувати? + +Альтернативно, кластеризацію можна використовувати для групування результатів пошуку — наприклад, за посиланнями на покупки, зображеннями чи відгуками. Кластеризація корисна, коли у вас є великий набір даних, який ви хочете зменшити та на якому хочете провести більш детальний аналіз, тому цей метод можна використовувати для вивчення даних перед створенням інших моделей. + +✅ Коли ваші дані організовані в кластери, ви призначаєте їм ідентифікатор кластеру, і ця техніка може бути корисною для збереження конфіденційності набору даних; замість цього ви можете посилатися на точку даних за її ідентифікатором кластеру, а не за більш розкриваючими даними. Чи можете ви придумати інші причини, чому ви б використовували ідентифікатор кластеру, а не інші елементи кластеру для його ідентифікації? + +Поглибте своє розуміння технік кластеризації в цьому [навчальному модулі](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott). + +## Початок роботи з кластеризацією + +[Scikit-learn пропонує широкий вибір](https://scikit-learn.org/stable/modules/clustering.html) методів для виконання кластеризації. Тип, який ви оберете, залежатиме від вашого випадку використання. Згідно з документацією, кожен метод має різні переваги. Ось спрощена таблиця методів, підтримуваних Scikit-learn, і їх відповідних випадків використання: + +| Назва методу | Випадок використання | +| :--------------------------- | :------------------------------------------------------------------- | +| K-Means | загального призначення, індуктивний | +| Affinity propagation | багато, нерівномірні кластери, індуктивний | +| Mean-shift | багато, нерівномірні кластери, індуктивний | +| Spectral clustering | мало, рівномірні кластери, трансдуктивний | +| Ward hierarchical clustering | багато, обмежені кластери, трансдуктивний | +| Agglomerative clustering | багато, обмежені, неевклідові відстані, трансдуктивний | +| DBSCAN | не плоска геометрія, нерівномірні кластери, трансдуктивний | +| OPTICS | не плоска геометрія, нерівномірні кластери зі змінною щільністю, трансдуктивний | +| Gaussian mixtures | плоска геометрія, індуктивний | +| BIRCH | великий набір даних із викидами, індуктивний | + +> 🎓 Як ми створюємо кластери, багато в чому залежить від того, як ми групуємо точки даних у групи. Давайте розберемо деяку термінологію: +> +> 🎓 ['Трансдуктивний' vs. 'індуктивний'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Трансдуктивний висновок базується на спостережуваних навчальних випадках, які відповідають конкретним тестовим випадкам. Індуктивний висновок базується на навчальних випадках, які відповідають загальним правилам, які лише потім застосовуються до тестових випадків. +> +> Приклад: Уявіть, що у вас є набір даних, який лише частково має мітки. Деякі речі — це «платівки», деякі — «CD», а деякі — порожні. Ваше завдання — надати мітки для порожніх. Якщо ви обираєте індуктивний підхід, ви тренуєте модель, шукаючи «платівки» та «CD», і застосовуєте ці мітки до немаркованих даних. Цей підхід матиме труднощі з класифікацією речей, які насправді є «касетами». Трансдуктивний підхід, з іншого боку, ефективніше працює з невідомими даними, оскільки він групує схожі елементи разом і потім застосовує мітку до групи. У цьому випадку кластери можуть відображати «круглі музичні речі» та «квадратні музичні речі». +> +> 🎓 ['Не плоска' vs. 'плоска' геометрія](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Взято з математичної термінології, не плоска vs. плоска геометрія стосується вимірювання відстаней між точками за допомогою «плоских» ([евклідових](https://wikipedia.org/wiki/Euclidean_geometry)) або «не плоских» (неевклідових) геометричних методів. +> +>'Плоска' в цьому контексті стосується евклідової геометрії (частини якої викладаються як «планіметрія»), а не плоска стосується неевклідової геометрії. Що геометрія має спільного з машинним навчанням? Як дві галузі, які базуються на математиці, має бути загальний спосіб вимірювання відстаней між точками в кластерах, і це можна зробити «плоским» або «не плоским» способом, залежно від природи даних. [Евклідові відстані](https://wikipedia.org/wiki/Euclidean_distance) вимірюються як довжина відрізка між двома точками. [Неевклідові відстані](https://wikipedia.org/wiki/Non-Euclidean_geometry) вимірюються вздовж кривої. Якщо ваші дані, візуалізовані, здаються такими, що не існують на площині, вам може знадобитися спеціалізований алгоритм для їх обробки. +> + +> Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Відстані'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Кластери визначаються їх матрицею відстаней, тобто відстанями між точками. Ця відстань може вимірюватися кількома способами. Евклідові кластери визначаються середнім значенням точок і містять «центроїд» або центральну точку. Відстані вимірюються від центроїда. Неевклідові відстані стосуються «кластроїдів», точки, найближчої до інших точок. Кластроїди, у свою чергу, можуть визначатися різними способами. +> +> 🎓 ['Обмежені'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Обмежена кластеризація](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) вводить «напівконтрольоване» навчання в цей метод без учителя. Відносини між точками позначаються як «не можна зв’язати» або «потрібно зв’язати», тому деякі правила накладаються на набір даних. +> +>Приклад: Якщо алгоритм вільно працює з партією немаркованих або частково маркованих даних, кластери, які він створює, можуть бути низької якості. У наведеному вище прикладі кластери можуть групувати «круглі музичні речі», «квадратні музичні речі», «трикутні речі» та «печиво». Якщо надати деякі обмеження або правила, яких слід дотримуватися («елемент має бути виготовлений із пластику», «елемент має бути здатним відтворювати музику»), це може допомогти «обмежити» алгоритм для прийняття кращих рішень. +> +> 🎓 'Щільність' +> +> Дані, які є «шумними», вважаються «щільними». Відстані між точками в кожному з його кластерів можуть виявитися, при перевірці, більш-менш щільними або «переповненими», і тому ці дані потрібно аналізувати за допомогою відповідного методу кластеризації. [Ця стаття](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) демонструє різницю між використанням кластеризації K-Means і алгоритмів HDBSCAN для дослідження шумного набору даних із нерівномірною щільністю кластерів. + +## Алгоритми кластеризації + +Існує понад 100 алгоритмів кластеризації, і їх використання залежить від природи даних. Давайте обговоримо деякі основні: + +- **Ієрархічна кластеризація**. Якщо об’єкт класифікується за його близькістю до сусіднього об’єкта, а не до більш віддаленого, кластери формуються на основі відстані їх членів до інших об’єктів. Ієрархічна кластеризація Scikit-learn є агломеративною. + +  + > Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Кластеризація за центроїдом**. Цей популярний алгоритм вимагає вибору «k», або кількості кластерів для формування, після чого алгоритм визначає центральну точку кластеру та збирає дані навколо цієї точки. [Кластеризація K-means](https://wikipedia.org/wiki/K-means_clustering) є популярною версією кластеризації за центроїдом. Центр визначається найближчим середнім значенням, звідси й назва. Квадратна відстань від кластеру мінімізується. + +  + > Інфографіка від [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Кластеризація на основі розподілу**. Заснована на статистичному моделюванні, кластеризація на основі розподілу зосереджена на визначенні ймовірності того, що точка даних належить кластеру, і відповідно її призначення. Методи гаусівської суміші належать до цього типу. + +- **Кластеризація на основі щільності**. Точки даних призначаються кластерам на основі їх щільності або групування навколо одна одної. Точки даних, віддалені від групи, вважаються викидами або шумом. DBSCAN, Mean-shift і OPTICS належать до цього типу кластеризації. + +- **Кластеризація на основі сітки**. Для багатовимірних наборів даних створюється сітка, і дані розподіляються між комірками сітки, створюючи таким чином кластери. + +## Вправа — кластеризуйте свої дані + +Кластеризація як техніка значно полегшується за допомогою належної візуалізації, тому давайте почнемо з візуалізації наших музичних даних. Ця вправа допоможе нам вирішити, який із методів кластеризації найефективніше використовувати для природи цих даних. + +1. Відкрийте файл [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) у цій папці. + +1. Імпортуйте пакет `Seaborn` для якісної візуалізації даних. + + ```python + !pip install seaborn + ``` + +1. Додайте дані про пісні з [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Завантажте фрейм даних із деякою інформацією про пісні. Підготуйтеся до дослідження цих даних, імпортувавши бібліотеки та вивівши дані: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Перевірте перші кілька рядків даних: + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | +| 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | +| 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | +| 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Отримайте інформацію про датафрейм, викликавши `info()`: + + ```python + df.info() + ``` + + Вихідні дані виглядають так: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Перевірте наявність пропущених значень, викликавши `isnull()` і переконавшись, що сума дорівнює 0: + + ```python + df.isnull().sum() + ``` + + Все добре: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Опишіть дані: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% | 2014 | 199305 | 0 | 0.681 | 0.089525 | 0.669 | 0 | 0.07565 | -6.29875 | 0.0591 | 102.96125 | 4 | + | 50% | 2016 | 218509 | 13 | 0.761 | 0.2205 | 0.7845 | 0.000004 | 0.1035 | -4.5585 | 0.09795 | 112.7145 | 4 | + | 75% | 2017 | 242098.5 | 31 | 0.8295 | 0.403 | 0.87575 | 0.000234 | 0.164 | -3.331 | 0.177 | 125.03925 | 4 | + | max | 2020 | 511738 | 73 | 0.966 | 0.954 | 0.995 | 0.91 | 0.811 | 0.582 | 0.514 | 206.007 | 5 | + +> 🤔 Якщо ми працюємо з кластеризацією, методом без нагляду, який не потребує міток даних, чому ми показуємо ці дані з мітками? На етапі дослідження даних вони корисні, але для роботи алгоритмів кластеризації вони не є необхідними. Ви можете просто видалити заголовки стовпців і посилатися на дані за номером стовпця. + +Подивіться на загальні значення даних. Зверніть увагу, що популярність може бути "0", що вказує на пісні без рейтингу. Давайте незабаром видалимо їх. + +1. Використовуйте стовпчасту діаграму, щоб дізнатися найпопулярніші жанри: + + ```python + import seaborn as sns + + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top[:5].index,y=top[:5].values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +  + +✅ Якщо ви хочете побачити більше топових значень, змініть `[:5]` на більше значення або видаліть його, щоб побачити всі. + +Зверніть увагу, коли топовий жанр описується як "Missing", це означає, що Spotify не класифікував його, тому давайте позбудемося його. + +1. Видаліть відсутні дані, відфільтрувавши їх: + + ```python + df = df[df['artist_top_genre'] != 'Missing'] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + + Тепер перевірте жанри ще раз: + +  + +1. Три найпопулярніші жанри значно домінують у цьому наборі даних. Зосередимося на `afro dancehall`, `afropop` і `nigerian pop`, додатково відфільтруємо набір даних, щоб видалити все з популярністю 0 (тобто те, що не було класифіковано за популярністю в наборі даних і може вважатися шумом для наших цілей): + + ```python + df = df[(df['artist_top_genre'] == 'afro dancehall') | (df['artist_top_genre'] == 'afropop') | (df['artist_top_genre'] == 'nigerian pop')] + df = df[(df['popularity'] > 0)] + top = df['artist_top_genre'].value_counts() + plt.figure(figsize=(10,7)) + sns.barplot(x=top.index,y=top.values) + plt.xticks(rotation=45) + plt.title('Top genres',color = 'blue') + ``` + +1. Проведіть швидкий тест, щоб перевірити, чи дані мають сильну кореляцію: + + ```python + corrmat = df.corr(numeric_only=True) + f, ax = plt.subplots(figsize=(12, 9)) + sns.heatmap(corrmat, vmax=.8, square=True) + ``` + +  + + Єдина сильна кореляція — між `energy` і `loudness`, що не дивно, враховуючи, що гучна музика зазвичай досить енергійна. В іншому випадку кореляції відносно слабкі. Буде цікаво побачити, що алгоритм кластеризації зможе зробити з цими даними. + + > 🎓 Зверніть увагу, що кореляція не означає причинно-наслідковий зв'язок! Ми маємо доказ кореляції, але не маємо доказу причинності. [Цікавий веб-сайт](https://tylervigen.com/spurious-correlations) має візуалізації, які підкреслюють цю думку. + +Чи є в цьому наборі даних зближення навколо сприйнятої популярності пісні та її танцювальності? FacetGrid показує концентричні кола, які вирівнюються незалежно від жанру. Чи може бути так, що смаки в Нігерії сходяться на певному рівні танцювальності для цього жанру? + +✅ Спробуйте різні точки даних (energy, loudness, speechiness) і більше або інші музичні жанри. Що ви можете виявити? Подивіться на таблицю `df.describe()`, щоб побачити загальний розподіл точок даних. + +### Вправа - розподіл даних + +Чи значно відрізняються ці три жанри за сприйняттям їхньої танцювальності на основі популярності? + +1. Дослідіть розподіл даних наших трьох топових жанрів за популярністю та танцювальністю вздовж заданих осей x та y. + + ```python + sns.set_theme(style="ticks") + + g = sns.jointplot( + data=df, + x="popularity", y="danceability", hue="artist_top_genre", + kind="kde", + ) + ``` + + Ви можете побачити концентричні кола навколо загальної точки зближення, що показує розподіл точок. + + > 🎓 Зверніть увагу, що в цьому прикладі використовується графік KDE (Kernel Density Estimate), який представляє дані за допомогою безперервної кривої ймовірності. Це дозволяє інтерпретувати дані при роботі з кількома розподілами. + + Загалом, три жанри приблизно вирівнюються за популярністю та танцювальністю. Визначення кластерів у цих слабо вирівняних даних буде викликом: + +  + +1. Створіть діаграму розсіювання: + + ```python + sns.FacetGrid(df, hue="artist_top_genre", height=5) \ + .map(plt.scatter, "popularity", "danceability") \ + .add_legend() + ``` + + Діаграма розсіювання для тих самих осей показує схожу картину зближення. + +  + +Загалом, для кластеризації ви можете використовувати діаграми розсіювання, щоб показати кластери даних, тому освоєння цього типу візуалізації дуже корисне. У наступному уроці ми візьмемо ці відфільтровані дані та використаємо кластеризацію k-means, щоб виявити групи в цих даних, які, здається, цікаво перекриваються. + +--- + +## 🚀Виклик + +У підготовці до наступного уроку створіть діаграму про різні алгоритми кластеризації, які ви можете виявити та використовувати в робочому середовищі. Які проблеми намагається вирішити кластеризація? + +## [Післялекційний тест](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Перед тим як застосовувати алгоритми кластеризації, як ми дізналися, важливо зрозуміти природу вашого набору даних. Читайте більше на цю тему [тут](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Ця корисна стаття](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) пояснює різні способи поведінки алгоритмів кластеризації залежно від форми даних. + +## Завдання + +[Дослідіть інші візуалізації для кластеризації](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/1-Visualize/assignment.md b/translations/uk/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 00000000..bb7f8a7a --- /dev/null +++ b/translations/uk/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,25 @@ + +# Дослідження інших візуалізацій для кластеризації + +## Інструкції + +У цьому уроці ви працювали з деякими техніками візуалізації, щоб зрозуміти, як побудувати графіки для підготовки до кластеризації. Точкові діаграми, зокрема, є корисними для пошуку груп об'єктів. Дослідіть різні способи та бібліотеки для створення точкових діаграм і задокументуйте вашу роботу в блокноті. Ви можете використовувати дані з цього уроку, інших уроків або дані, які ви знайдете самостійно (обов'язково вкажіть джерело даних у вашому блокноті). Побудуйте кілька графіків за допомогою точкових діаграм і поясніть, що ви виявили. + +## Критерії оцінювання + +| Критерій | Відмінно | Задовільно | Потребує покращення | +| -------- | ------------------------------------------------------------- | ------------------------------------------------------------------------------------------ | ------------------------------------- | +| | Представлено блокнот із п'ятьма добре задокументованими точковими діаграмами | Представлено блокнот із менш ніж п'ятьма точковими діаграмами, і він менш добре задокументований | Представлено неповний блокнот | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/uk/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 00000000..0d1690cc --- /dev/null +++ b/translations/uk/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/2-K-Means/README.md b/translations/uk/5-Clustering/2-K-Means/README.md new file mode 100644 index 00000000..d6643527 --- /dev/null +++ b/translations/uk/5-Clustering/2-K-Means/README.md @@ -0,0 +1,261 @@ + +# Кластеризація методом K-Means + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +У цьому уроці ви навчитеся створювати кластери за допомогою Scikit-learn і набору даних про нігерійську музику, який ви імпортували раніше. Ми розглянемо основи методу K-Means для кластеризації. Пам’ятайте, що, як ви дізналися в попередньому уроці, існує багато способів роботи з кластерами, і метод, який ви використовуєте, залежить від ваших даних. Ми спробуємо K-Means, оскільки це найпоширеніша техніка кластеризації. Почнемо! + +Терміни, які ви вивчите: + +- Оцінка силуету +- Метод ліктя +- Інерція +- Дисперсія + +## Вступ + +[Кластеризація методом K-Means](https://wikipedia.org/wiki/K-means_clustering) — це метод, що походить із галузі обробки сигналів. Він використовується для поділу та групування даних у 'k' кластерів за допомогою серії спостережень. Кожне спостереження працює над тим, щоб згрупувати дану точку даних найближче до її 'середнього', або центральної точки кластера. + +Кластери можна візуалізувати як [діаграми Вороного](https://wikipedia.org/wiki/Voronoi_diagram), які включають точку (або 'насіння') та її відповідну область. + + + +> Інфографіка від [Jen Looper](https://twitter.com/jenlooper) + +Процес кластеризації методом K-Means [виконується у три етапи](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Алгоритм вибирає k-кількість центральних точок шляхом вибірки з набору даних. Після цього він повторює: + 1. Призначає кожну вибірку до найближчого центроїда. + 2. Створює нові центроїди, обчислюючи середнє значення всіх вибірок, призначених до попередніх центроїдів. + 3. Потім обчислює різницю між новими та старими центроїдами і повторює, поки центроїди не стабілізуються. + +Одним із недоліків використання K-Means є те, що вам потрібно встановити 'k', тобто кількість центроїдів. На щастя, метод 'ліктя' допомагає оцінити гарне початкове значення для 'k'. Ви спробуєте це через хвилину. + +## Передумови + +Ви працюватимете у файлі [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb), який включає імпорт даних і попереднє очищення, яке ви виконали в попередньому уроці. + +## Вправа - підготовка + +Почніть із повторного перегляду даних про пісні. + +1. Створіть boxplot, викликавши `boxplot()` для кожного стовпця: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Ці дані трохи шумні: спостерігаючи кожен стовпець як boxplot, ви можете побачити аномалії. + +  + +Ви могли б пройтися по набору даних і видалити ці аномалії, але це зробило б дані досить мінімальними. + +1. На даний момент виберіть, які стовпці ви будете використовувати для вправи кластеризації. Виберіть ті, що мають схожі діапазони, і закодуйте стовпець `artist_top_genre` як числові дані: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Тепер вам потрібно вибрати, скільки кластерів слід націлити. Ви знаєте, що є 3 жанри пісень, які ми виділили з набору даних, тому спробуємо 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Ви бачите масив із передбаченими кластерами (0, 1 або 2) для кожного рядка фрейму даних. + +1. Використовуйте цей масив для обчислення 'оцінки силуету': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Оцінка силуету + +Шукайте оцінку силуету ближче до 1. Ця оцінка варіюється від -1 до 1, і якщо оцінка дорівнює 1, кластер щільний і добре відокремлений від інших кластерів. Значення, близьке до 0, представляє кластер, що перекривається, із вибірками, дуже близькими до межі прийняття рішення сусідніх кластерів. [(Джерело)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Наша оцінка становить **0.53**, тобто посередині. Це свідчить про те, що наші дані не дуже добре підходять для цього типу кластеризації, але давайте продовжимо. + +### Вправа - створення моделі + +1. Імпортуйте `KMeans` і почніть процес кластеризації. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Тут є кілька частин, які варто пояснити. + + > 🎓 range: Це ітерації процесу кластеризації. + + > 🎓 random_state: "Визначає генерацію випадкових чисел для ініціалізації центроїдів." [Джерело](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "сума квадратів всередині кластерів" вимірює середню квадратну відстань усіх точок у кластері до центроїда кластера. [Джерело](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Інерція: Алгоритми K-Means намагаються вибрати центроїди, щоб мінімізувати 'інерцію', "показник того, наскільки внутрішньо узгоджені кластери." [Джерело](https://scikit-learn.org/stable/modules/clustering.html). Значення додається до змінної wcss на кожній ітерації. + + > 🎓 k-means++: У [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) ви можете використовувати оптимізацію 'k-means++', яка "ініціалізує центроїди так, щоб вони (зазвичай) були віддалені один від одного, що призводить до ймовірно кращих результатів, ніж випадкова ініціалізація." + +### Метод ліктя + +Раніше ви припустили, що, оскільки ви націлилися на 3 жанри пісень, вам слід вибрати 3 кластери. Але чи так це? + +1. Використовуйте метод 'ліктя', щоб переконатися. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Використовуйте змінну `wcss`, яку ви створили на попередньому кроці, щоб створити графік, що показує, де знаходиться 'згин' ліктя, який вказує на оптимальну кількість кластерів. Можливо, це **дійсно** 3! + +  + +## Вправа - відображення кластерів + +1. Спробуйте процес ще раз, цього разу встановивши три кластери, і відобразіть кластери як діаграму розсіювання: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Перевірте точність моделі: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Точність цієї моделі не дуже висока, і форма кластерів дає вам підказку, чому. + +  + + Ці дані занадто незбалансовані, недостатньо корельовані, і між значеннями стовпців занадто велика дисперсія, щоб добре кластеризуватися. Насправді кластери, які формуються, ймовірно, сильно впливають або спотворюються трьома категоріями жанрів, які ми визначили вище. Це був процес навчання! + + У документації Scikit-learn ви можете побачити, що модель, як ця, з кластерами, які не дуже добре розмежовані, має проблему 'дисперсії': + +  + > Інфографіка з Scikit-learn + +## Дисперсія + +Дисперсія визначається як "середнє квадратів різниць від середнього" [(Джерело)](https://www.mathsisfun.com/data/standard-deviation.html). У контексті цієї проблеми кластеризації це стосується даних, де числа нашого набору даних мають тенденцію занадто сильно відхилятися від середнього. + +✅ Це чудовий момент, щоб подумати про всі способи, якими ви могли б виправити цю проблему. Ще трохи налаштувати дані? Використовувати інші стовпці? Використовувати інший алгоритм? Підказка: Спробуйте [масштабувати ваші дані](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/), щоб нормалізувати їх і протестувати інші стовпці. + +> Спробуйте цей '[калькулятор дисперсії](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)', щоб краще зрозуміти концепцію. + +--- + +## 🚀Виклик + +Проведіть деякий час із цим ноутбуком, налаштовуючи параметри. Чи можете ви покращити точність моделі, краще очистивши дані (наприклад, видаливши аномалії)? Ви можете використовувати ваги, щоб надати більшу вагу певним вибіркам даних. Що ще ви можете зробити, щоб створити кращі кластери? + +Підказка: Спробуйте масштабувати ваші дані. У ноутбуці є закоментований код, який додає стандартне масштабування, щоб стовпці даних більше нагадували один одного за діапазоном. Ви побачите, що хоча оцінка силуету знижується, 'згин' на графіку ліктя стає більш плавним. Це тому, що залишення даних без масштабування дозволяє даним із меншою дисперсією мати більшу вагу. Прочитайте трохи більше про цю проблему [тут](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Ознайомтеся з симулятором K-Means [наприклад, таким](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). Ви можете використовувати цей інструмент для візуалізації точок даних і визначення їх центроїдів. Ви можете редагувати випадковість даних, кількість кластерів і кількість центроїдів. Чи допомагає це вам зрозуміти, як дані можуть бути згруповані? + +Також перегляньте [цей матеріал про K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) зі Стенфорда. + +## Завдання + +[Спробуйте різні методи кластеризації](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/2-K-Means/assignment.md b/translations/uk/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 00000000..030e89b5 --- /dev/null +++ b/translations/uk/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,25 @@ + +# Спробуйте різні методи кластеризації + +## Інструкції + +У цьому уроці ви дізналися про кластеризацію методом K-Means. Іноді метод K-Means не підходить для ваших даних. Створіть ноутбук, використовуючи дані з цих уроків або з іншого джерела (вкажіть джерело), і продемонструйте інший метод кластеризації, НЕ використовуючи K-Means. Що ви дізналися? + +## Критерії оцінювання + +| Критерії | Зразковий рівень | Достатній рівень | Потребує покращення | +| -------- | -------------------------------------------------------------- | ------------------------------------------------------------------- | ---------------------------- | +| | Представлено ноутбук із добре задокументованою моделлю кластеризації | Представлено ноутбук без належної документації та/або неповний | Подано неповну роботу | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/uk/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 00000000..5863bf73 --- /dev/null +++ b/translations/uk/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/5-Clustering/README.md b/translations/uk/5-Clustering/README.md new file mode 100644 index 00000000..56e3a6d6 --- /dev/null +++ b/translations/uk/5-Clustering/README.md @@ -0,0 +1,42 @@ + +# Моделі кластеризації для машинного навчання + +Кластеризація — це завдання машинного навчання, яке спрямоване на пошук об'єктів, схожих один на одного, і групування їх у групи, які називаються кластерами. Що відрізняє кластеризацію від інших підходів у машинному навчанні, так це те, що процес відбувається автоматично. Насправді, можна сказати, що це протилежність до навчання з учителем. + +## Регіональна тема: моделі кластеризації для музичних уподобань аудиторії Нігерії 🎧 + +Різноманітна аудиторія Нігерії має різноманітні музичні уподобання. Використовуючи дані, отримані зі Spotify (натхненні [цією статтею](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), давайте розглянемо деяку популярну музику в Нігерії. Цей набір даних містить інформацію про такі показники пісень, як "танцювальність", "акустичність", гучність, "мовність", популярність і енергійність. Буде цікаво виявити закономірності в цих даних! + + + +> Фото від Marcela Laskoski на Unsplash + +У цій серії уроків ви відкриєте нові способи аналізу даних за допомогою технік кластеризації. Кластеризація особливо корисна, коли ваш набір даних не має міток. Якщо мітки є, тоді техніки класифікації, які ви вивчали в попередніх уроках, можуть бути більш корисними. Але в тих випадках, коли ви хочете згрупувати дані без міток, кластеризація — чудовий спосіб виявити закономірності. + +> Існують корисні інструменти з низьким рівнем кодування, які можуть допомогти вам навчитися працювати з моделями кластеризації. Спробуйте [Azure ML для цього завдання](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Уроки + +1. [Вступ до кластеризації](1-Visualize/README.md) +2. [Кластеризація методом K-Means](2-K-Means/README.md) + +## Авторство + +Ці уроки були написані з 🎶 [Jen Looper](https://www.twitter.com/jenlooper) за допомогою корисних рецензій від [Rishit Dagli](https://rishit_dagli) та [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Набір даних [Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) був отриманий з Kaggle, як дані зі Spotify. + +Корисні приклади K-Means, які допомогли створити цей урок, включають [дослідження ірисів](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), [вступний ноутбук](https://www.kaggle.com/prashant111/k-means-clustering-with-python) та [гіпотетичний приклад НГО](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering). + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/1-Introduction-to-NLP/README.md b/translations/uk/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 00000000..dd4b0dee --- /dev/null +++ b/translations/uk/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,179 @@ + +# Вступ до обробки природної мови + +Цей урок охоплює коротку історію та важливі концепції *обробки природної мови* (NLP), підгалузі *комп'ютерної лінгвістики*. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +## Вступ + +NLP, як її зазвичай називають, є однією з найвідоміших областей, де машинне навчання було застосоване та використовується у виробничому програмному забезпеченні. + +✅ Чи можете ви назвати програмне забезпечення, яке ви використовуєте щодня і яке, ймовірно, має вбудовану обробку природної мови? А як щодо ваших текстових редакторів або мобільних додатків, які ви використовуєте регулярно? + +Ви дізнаєтеся про: + +- **Ідею мов**. Як розвивалися мови та які основні області їх вивчення. +- **Визначення та концепції**. Ви також дізнаєтеся визначення та концепції того, як комп'ютери обробляють текст, включаючи розбір, граматику та визначення іменників і дієслів. У цьому уроці є кілька завдань з програмування, а також вводяться кілька важливих концепцій, які ви навчитеся програмувати в наступних уроках. + +## Комп'ютерна лінгвістика + +Комп'ютерна лінгвістика — це галузь досліджень і розробок, яка протягом багатьох десятиліть вивчає, як комп'ютери можуть працювати з мовами, розуміти їх, перекладати та навіть спілкуватися ними. Обробка природної мови (NLP) — це споріднена галузь, яка зосереджена на тому, як комп'ютери можуть обробляти "природні", тобто людські, мови. + +### Приклад — диктування телефону + +Якщо ви коли-небудь диктували текст своєму телефону замість того, щоб друкувати, або запитували віртуального асистента, ваш голос було перетворено на текстову форму, а потім оброблено або *розібрано* мовою, якою ви говорили. Виявлені ключові слова були оброблені у формат, який телефон або асистент міг зрозуміти та виконати. + + +> Справжнє лінгвістичне розуміння — це складно! Зображення [Джен Лупер](https://twitter.com/jenlooper) + +### Як ця технологія стала можливою? + +Це стало можливим завдяки тому, що хтось написав комп'ютерну програму для цього. Кілька десятиліть тому деякі письменники-фантасти передбачали, що люди здебільшого розмовлятимуть зі своїми комп'ютерами, і комп'ютери завжди розумітимуть, що вони мають на увазі. На жаль, це виявилося складнішою проблемою, ніж багато хто уявляв, і хоча сьогодні ця проблема набагато краще зрозуміла, існують значні труднощі у досягненні "ідеальної" обробки природної мови, особливо коли йдеться про розуміння значення речення. Це особливо складно, коли потрібно зрозуміти гумор або виявити емоції, такі як сарказм, у реченні. + +На цьому етапі ви можете згадати шкільні уроки, де вчитель пояснював частини граматики в реченні. У деяких країнах студентів навчають граматики та лінгвістики як окремого предмета, але в багатьох ці теми включені до вивчення мови: або вашої рідної мови в початковій школі (навчання читанню та письму), або, можливо, другої мови в середній школі. Не хвилюйтеся, якщо ви не є експертом у розрізненні іменників від дієслів або прислівників від прикметників! + +Якщо вам важко розрізняти *простий теперішній час* і *теперішній тривалий час*, ви не самотні. Це складно для багатьох людей, навіть для носіїв мови. Хороша новина полягає в тому, що комп'ютери дуже добре застосовують формальні правила, і ви навчитеся писати код, який може *розбирати* речення так само добре, як і людина. Більший виклик, який ви розглянете пізніше, — це розуміння *значення* та *емоційного забарвлення* речення. + +## Попередні знання + +Для цього уроку основною вимогою є вміння читати та розуміти мову цього уроку. Тут немає математичних задач або рівнянь для розв'язання. Хоча оригінальний автор написав цей урок англійською мовою, він також перекладений іншими мовами, тому ви можете читати переклад. Є приклади, де використовується кілька різних мов (для порівняння різних граматичних правил). Ці приклади *не* перекладаються, але пояснювальний текст перекладено, тому зміст має бути зрозумілим. + +Для завдань з програмування ви будете використовувати Python, а приклади написані для Python 3.8. + +У цьому розділі вам знадобляться: + +- **Розуміння Python 3**. Розуміння програмування мовою Python 3, цей урок використовує введення, цикли, читання файлів, масиви. +- **Visual Studio Code + розширення**. Ми будемо використовувати Visual Studio Code та його розширення для Python. Ви також можете використовувати будь-яке середовище розробки для Python на ваш вибір. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) — це спрощена бібліотека для обробки тексту на Python. Дотримуйтесь інструкцій на сайті TextBlob, щоб встановити її на свою систему (встановіть також корпуси, як показано нижче): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Порада: Ви можете запускати Python безпосередньо в середовищах VS Code. Ознайомтеся з [документацією](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) для отримання додаткової інформації. + +## Спілкування з машинами + +Історія спроб змусити комп'ютери розуміти людську мову налічує десятиліття, і одним із перших учених, які розглядали обробку природної мови, був *Алан Тюрінг*. + +### Тест Тюрінга + +Коли Тюрінг досліджував *штучний інтелект* у 1950-х роках, він розглядав можливість проведення тесту у вигляді розмови між людиною та комп'ютером (через друковану кореспонденцію), де людина в розмові не була впевнена, чи спілкується вона з іншою людиною чи комп'ютером. + +Якщо після певного часу розмови людина не могла визначити, чи відповіді надходять від комп'ютера чи ні, чи можна тоді сказати, що комп'ютер *мислить*? + +### Натхнення — "гра в імітацію" + +Ідея для цього виникла з вечірньої гри під назвою *Гра в імітацію*, де допитувач знаходиться в кімнаті наодинці і має визначити, хто з двох людей (в іншій кімнаті) є чоловіком, а хто — жінкою. Допитувач може надсилати записки і має намагатися придумати запитання, відповіді на які розкриють стать загадкової особи. Звісно, гравці в іншій кімнаті намагаються заплутати допитувача, відповідаючи так, щоб ввести його в оману, але при цьому створюючи враження чесних відповідей. + +### Розробка Елізи + +У 1960-х роках учений з MIT на ім'я *Джозеф Вайзенбаум* розробив [*Елізу*](https://wikipedia.org/wiki/ELIZA), комп'ютерного "терапевта", який ставив людині запитання і створював враження, що розуміє її відповіді. Однак, хоча Еліза могла розбирати речення і визначати певні граматичні конструкції та ключові слова, щоб дати розумну відповідь, не можна було сказати, що вона *розуміє* речення. Якщо Елізі подавали речення у форматі "**Я є** сумний", вона могла б переставити слова і замінити їх, щоб сформувати відповідь "Як довго **ви були** сумним". + +Це створювало враження, що Еліза розуміє твердження і ставить уточнююче запитання, тоді як насправді вона просто змінювала час і додавала кілька слів. Якщо Еліза не могла визначити ключове слово, на яке у неї була відповідь, вона давала випадкову відповідь, яка могла б підійти до багатьох різних тверджень. Елізу можна було легко обдурити, наприклад, якщо користувач написав "**Ти є** велосипедом", вона могла відповісти "Як довго **я був** велосипедом?", замість більш логічної відповіді. + +[](https://youtu.be/RMK9AphfLco "Розмова з Елізою") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео про оригінальну програму ELIZA + +> Примітка: Ви можете прочитати оригінальний опис [Елізи](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract), опублікований у 1966 році, якщо у вас є обліковий запис ACM. Або ж прочитайте про Елізу на [Вікіпедії](https://wikipedia.org/wiki/ELIZA). + +## Вправа — програмування базового розмовного бота + +Розмовний бот, як Еліза, — це програма, яка отримує введення від користувача і створює враження, що розуміє та відповідає розумно. На відміну від Елізи, наш бот не матиме кількох правил, які створюють враження інтелектуальної розмови. Натомість наш бот матиме лише одну здатність — підтримувати розмову випадковими відповідями, які можуть підійти до будь-якої тривіальної розмови. + +### План + +Ваші кроки при створенні розмовного бота: + +1. Вивести інструкції для користувача, як взаємодіяти з ботом +2. Запустити цикл + 1. Прийняти введення від користувача + 2. Якщо користувач попросив вийти, завершити роботу + 3. Обробити введення користувача і визначити відповідь (у цьому випадку відповідь — це випадковий вибір із списку можливих загальних відповідей) + 4. Вивести відповідь +3. Повернутися до кроку 2 + +### Створення бота + +Давайте створимо бота. Почнемо з визначення кількох фраз. + +1. Створіть цього бота самостійно на Python, використовуючи такі випадкові відповіді: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Ось приклад виводу, який може вас спрямувати (введення користувача починається зі знака `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Один із можливих розв'язків завдання знаходиться [тут](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Зупиніться і подумайте + + 1. Чи вважаєте ви, що випадкові відповіді могли б "обдурити" когось, змусивши думати, що бот дійсно розуміє їх? + 2. Які функції потрібні боту, щоб бути ефективнішим? + 3. Якщо бот дійсно міг би "розуміти" значення речення, чи потрібно йому було б "запам'ятовувати" значення попередніх речень у розмові? + +--- + +## 🚀 Виклик + +Виберіть один із пунктів "зупиніться і подумайте", наведених вище, і спробуйте реалізувати його в коді або напишіть рішення на папері у вигляді псевдокоду. + +У наступному уроці ви дізнаєтеся про низку інших підходів до розбору природної мови та машинного навчання. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Ознайомтеся з наведеними нижче посиланнями для подальшого читання. + +### Джерела + +1. Шуберт, Ленгарт, "Комп'ютерна лінгвістика", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
відгук | Позитивний відгук | Теги | +| -------------- | -------------------------- | ----------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Це зараз не готель, а будівельний майданчик. Мене тероризували з раннього ранку і весь день неприйнятним будівельним шумом, поки я відпочивав після довгої подорожі та працював у кімнаті. Люди працювали весь день, тобто з відбійними молотками в сусідніх кімнатах. Я попросив змінити кімнату, але тихої кімнати не було. Щоб погіршити ситуацію, мене переплатили. Я виїхав увечері, оскільки мав дуже ранній рейс, і отримав відповідний рахунок. Через день готель зробив ще один платіж без моєї згоди, перевищивши заброньовану ціну. Це жахливе місце. Не карайте себе, бронюючи тут. | Нічого. Жахливе місце. Тримайтеся подалі | Ділова поїздка Пара Стандартний двомісний номер Перебування 2 ночі | + +Як бачите, цей гість не мав щасливого перебування в цьому готелі. Готель має хорошу середню оцінку 7.8 і 1945 відгуків, але цей рецензент дав йому 2.5 і написав 115 слів про те, наскільки негативним було його перебування. Якщо вони нічого не написали в колонці Positive_Review, можна припустити, що нічого позитивного не було, але вони написали 7 слів попередження. Якщо ми просто рахували слова, а не їхнє значення чи настрій, ми могли б отримати спотворене уявлення про наміри рецензента. Дивно, що їхня оцінка 2.5 збиває з пантелику, адже якщо перебування в готелі було настільки поганим, чому взагалі давати якісь бали? Досліджуючи набір даних уважно, ви побачите, що найнижча можлива оцінка становить 2.5, а не 0. Найвища можлива оцінка — 10. + +##### Теги + +Як згадувалося вище, на перший погляд, ідея використання `Tags` для категоризації даних здається логічною. На жаль, ці теги не стандартизовані, що означає, що в одному готелі варіанти можуть бути *Single room*, *Twin room* і *Double room*, а в іншому готелі — *Deluxe Single Room*, *Classic Queen Room* і *Executive King Room*. Це можуть бути ті самі речі, але існує так багато варіацій, що вибір стає: + +1. Спроба змінити всі терміни на єдиний стандарт, що дуже складно, оскільки не зрозуміло, яким буде шлях конверсії в кожному випадку (наприклад, *Classic single room* відповідає *Single room*, але *Superior Queen Room with Courtyard Garden or City View* набагато складніше зіставити) + +1. Ми можемо застосувати підхід NLP і виміряти частоту певних термінів, таких як *Solo*, *Business Traveller* або *Family with young kids*, як вони застосовуються до кожного готелю, і врахувати це в рекомендації + +Теги зазвичай (але не завжди) є одним полем, що містить список із 5-6 значень, розділених комами, які відповідають *Типу подорожі*, *Типу гостей*, *Типу кімнати*, *Кількості ночей* і *Типу пристрою, на якому був поданий відгук*. Однак через те, що деякі рецензенти не заповнюють кожне поле (вони можуть залишити одне порожнім), значення не завжди знаходяться в тому самому порядку. + +Наприклад, візьмемо *Тип групи*. У цьому полі в колонці `Tags` є 1025 унікальних можливостей, і, на жаль, лише деякі з них стосуються групи (деякі стосуються типу кімнати тощо). Якщо ви відфільтруєте лише ті, що згадують сім’ю, результати містять багато результатів типу *Family room*. Якщо ви включите термін *with*, тобто врахуєте значення *Family with*, результати будуть кращими, з понад 80,000 із 515,000 результатів, що містять фразу "Family with young children" або "Family with older children". + +Це означає, що колонка тегів не є повністю марною для нас, але її потрібно доопрацювати, щоб зробити корисною. + +##### Середня оцінка готелю + +У наборі даних є кілька дивностей або розбіжностей, які я не можу зрозуміти, але вони ілюструються тут, щоб ви знали про них під час створення своїх моделей. Якщо ви розберетеся, будь ласка, повідомте нам у розділі обговорення! + +Набір даних має такі колонки, що стосуються середньої оцінки та кількості відгуків: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Готель із найбільшою кількістю відгуків у цьому наборі даних — *Britannia International Hotel Canary Wharf* із 4789 відгуками з 515,000. Але якщо ми подивимося на значення `Total_Number_of_Reviews` для цього готелю, воно становить 9086. Можна припустити, що є набагато більше оцінок без відгуків, тому, можливо, нам слід додати значення колонки `Additional_Number_of_Scoring`. Це значення становить 2682, і додавання його до 4789 дає нам 7471, що все ще на 1615 менше, ніж `Total_Number_of_Reviews`. + +Якщо взяти колонку `Average_Score`, можна припустити, що це середнє значення відгуків у наборі даних, але опис із Kaggle говорить: "*Середня оцінка готелю, розрахована на основі останнього коментаря за останній рік*". Це здається не дуже корисним, але ми можемо розрахувати власне середнє значення на основі оцінок відгуків у наборі даних. Використовуючи той самий готель як приклад, середня оцінка готелю становить 7.1, але розрахована оцінка (середня оцінка рецензента *у* наборі даних) становить 6.8. Це близько, але не те саме значення, і ми можемо лише припустити, що оцінки, наведені в `Additional_Number_of_Scoring`, збільшили середнє значення до 7.1. На жаль, без можливості перевірити або довести це твердження важко використовувати або довіряти `Average_Score`, `Additional_Number_of_Scoring` і `Total_Number_of_Reviews`, коли вони базуються на даних, яких у нас немає. + +Щоб ускладнити ситуацію, готель із другою найбільшою кількістю відгуків має розраховану середню оцінку 8.12, а `Average_Score` у наборі даних становить 8.1. Чи є ця правильна оцінка збігом, чи перший готель є розбіжністю? + +На можливість того, що ці готелі можуть бути винятками, і що, можливо, більшість значень збігаються (але деякі з якихось причин не збігаються), ми напишемо коротку програму, щоб дослідити значення в наборі даних і визначити правильне використання (або невикористання) значень. +> 🚨 Зауваження щодо обережності +> +> Працюючи з цим набором даних, ви будете писати код, який обчислює щось на основі тексту, не читаючи або аналізуючи сам текст. Це суть обробки природної мови (NLP) — інтерпретувати значення або настрій без участі людини. Однак можливо, що ви натрапите на деякі негативні відгуки. Я закликаю вас цього не робити, тому що в цьому немає необхідності. Деякі з них є безглуздими або неактуальними негативними відгуками про готелі, наприклад: "Погода була не дуже гарною", що знаходиться поза контролем готелю або будь-кого взагалі. Але є й темна сторона деяких відгуків. Іноді негативні відгуки містять расизм, сексизм або ейджизм. Це прикро, але очікувано для набору даних, зібраного з публічного вебсайту. Деякі рецензенти залишають відгуки, які можуть здатися вам неприємними, дискомфортними або такими, що засмучують. Краще дозволити коду оцінити настрій, ніж читати їх самостійно і засмучуватися. Тим не менш, це меншість, яка пише такі речі, але вони все ж існують. +## Вправа - Дослідження даних +### Завантаження даних + +Досить візуально оглядати дані, тепер ви напишете код і отримаєте відповіді! У цьому розділі використовується бібліотека pandas. Ваше перше завдання — переконатися, що ви можете завантажити та прочитати дані CSV. Бібліотека pandas має швидкий завантажувач CSV, і результат розміщується у dataframe, як у попередніх уроках. CSV, який ми завантажуємо, містить понад півмільйона рядків, але лише 17 стовпців. Pandas надає багато потужних способів взаємодії з dataframe, включаючи можливість виконувати операції над кожним рядком. + +Далі в цьому уроці будуть фрагменти коду, пояснення до коду та обговорення того, що означають результати. Використовуйте включений _notebook.ipynb_ для вашого коду. + +Почнемо із завантаження файлу даних, який ви будете використовувати: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Тепер, коли дані завантажено, ми можемо виконувати деякі операції над ними. Залиште цей код у верхній частині вашої програми для наступної частини. + +## Дослідження даних + +У цьому випадку дані вже *чисті*, тобто вони готові до роботи і не містять символів іншими мовами, які можуть завадити алгоритмам, що очікують лише англійські символи. + +✅ Можливо, вам доведеться працювати з даними, які потребують початкової обробки для форматування перед застосуванням технік NLP, але не цього разу. Як би ви обробляли символи іншими мовами, якщо б це було необхідно? + +Переконайтеся, що після завантаження даних ви можете досліджувати їх за допомогою коду. Дуже легко захотіти зосередитися на стовпцях `Negative_Review` і `Positive_Review`. Вони заповнені природним текстом для обробки вашими алгоритмами NLP. Але зачекайте! Перш ніж переходити до NLP і аналізу настроїв, слід виконати код нижче, щоб переконатися, що значення, наведені в наборі даних, відповідають значенням, які ви обчислюєте за допомогою pandas. + +## Операції з dataframe + +Перше завдання в цьому уроці — перевірити, чи правильні наступні твердження, написавши код, який досліджує dataframe (без його зміни). + +> Як і багато завдань програмування, є кілька способів виконати це, але хороша порада — робити це найпростішим і найзручнішим способом, особливо якщо це буде легше зрозуміти, коли ви повернетеся до цього коду в майбутньому. У dataframe є всеосяжний API, який часто має спосіб зробити те, що вам потрібно, ефективно. + +Розглядайте наступні питання як завдання з програмування та спробуйте відповісти на них, не дивлячись на рішення. + +1. Виведіть *форму* dataframe, який ви щойно завантажили (форма — це кількість рядків і стовпців). +2. Обчисліть частоту для національностей рецензентів: + 1. Скільки унікальних значень є у стовпці `Reviewer_Nationality` і які вони? + 2. Яка національність рецензента є найпоширенішою в наборі даних (виведіть країну та кількість рецензій)? + 3. Які наступні 10 найчастіше зустрічаються національності та їх частота? +3. Який готель отримав найбільше рецензій для кожної з 10 найпоширеніших національностей рецензентів? +4. Скільки рецензій є на кожен готель (частота рецензій на готель) у наборі даних? +5. Хоча в наборі даних є стовпець `Average_Score` для кожного готелю, ви також можете обчислити середній бал (отримавши середнє значення всіх оцінок рецензентів у наборі даних для кожного готелю). Додайте новий стовпець до вашого dataframe із заголовком стовпця `Calc_Average_Score`, який містить цей обчислений середній бал. +6. Чи є готелі, які мають однакові (округлені до 1 десяткового знака) значення `Average_Score` і `Calc_Average_Score`? + 1. Спробуйте написати функцію Python, яка приймає Series (рядок) як аргумент і порівнює значення, виводячи повідомлення, коли значення не рівні. Потім використовуйте метод `.apply()` для обробки кожного рядка за допомогою функції. +7. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Negative_Review` дорівнює "No Negative". +8. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Positive_Review` дорівнює "No Positive". +9. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Positive_Review` дорівнює "No Positive" **і** значення стовпця `Negative_Review` дорівнює "No Negative". + +### Відповіді у коді + +1. Виведіть *форму* dataframe, який ви щойно завантажили (форма — це кількість рядків і стовпців). + + ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` + +2. Обчисліть частоту для національностей рецензентів: + + 1. Скільки унікальних значень є у стовпці `Reviewer_Nationality` і які вони? + 2. Яка національність рецензента є найпоширенішою в наборі даних (виведіть країну та кількість рецензій)? + + ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` + + 3. Які наступні 10 найчастіше зустрічаються національності та їх частота? + + ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` + +3. Який готель отримав найбільше рецензій для кожної з 10 найпоширеніших національностей рецензентів? + + ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` + +4. Скільки рецензій є на кожен готель (частота рецензій на готель) у наборі даних? + + ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` + | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | + | :----------------------------------------: | :---------------------: | :-----------------: | + | Britannia International Hotel Canary Wharf | 9086 | 4789 | + | Park Plaza Westminster Bridge London | 12158 | 4169 | + | Copthorne Tara Hotel London Kensington | 7105 | 3578 | + | ... | ... | ... | + | Mercure Paris Porte d Orleans | 110 | 10 | + | Hotel Wagner | 135 | 10 | + | Hotel Gallitzinberg | 173 | 8 | + + Ви можете помітити, що результати *підраховані в наборі даних* не відповідають значенню в `Total_Number_of_Reviews`. Незрозуміло, чи це значення в наборі даних представляє загальну кількість рецензій, які мав готель, але не всі були зібрані, чи це якесь інше обчислення. `Total_Number_of_Reviews` не використовується в моделі через цю неясність. + +5. Хоча в наборі даних є стовпець `Average_Score` для кожного готелю, ви також можете обчислити середній бал (отримавши середнє значення всіх оцінок рецензентів у наборі даних для кожного готелю). Додайте новий стовпець до вашого dataframe із заголовком стовпця `Calc_Average_Score`, який містить цей обчислений середній бал. Виведіть стовпці `Hotel_Name`, `Average_Score` і `Calc_Average_Score`. + + ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` + + Ви також можете задатися питанням про значення `Average_Score` і чому воно іноді відрізняється від обчисленого середнього балу. Оскільки ми не можемо знати, чому деякі значення збігаються, а інші мають різницю, найкраще в цьому випадку використовувати оцінки рецензентів, які ми маємо, щоб обчислити середнє самостійно. Тим не менш, різниця зазвичай дуже мала, ось готелі з найбільшим відхиленням між середнім балом із набору даних і обчисленим середнім балом: + + | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | + | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | + | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | + | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | + | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | + | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | + | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | + | ... | ... | ... | ... | + | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | + | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | + | 0.9 | 6.8 | 5.9 | Villa Eugenie | + | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | + | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | + + Лише 1 готель має різницю в оцінці більше 1, це означає, що ми, ймовірно, можемо ігнорувати різницю та використовувати обчислений середній бал. + +6. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Negative_Review` дорівнює "No Negative". + +7. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Positive_Review` дорівнює "No Positive". + +8. Обчисліть і виведіть кількість рядків, у яких значення стовпця `Positive_Review` дорівнює "No Positive" **і** значення стовпця `Negative_Review` дорівнює "No Negative". + + ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` + +## Інший спосіб + +Інший спосіб підрахувати елементи без Lambdas і використовувати sum для підрахунку рядків: + + ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` + + Ви могли помітити, що є 127 рядків, які мають значення "No Negative" і "No Positive" для стовпців `Negative_Review` і `Positive_Review` відповідно. Це означає, що рецензент дав готелю числову оцінку, але відмовився писати як позитивний, так і негативний відгук. На щастя, це невелика кількість рядків (127 із 515738, або 0,02%), тому це, ймовірно, не вплине на нашу модель чи результати в будь-якому конкретному напрямку, але ви могли не очікувати, що набір даних рецензій міститиме рядки без рецензій, тому варто дослідити дані, щоб виявити такі рядки. + +Тепер, коли ви дослідили набір даних, у наступному уроці ви відфільтруєте дані та додасте аналіз настроїв. + +--- +## 🚀Виклик + +Цей урок демонструє, як ми бачили в попередніх уроках, наскільки важливо розуміти ваші дані та їх особливості перед виконанням операцій над ними. Текстові дані, зокрема, потребують ретельного аналізу. Перегляньте різні набори даних із великою кількістю тексту та спробуйте виявити області, які можуть вводити упередженість або спотворений настрій у модель. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Пройдіть [цей навчальний шлях з NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott), щоб дізнатися про інструменти, які можна спробувати під час створення моделей для роботи з текстом і мовою. + +## Завдання + +[NLTK](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/uk/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 00000000..abd3a566 --- /dev/null +++ b/translations/uk/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,19 @@ + +# NLTK + +## Інструкції + +NLTK — це відома бібліотека для використання в обчислювальній лінгвістиці та обробці природної мови. Скористайтеся цією можливістю, щоб ознайомитися з '[книгою NLTK](https://www.nltk.org/book/)' і спробувати виконати її вправи. У цьому завданні без оцінювання ви зможете глибше ознайомитися з цією бібліотекою. + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 00000000..9dcaeca6 --- /dev/null +++ b/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 00000000..45236615 --- /dev/null +++ b/translations/uk/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/5-Hotel-Reviews-2/README.md b/translations/uk/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 00000000..791732c7 --- /dev/null +++ b/translations/uk/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,389 @@ + +# Аналіз настроїв за відгуками про готелі + +Тепер, коли ви детально дослідили набір даних, настав час відфільтрувати стовпці та застосувати техніки обробки природної мови (NLP) до набору даних, щоб отримати нові інсайти про готелі. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +### Операції фільтрації та аналізу настроїв + +Як ви, мабуть, помітили, набір даних має кілька проблем. Деякі стовпці заповнені непотрібною інформацією, інші здаються некоректними. Якщо вони правильні, незрозуміло, як вони були розраховані, і відповіді неможливо перевірити самостійними обчисленнями. + +## Вправа: трохи більше обробки даних + +Очистіть дані ще трохи. Додайте стовпці, які будуть корисними пізніше, змініть значення в інших стовпцях і повністю видаліть певні стовпці. + +1. Початкова обробка стовпців + + 1. Видаліть `lat` і `lng` + + 2. Замініть значення `Hotel_Address` на наступні (якщо адреса містить назву міста та країни, змініть її на просто місто та країну). + + Ось єдині міста та країни в наборі даних: + + Амстердам, Нідерланди + + Барселона, Іспанія + + Лондон, Сполучене Королівство + + Мілан, Італія + + Париж, Франція + + Відень, Австрія + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Тепер ви можете запитувати дані на рівні країни: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Обробка стовпців мета-відгуків про готелі + + 1. Видаліть `Additional_Number_of_Scoring` + + 1. Замініть `Total_Number_of_Reviews` на загальну кількість відгуків для цього готелю, які фактично є в наборі даних + + 1. Замініть `Average_Score` на власний розрахований бал + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Обробка стовпців відгуків + + 1. Видаліть `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` і `days_since_review` + + 2. Залиште `Reviewer_Score`, `Negative_Review` і `Positive_Review` без змін, + + 3. Залиште `Tags` поки що + + - Ми будемо виконувати додаткові операції фільтрації на тегах у наступному розділі, а потім теги будуть видалені + +4. Обробка стовпців рецензентів + + 1. Видаліть `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Залиште `Reviewer_Nationality` + +### Стовпці тегів + +Стовпець `Tag` є проблематичним, оскільки він містить список (у текстовій формі), збережений у стовпці. На жаль, порядок і кількість підрозділів у цьому стовпці не завжди однакові. Людині важко визначити правильні фрази, які можуть бути цікавими, тому що є 515,000 рядків і 1427 готелів, і кожен має трохи різні варіанти, які рецензент міг вибрати. Тут стає корисним NLP. Ви можете сканувати текст і знаходити найпоширеніші фрази, а також рахувати їх. + +На жаль, нас не цікавлять окремі слова, а багатослівні фрази (наприклад, *Ділова поїздка*). Запуск алгоритму частотного розподілу багатослівних фраз на такій кількості даних (6762646 слів) може зайняти надзвичайно багато часу, але без перегляду даних здається, що це необхідна витрата. Тут стає корисним дослідницький аналіз даних, оскільки ви бачили зразок тегів, таких як `[' Ділова поїздка ', ' Самостійний мандрівник ', ' Одномісний номер ', ' Перебування 5 ночей ', ' Надіслано з мобільного пристрою ']`, ви можете почати запитувати, чи можливо значно скоротити обробку, яку вам потрібно виконати. На щастя, це можливо - але спочатку потрібно виконати кілька кроків, щоб визначити цікаві теги. + +### Фільтрація тегів + +Пам’ятайте, що мета набору даних — додати настрої та стовпці, які допоможуть вам вибрати найкращий готель (для себе або, можливо, для клієнта, який доручив вам створити бота для рекомендацій готелів). Вам потрібно запитати себе, чи є теги корисними чи ні в остаточному наборі даних. Ось одне з тлумачень (якщо вам потрібен набір даних для інших цілей, різні теги можуть залишитися/вийти з вибору): + +1. Тип поїздки є важливим, і він має залишитися +2. Тип групи гостей є важливим, і він має залишитися +3. Тип кімнати, люксу чи студії, в якій зупинявся гість, не має значення (усі готелі мають приблизно однакові кімнати) +4. Пристрій, на якому був надісланий відгук, не має значення +5. Кількість ночей, протягом яких рецензент залишався, *може* бути важливою, якщо ви пов’язуєте довші перебування з тим, що їм більше подобається готель, але це сумнівно і, ймовірно, не має значення + +Підсумовуючи, **залиште 2 типи тегів і видаліть інші**. + +Спочатку ви не хочете рахувати теги, поки вони не будуть у кращому форматі, а це означає видалення квадратних дужок і лапок. Ви можете зробити це кількома способами, але вам потрібен найшвидший, оскільки це може зайняти багато часу для обробки великої кількості даних. На щастя, pandas має простий спосіб виконати кожен із цих кроків. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Кожен тег стає таким: `Ділова поїздка, Самостійний мандрівник, Одномісний номер, Перебування 5 ночей, Надіслано з мобільного пристрою`. + +Далі ми стикаємося з проблемою. Деякі відгуки або рядки мають 5 стовпців, деякі 3, деякі 6. Це результат того, як був створений набір даних, і важко виправити. Ви хочете отримати частотний підрахунок кожної фрази, але вони знаходяться в різному порядку в кожному відгуку, тому підрахунок може бути неправильним, і готель може не отримати тег, який він заслуговував. + +Натомість ви використаєте різний порядок на свою користь, оскільки кожен тег є багатослівним, але також розділений комою! Найпростіший спосіб зробити це — створити 6 тимчасових стовпців, у кожен з яких вставити тег відповідно до його порядку в тегах. Потім ви можете об’єднати 6 стовпців в один великий стовпець і запустити метод `value_counts()` для отриманого стовпця. Надрукувавши це, ви побачите, що було 2428 унікальних тегів. Ось невеликий зразок: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Деякі з поширених тегів, таких як `Надіслано з мобільного пристрою`, нам не потрібні, тому може бути розумним видалити їх перед підрахунком частоти фраз, але це така швидка операція, що ви можете залишити їх і просто ігнорувати. + +### Видалення тегів тривалості перебування + +Видалення цих тегів — це перший крок, він трохи зменшує загальну кількість тегів, які потрібно враховувати. Зверніть увагу, що ви не видаляєте їх із набору даних, а просто вирішуєте видалити їх із розгляду як значення для підрахунку/збереження в наборі даних відгуків. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +Існує величезна різноманітність кімнат, люксів, студій, апартаментів тощо. Всі вони означають приблизно одне й те саме і не мають значення для вас, тому видаліть їх із розгляду. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Нарешті, і це чудово (оскільки це не потребувало багато обробки), ви залишитеся з наступними *корисними* тегами: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +Можна стверджувати, що `Мандрівники з друзями` — це те саме, що й `Група`, і було б справедливо об’єднати ці два, як показано вище. Код для визначення правильних тегів знаходиться в [ноутбуці Tags](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +Останній крок — створити нові стовпці для кожного з цих тегів. Потім для кожного рядка відгуків, якщо стовпець `Tag` відповідає одному з нових стовпців, додайте 1, якщо ні, додайте 0. Кінцевим результатом буде підрахунок того, скільки рецензентів вибрали цей готель (у сукупності) для, наприклад, бізнесу чи відпочинку, або щоб привезти домашнього улюбленця, і це корисна інформація при рекомендації готелю. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Збережіть ваш файл + +Нарешті, збережіть набір даних у його поточному вигляді з новою назвою. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Операції аналізу настроїв + +У цьому останньому розділі ви застосуєте аналіз настроїв до стовпців відгуків і збережете результати в наборі даних. + +## Вправа: завантаження та збереження відфільтрованих даних + +Зверніть увагу, що тепер ви завантажуєте відфільтрований набір даних, який був збережений у попередньому розділі, **а не** оригінальний набір даних. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Видалення стоп-слів + +Якщо ви запустите аналіз настроїв для стовпців негативних і позитивних відгуків, це може зайняти багато часу. Тест на потужному ноутбуці з швидким процесором зайняв 12–14 хвилин залежно від того, яка бібліотека настроїв використовувалася. Це (відносно) довгий час, тому варто дослідити, чи можна його прискорити. + +Видалення стоп-слів, або поширених англійських слів, які не змінюють настрій речення, є першим кроком. Видаляючи їх, аналіз настроїв має працювати швидше, але не менш точно (оскільки стоп-слова не впливають на настрій, але вони уповільнюють аналіз). + +Найдовший негативний відгук складав 395 слів, але після видалення стоп-слів він становить 195 слів. + +Видалення стоп-слів також є швидкою операцією, видалення стоп-слів із 2 стовпців відгуків у 515,000 рядках зайняло 3.3 секунди на тестовому пристрої. Це може зайняти трохи більше або менше часу залежно від швидкості процесора вашого пристрою, оперативної пам’яті, наявності SSD тощо. Відносна короткість операції означає, що якщо вона покращує час аналізу настроїв, то її варто виконати. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Виконання аналізу настроїв + +Тепер вам слід розрахувати аналіз настроїв для стовпців негативних і позитивних відгуків і зберегти результат у 2 нових стовпцях. Тест настрою буде порівнювати його з оцінкою рецензента для того ж відгуку. Наприклад, якщо аналіз настроїв вважає, що негативний відгук має настрій 1 (надзвичайно позитивний настрій) і позитивний настрій 1, але рецензент дав готелю найнижчу оцінку, то або текст відгуку не відповідає оцінці, або аналізатор настроїв не зміг правильно розпізнати настрій. Ви повинні очікувати, що деякі оцінки настроїв будуть абсолютно неправильними, і часто це буде пояснювано, наприклад, відгук може бути надзвичайно саркастичним: "Звісно, я ОБОЖНЮВАВ спати в кімнаті без опалення", і аналізатор настроїв вважає, що це позитивний настрій, хоча людина, яка читає це, зрозуміє, що це сарказм. +NLTK пропонує різні аналізатори настрою для навчання, і ви можете замінювати їх, щоб перевірити, чи аналіз настрою є більш точним або менш точним. Тут використовується аналіз настрою VADER. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Пізніше у вашій програмі, коли ви будете готові до розрахунку настрою, ви можете застосувати його до кожного відгуку наступним чином: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Це займає приблизно 120 секунд на моєму комп'ютері, але час може варіюватися залежно від комп'ютера. Якщо ви хочете вивести результати і перевірити, чи відповідає настрій відгуку: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Останнє, що потрібно зробити з файлом перед використанням його у завданні, — це зберегти його! Також варто розглянути можливість упорядкування всіх нових колонок, щоб ними було зручно користуватися (для людини це косметична зміна). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Ви повинні запустити весь код для [ноутбука аналізу](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (після того, як ви запустили [ноутбук фільтрації](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), щоб створити файл Hotel_Reviews_Filtered.csv). + +Для перегляду, кроки такі: + +1. Оригінальний файл набору даних **Hotel_Reviews.csv** досліджується у попередньому уроці за допомогою [ноутбука дослідження](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv фільтрується за допомогою [ноутбука фільтрації](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb), що призводить до створення **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv обробляється за допомогою [ноутбука аналізу настрою](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb), що призводить до створення **Hotel_Reviews_NLP.csv** +4. Використовуйте Hotel_Reviews_NLP.csv у виклику NLP нижче + +### Висновок + +Коли ви починали, у вас був набір даних із колонками та даними, але не всі з них могли бути перевірені або використані. Ви дослідили дані, відфільтрували те, що вам не потрібно, перетворили теги у щось корисне, розрахували власні середні значення, додали кілька колонок настрою і, сподіваємося, дізналися щось цікаве про обробку природного тексту. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Виклик + +Тепер, коли ваш набір даних проаналізовано на настрій, спробуйте використати стратегії, які ви вивчили у цьому курсі (можливо, кластеризацію?), щоб визначити шаблони навколо настрою. + +## Огляд і самостійне навчання + +Пройдіть [цей модуль Learn](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott), щоб дізнатися більше і використовувати різні інструменти для дослідження настрою в тексті. + +## Завдання + +[Спробуйте інший набір даних](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/uk/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 00000000..d6077097 --- /dev/null +++ b/translations/uk/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,25 @@ + +# Спробуйте інший набір даних + +## Інструкції + +Тепер, коли ви дізналися, як використовувати NLTK для визначення настрою тексту, спробуйте інший набір даних. Ймовірно, вам доведеться виконати певну обробку даних, тому створіть ноутбук і задокументуйте свій хід думок. Що ви виявите? + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ---------------------------------------------------------------------------------------------------------------- | --------------------------------------- | ---------------------- | +| | Представлено повний ноутбук і набір даних із добре задокументованими комірками, які пояснюють, як визначається настрій | У ноутбуці бракує якісних пояснень | У ноутбуці є недоліки | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 00000000..b023e12d --- /dev/null +++ b/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 00000000..799ad6c8 --- /dev/null +++ b/translations/uk/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/README.md b/translations/uk/6-NLP/README.md new file mode 100644 index 00000000..ad49c101 --- /dev/null +++ b/translations/uk/6-NLP/README.md @@ -0,0 +1,38 @@ + +# Початок роботи з обробкою природної мови + +Обробка природної мови (NLP) — це здатність комп'ютерної програми розуміти людську мову такою, якою вона є в усній та письмовій формі, — тобто природною мовою. Це складова частина штучного інтелекту (AI). NLP існує вже понад 50 років і має коріння в галузі лінгвістики. Уся ця сфера спрямована на те, щоб допомогти машинам розуміти та обробляти людську мову. Це може бути використано для виконання таких завдань, як перевірка орфографії або машинний переклад. NLP має безліч реальних застосувань у різних галузях, включаючи медичні дослідження, пошукові системи та бізнес-аналітику. + +## Регіональна тема: Європейські мови, література та романтичні готелі Європи ❤️ + +У цьому розділі навчальної програми ви познайомитеся з одним із найпоширеніших застосувань машинного навчання: обробкою природної мови (NLP). Походячи з обчислювальної лінгвістики, ця категорія штучного інтелекту є мостом між людьми та машинами через голосове або текстове спілкування. + +У цих уроках ми вивчимо основи NLP, створюючи невеликі розмовні боти, щоб зрозуміти, як машинне навчання допомагає робити ці розмови дедалі більш "розумними". Ви здійсните подорож у часі, спілкуючись з Елізабет Беннет і містером Дарсі з класичного роману Джейн Остін **"Гордість і упередження"**, опублікованого в 1813 році. Потім ви поглибите свої знання, вивчаючи аналіз настроїв через відгуки про готелі в Європі. + + +> Фото Elaine Howlin на Unsplash + +## Уроки + +1. [Вступ до обробки природної мови](1-Introduction-to-NLP/README.md) +2. [Поширені завдання та техніки NLP](2-Tasks/README.md) +3. [Переклад і аналіз настроїв за допомогою машинного навчання](3-Translation-Sentiment/README.md) +4. [Підготовка ваших даних](4-Hotel-Reviews-1/README.md) +5. [NLTK для аналізу настроїв](5-Hotel-Reviews-2/README.md) + +## Подяки + +Ці уроки з обробки природної мови були написані з ☕ [Стівеном Говеллом](https://twitter.com/Howell_MSFT) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/6-NLP/data/README.md b/translations/uk/6-NLP/data/README.md new file mode 100644 index 00000000..700f2980 --- /dev/null +++ b/translations/uk/6-NLP/data/README.md @@ -0,0 +1,15 @@ + +Завантажте дані відгуків про готель до цієї папки. + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/1-Introduction/README.md b/translations/uk/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 00000000..b37044cf --- /dev/null +++ b/translations/uk/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,199 @@ + +# Вступ до прогнозування часових рядів + + + +> Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) + +У цьому уроці та наступному ви дізнаєтеся трохи про прогнозування часових рядів — цікавий і цінний аспект роботи науковця з машинного навчання, який менш відомий, ніж інші теми. Прогнозування часових рядів — це свого роду "кришталева куля": на основі минулих показників змінної, наприклад ціни, можна передбачити її потенційну майбутню вартість. + +[](https://youtu.be/cBojo1hsHiI "Вступ до прогнозування часових рядів") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео про прогнозування часових рядів + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +Це корисна і цікава галузь, яка має реальну цінність для бізнесу завдяки її прямому застосуванню до проблем ціноутворення, інвентаризації та питань ланцюга постачання. Хоча методи глибокого навчання почали використовуватися для отримання більш точних прогнозів, прогнозування часових рядів залишається галуззю, значною мірою заснованою на класичних методах машинного навчання. + +> Корисний навчальний матеріал з часових рядів від Penn State можна знайти [тут](https://online.stat.psu.edu/stat510/lesson/1) + +## Вступ + +Уявіть, що ви керуєте масивом розумних паркувальних лічильників, які надають дані про те, як часто і як довго вони використовуються з часом. + +> Що, якщо ви могли б передбачити, на основі минулих показників лічильника, його майбутню вартість відповідно до законів попиту і пропозиції? + +Точно передбачити, коли діяти для досягнення вашої мети — це виклик, який можна вирішити за допомогою прогнозування часових рядів. Це може не сподобатися людям, якщо їх будуть більше стягувати в години пік, коли вони шукають місце для паркування, але це буде ефективним способом отримання доходу для очищення вулиць! + +Давайте розглянемо деякі типи алгоритмів часових рядів і почнемо роботу з блокнотом для очищення та підготовки даних. Дані, які ви будете аналізувати, взяті з конкурсу прогнозування GEFCom2014. Вони містять 3 роки годинних значень електричного навантаження та температури між 2012 і 2014 роками. Враховуючи історичні закономірності електричного навантаження та температури, ви можете передбачити майбутні значення електричного навантаження. + +У цьому прикладі ви навчитеся прогнозувати один крок вперед, використовуючи лише історичні дані навантаження. Однак перед початком корисно зрозуміти, що відбувається "за лаштунками". + +## Деякі визначення + +Коли ви стикаєтеся з терміном "часовий ряд", важливо розуміти його використання в різних контекстах. + +🎓 **Часовий ряд** + +У математиці "часовий ряд — це серія точок даних, упорядкованих (або перерахованих чи нанесених на графік) у часовому порядку. Найчастіше часовий ряд — це послідовність, взята в рівновіддалених точках часу." Прикладом часових рядів є щоденна закриваюча вартість [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). Використання графіків часових рядів і статистичного моделювання часто зустрічається в обробці сигналів, прогнозуванні погоди, передбаченні землетрусів та інших галузях, де події відбуваються і точки даних можуть бути нанесені на графік з часом. + +🎓 **Аналіз часових рядів** + +Аналіз часових рядів — це аналіз згаданих вище даних часових рядів. Дані часових рядів можуть мати різні форми, включаючи "перервані часові ряди", які виявляють закономірності в еволюції часових рядів до і після перериваючої події. Тип аналізу, необхідний для часових рядів, залежить від природи даних. Дані часових рядів можуть бути представлені у вигляді серій чисел або символів. + +Аналіз, який буде виконаний, використовує різноманітні методи, включаючи частотну і часову області, лінійні і нелінійні методи тощо. [Дізнайтеся більше](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) про численні способи аналізу цього типу даних. + +🎓 **Прогнозування часових рядів** + +Прогнозування часових рядів — це використання моделі для передбачення майбутніх значень на основі закономірностей, які демонструють раніше зібрані дані, як вони відбувалися в минулому. Хоча можна використовувати регресійні моделі для дослідження даних часових рядів, з часовими індексами як змінними x на графіку, такі дані найкраще аналізувати за допомогою спеціальних типів моделей. + +Дані часових рядів — це список упорядкованих спостережень, на відміну від даних, які можна аналізувати за допомогою лінійної регресії. Найпоширенішою моделлю є ARIMA, акронім, що означає "Автокореляційна Інтегрована Середня". + +[Моделі ARIMA](https://online.stat.psu.edu/stat510/lesson/1/1.1) "пов'язують поточне значення серії з минулими значеннями і минулими помилками прогнозу." Вони найбільш підходять для аналізу даних у часовій області, де дані упорядковані за часом. + +> Існує кілька типів моделей ARIMA, про які ви можете дізнатися [тут](https://people.duke.edu/~rnau/411arim.htm) і які ви розглянете в наступному уроці. + +У наступному уроці ви створите модель ARIMA, використовуючи [Уніваріантні часові ряди](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), які зосереджуються на одній змінній, що змінює своє значення з часом. Прикладом такого типу даних є [цей набір даних](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm), який записує щомісячну концентрацію CO2 на обсерваторії Мауна-Лоа: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Визначте змінну, яка змінюється з часом у цьому наборі даних + +## Характеристики даних часових рядів, які слід враховувати + +Коли ви дивитеся на дані часових рядів, ви можете помітити, що вони мають [певні характеристики](https://online.stat.psu.edu/stat510/lesson/1/1.1), які потрібно враховувати і зменшувати, щоб краще зрозуміти їх закономірності. Якщо ви розглядаєте дані часових рядів як потенційний "сигнал", який ви хочете аналізувати, ці характеристики можна вважати "шумом". Вам часто доведеться зменшувати цей "шум", компенсуючи деякі з цих характеристик за допомогою статистичних методів. + +Ось деякі поняття, які вам слід знати, щоб працювати з часовими рядами: + +🎓 **Тренди** + +Тренди визначаються як вимірювані збільшення і зменшення з часом. [Дізнайтеся більше](https://machinelearningmastery.com/time-series-trends-in-python). У контексті часових рядів це про те, як використовувати і, якщо необхідно, видаляти тренди з ваших часових рядів. + +🎓 **[Сезонність](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Сезонність визначається як періодичні коливання, наприклад, святкові сплески, які можуть впливати на продажі. [Подивіться](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm), як різні типи графіків демонструють сезонність у даних. + +🎓 **Викиди** + +Викиди — це точки даних, які значно відхиляються від стандартної варіації даних. + +🎓 **Довгостроковий цикл** + +Незалежно від сезонності, дані можуть демонструвати довгостроковий цикл, наприклад, економічний спад, який триває більше року. + +🎓 **Постійна варіація** + +З часом деякі дані демонструють постійні коливання, наприклад, використання енергії вдень і вночі. + +🎓 **Різкі зміни** + +Дані можуть демонструвати різку зміну, яка потребує додаткового аналізу. Наприклад, різке закриття бізнесів через COVID спричинило зміни в даних. + +✅ Ось [зразок графіка часових рядів](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python), що показує щоденні витрати на внутрішньоігрову валюту протягом кількох років. Чи можете ви визначити будь-які з характеристик, зазначених вище, у цих даних? + + + +## Вправа — початок роботи з даними про використання електроенергії + +Давайте почнемо створювати модель часових рядів для прогнозування майбутнього використання електроенергії на основі минулих даних. + +> Дані в цьому прикладі взяті з конкурсу прогнозування GEFCom2014. Вони містять 3 роки годинних значень електричного навантаження та температури між 2012 і 2014 роками. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli і Rob J. Hyndman, "Ймовірнісне прогнозування енергії: Глобальний конкурс прогнозування енергії 2014 і далі", International Journal of Forecasting, vol.32, no.3, pp 896-913, липень-вересень, 2016. + +1. У папці `working` цього уроку відкрийте файл _notebook.ipynb_. Почніть з додавання бібліотек, які допоможуть вам завантажувати та візуалізувати дані: + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Зверніть увагу, що ви використовуєте файли з включеної папки `common`, які налаштовують ваше середовище і обробляють завантаження даних. + +2. Далі, досліджуйте дані як датафрейм, викликаючи `load_data()` і `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Ви можете побачити, що є два стовпці, які представляють дату і навантаження: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Тепер побудуйте графік даних, викликаючи `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Тепер побудуйте графік першого тижня липня 2014 року, надавши його як вхідні дані до `energy` у форматі `[від дати]: [до дати]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Чудовий графік! Подивіться на ці графіки і спробуйте визначити будь-які з характеристик, зазначених вище. Що ми можемо припустити, візуалізуючи дані? + +У наступному уроці ви створите модель ARIMA для створення прогнозів. + +--- + +## 🚀Виклик + +Складіть список усіх галузей і сфер досліджень, які, на вашу думку, могли б отримати користь від прогнозування часових рядів. Чи можете ви придумати застосування цих методів у мистецтві? У економетриці? Екології? Роздрібній торгівлі? Промисловості? Фінансах? Де ще? + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Хоча ми не будемо розглядати їх тут, нейронні мережі іноді використовуються для покращення класичних методів прогнозування часових рядів. Дізнайтеся більше про них [у цій статті](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Завдання + +[Візуалізуйте ще кілька часових рядів](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/1-Introduction/assignment.md b/translations/uk/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 00000000..5abb1335 --- /dev/null +++ b/translations/uk/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,25 @@ + +# Візуалізація додаткових часових рядів + +## Інструкції + +Ви почали вивчати прогнозування часових рядів, розглядаючи тип даних, які потребують цього спеціального моделювання. Ви вже візуалізували деякі дані, пов’язані з енергетикою. Тепер знайдіть інші дані, які могли б отримати користь від прогнозування часових рядів. Знайдіть три приклади (спробуйте [Kaggle](https://kaggle.com) і [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) і створіть ноутбук для їх візуалізації. Занотуйте будь-які особливі характеристики цих даних (сезонність, різкі зміни чи інші тренди) у ноутбуці. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ----------------------------------------------------- | --------------------------------------------------- | ----------------------------------------------------------------------------------------- | +| | Три набори даних візуалізовані та пояснені у ноутбуці | Два набори даних візуалізовані та пояснені у ноутбуці | Мало наборів даних візуалізовано або пояснено у ноутбуці, або представлені дані є недостатніми | + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/uk/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 00000000..8466560c --- /dev/null +++ b/translations/uk/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/uk/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 00000000..9891e904 --- /dev/null +++ b/translations/uk/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/2-ARIMA/README.md b/translations/uk/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 00000000..7789d98a --- /dev/null +++ b/translations/uk/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,407 @@ + +# Прогнозування часових рядів за допомогою ARIMA + +У попередньому уроці ви дізналися трохи про прогнозування часових рядів і завантажили набір даних, що показує коливання електричного навантаження за певний період часу. + +[](https://youtu.be/IUSk-YDau10 "Вступ до ARIMA") + +> 🎥 Натисніть на зображення вище, щоб переглянути відео: Короткий вступ до моделей ARIMA. Приклад виконаний у R, але концепції є універсальними. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +## Вступ + +У цьому уроці ви дізнаєтеся про конкретний спосіб створення моделей за допомогою [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). Моделі ARIMA особливо добре підходять для аналізу даних, які демонструють [нестаціонарність](https://wikipedia.org/wiki/Stationary_process). + +## Загальні концепції + +Щоб працювати з ARIMA, необхідно знати кілька ключових понять: + +- 🎓 **Стаціонарність**. У статистичному контексті стаціонарність означає дані, розподіл яких не змінюється при зсуві в часі. Нестаціонарні дані, навпаки, демонструють коливання через тренди, які потрібно трансформувати для аналізу. Наприклад, сезонність може викликати коливання в даних, які можна усунути шляхом "сезонного диференціювання". + +- 🎓 **[Диференціювання](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Диференціювання даних у статистичному контексті означає процес трансформації нестаціонарних даних для перетворення їх у стаціонарні шляхом усунення неконстантного тренду. "Диференціювання усуває зміни рівня часових рядів, ліквідуючи тренд і сезонність, тим самим стабілізуючи середнє значення часових рядів." [Стаття Шіксіонга та ін.](https://arxiv.org/abs/1904.07632) + +## ARIMA у контексті часових рядів + +Розглянемо складові ARIMA, щоб краще зрозуміти, як вона допомагає моделювати часові ряди та робити прогнози. + +- **AR - Автокореляція**. Автокореляційні моделі, як випливає з назви, аналізують попередні значення ваших даних, щоб зробити припущення про них. Ці попередні значення називаються "лагами". Наприклад, дані, що показують щомісячні продажі олівців. Загальна кількість продажів кожного місяця буде вважатися "змінною, що еволюціонує" в наборі даних. Ця модель будується як "змінна, що еволюціонує, регресується на своїх власних лагових (тобто попередніх) значеннях." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - Інтеграція**. На відміну від схожих моделей 'ARMA', 'I' в ARIMA означає її *[інтегровану](https://wikipedia.org/wiki/Order_of_integration)* складову. Дані стають "інтегрованими", коли застосовуються кроки диференціювання для усунення нестаціонарності. + +- **MA - Змінне середнє**. Складова [змінного середнього](https://wikipedia.org/wiki/Moving-average_model) цієї моделі стосується вихідної змінної, яка визначається шляхом спостереження за поточними та минулими значеннями лагів. + +Суть: ARIMA використовується для того, щоб модель максимально точно відповідала особливій формі даних часових рядів. + +## Вправа - створення моделі ARIMA + +Відкрийте папку [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) у цьому уроці та знайдіть файл [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Запустіть ноутбук, щоб завантажити бібліотеку Python `statsmodels`; вона знадобиться для моделей ARIMA. + +1. Завантажте необхідні бібліотеки. + +1. Тепер завантажте кілька додаткових бібліотек, корисних для побудови графіків: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Завантажте дані з файлу `/data/energy.csv` у Pandas DataFrame і перегляньте їх: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Побудуйте графік усіх доступних даних про енергію з січня 2012 року по грудень 2014 року. Ніяких сюрпризів не буде, оскільки ми бачили ці дані в попередньому уроці: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Тепер давайте створимо модель! + +### Створення навчальних і тестових наборів даних + +Тепер ваші дані завантажені, і ви можете розділити їх на навчальний і тестовий набори. Ви будете тренувати свою модель на навчальному наборі. Як завжди, після завершення навчання моделі ви оціните її точність за допомогою тестового набору. Ви повинні переконатися, що тестовий набір охоплює більш пізній період часу, ніж навчальний, щоб модель не отримала інформацію з майбутніх періодів часу. + +1. Виділіть двомісячний період з 1 вересня по 31 жовтня 2014 року для навчального набору. Тестовий набір включатиме двомісячний період з 1 листопада по 31 грудня 2014 року: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Оскільки ці дані відображають щоденне споживання енергії, існує сильна сезонна закономірність, але споживання найбільш схоже на споживання в більш недавні дні. + +1. Візуалізуйте відмінності: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Таким чином, використання відносно невеликого періоду часу для навчання даних має бути достатнім. + + > Примітка: Оскільки функція, яку ми використовуємо для підгонки моделі ARIMA, використовує внутрішньовибіркову валідацію під час підгонки, ми пропустимо дані для валідації. + +### Підготовка даних до навчання + +Тепер вам потрібно підготувати дані до навчання, виконавши фільтрацію та масштабування даних. Відфільтруйте ваш набір даних, щоб включити лише потрібні періоди часу та стовпці, а також масштабування, щоб дані були представлені в інтервалі 0,1. + +1. Відфільтруйте оригінальний набір даних, щоб включити лише зазначені періоди часу для кожного набору та лише потрібний стовпець 'load' плюс дату: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Ви можете побачити форму даних: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Масштабуйте дані, щоб вони були в діапазоні (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Візуалізуйте оригінальні та масштабовані дані: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Оригінальні дані + +  + + > Масштабовані дані + +1. Тепер, коли ви відкалібрували масштабовані дані, ви можете масштабувати тестові дані: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Реалізація ARIMA + +Настав час реалізувати ARIMA! Тепер ви будете використовувати бібліотеку `statsmodels`, яку ви встановили раніше. + +Тепер вам потрібно виконати кілька кроків: + + 1. Визначте модель, викликавши `SARIMAX()` і передавши параметри моделі: параметри p, d і q, а також параметри P, D і Q. + 2. Підготуйте модель для навчальних даних, викликавши функцію fit(). + 3. Зробіть прогнози, викликавши функцію `forecast()` і вказавши кількість кроків (горизонт), які потрібно прогнозувати. + +> 🎓 Що означають всі ці параметри? У моделі ARIMA є 3 параметри, які використовуються для моделювання основних аспектів часових рядів: сезонності, тренду та шуму. Ці параметри: + +`p`: параметр, пов'язаний з автокореляційною складовою моделі, яка враховує *попередні* значення. +`d`: параметр, пов'язаний з інтегрованою частиною моделі, який впливає на кількість *диференціювань* (🎓 пам'ятаєте диференціювання 👆?) для застосування до часових рядів. +`q`: параметр, пов'язаний із складовою змінного середнього моделі. + +> Примітка: Якщо ваші дані мають сезонний аспект - як у цьому випадку - , ми використовуємо сезонну модель ARIMA (SARIMA). У цьому випадку потрібно використовувати інший набір параметрів: `P`, `D` і `Q`, які описують ті ж асоціації, що й `p`, `d` і `q`, але відповідають сезонним компонентам моделі. + +1. Почніть із встановлення бажаного значення горизонту. Спробуємо 3 години: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Вибір найкращих значень для параметрів моделі ARIMA може бути складним, оскільки це дещо суб'єктивно і потребує часу. Ви можете розглянути можливість використання функції `auto_arima()` з бібліотеки [`pyramid`](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html). + +1. Поки що спробуйте кілька ручних варіантів, щоб знайти хорошу модель. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Виводиться таблиця результатів. + +Ви створили свою першу модель! Тепер нам потрібно знайти спосіб її оцінити. + +### Оцінка вашої моделі + +Щоб оцінити вашу модель, ви можете виконати так звану валідацію `walk forward`. На практиці моделі часових рядів перенавчаються кожного разу, коли стають доступними нові дані. Це дозволяє моделі робити найкращий прогноз на кожному кроці часу. + +Починаючи з початку часових рядів, використовуючи цю техніку, навчіть модель на навчальному наборі даних. Потім зробіть прогноз на наступний крок часу. Прогноз оцінюється порівняно з відомим значенням. Навчальний набір потім розширюється, щоб включити відоме значення, і процес повторюється. + +> Примітка: Ви повинні зберігати фіксоване вікно навчального набору для більш ефективного навчання, щоб кожного разу, коли ви додаєте нове спостереження до навчального набору, ви видаляли спостереження з початку набору. + +Цей процес забезпечує більш надійну оцінку того, як модель буде працювати на практиці. Однак це має обчислювальну вартість створення такої кількості моделей. Це прийнятно, якщо дані невеликі або модель проста, але може бути проблемою в масштабі. + +Валідація `walk forward` є золотим стандартом оцінки моделей часових рядів і рекомендується для ваших власних проєктів. + +1. Спочатку створіть тестову точку даних для кожного кроку HORIZON. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Дані зміщуються горизонтально відповідно до їхньої точки горизонту. + +1. Зробіть прогнози для ваших тестових даних, використовуючи цей підхід ковзного вікна в циклі розміром довжини тестових даних: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Ви можете спостерігати за процесом навчання: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Порівняйте прогнози з фактичним навантаженням: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Вивід + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Спостерігайте за прогнозом даних за годину, порівняно з фактичним навантаженням. Наскільки це точно? + +### Перевірка точності моделі + +Перевірте точність вашої моделі, протестувавши її середню абсолютну процентну помилку (MAPE) для всіх прогнозів. +> **🧮 Покажіть мені математику** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) використовується для демонстрації точності прогнозу як співвідношення, визначеного за формулою вище. Різниця між фактичним і прогнозованим значенням ділиться на фактичне. +> +> "Абсолютне значення в цьому розрахунку підсумовується для кожної прогнозованої точки в часі і ділиться на кількість точок n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) +1. Виразіть рівняння у коді: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Розрахуйте MAPE для одного кроку: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE прогнозу на один крок: 0.5570581332313952 % + +1. Виведіть MAPE для багатокрокового прогнозу: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Найкраще, коли число низьке: врахуйте, що прогноз із MAPE 10 має похибку в 10%. + +1. Але, як завжди, легше оцінити точність візуально, тому давайте побудуємо графік: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Дуже гарний графік, який демонструє модель з хорошою точністю. Чудова робота! + +--- + +## 🚀Виклик + +Досліджуйте способи перевірки точності моделі часових рядів. У цьому уроці ми торкаємося MAPE, але чи є інші методи, які ви могли б використати? Дослідіть їх і додайте коментарі. Корисний документ можна знайти [тут](https://otexts.com/fpp2/accuracy.html) + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +У цьому уроці ми розглядаємо лише основи прогнозування часових рядів за допомогою ARIMA. Приділіть час для поглиблення знань, дослідивши [цей репозиторій](https://microsoft.github.io/forecasting/) і його різні типи моделей, щоб дізнатися інші способи створення моделей часових рядів. + +## Завдання + +[Нова модель ARIMA](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/2-ARIMA/assignment.md b/translations/uk/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 00000000..58d9cef7 --- /dev/null +++ b/translations/uk/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,25 @@ + +# Новий ARIMA-модель + +## Інструкції + +Тепер, коли ви створили ARIMA-модель, створіть нову з новими даними (спробуйте один із [цих наборів даних від Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Додайте коментарі до своєї роботи в ноутбуці, візуалізуйте дані та вашу модель, а також перевірте її точність за допомогою MAPE. + +## Рубрика + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------- | ----------------------------------- | +| | Представлено ноутбук із новою ARIMA-моделлю, протестованою та поясненою з візуалізаціями і зазначеною точністю. | Представлений ноутбук не містить коментарів або має помилки | Представлено неповний ноутбук | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/uk/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 00000000..6267050a --- /dev/null +++ b/translations/uk/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/uk/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 00000000..e40896cf --- /dev/null +++ b/translations/uk/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/3-SVR/README.md b/translations/uk/7-TimeSeries/3-SVR/README.md new file mode 100644 index 00000000..d3f82d30 --- /dev/null +++ b/translations/uk/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,393 @@ + +# Прогнозування часових рядів за допомогою регресора опорних векторів + +У попередньому уроці ви дізналися, як використовувати модель ARIMA для прогнозування часових рядів. Тепер ви ознайомитеся з моделлю регресора опорних векторів (Support Vector Regressor), яка використовується для прогнозування безперервних даних. + +## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +## Вступ + +У цьому уроці ви дізнаєтеся, як створювати моделі за допомогою [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) для регресії, або **SVR: Support Vector Regressor**. + +### SVR у контексті часових рядів [^1] + +Перед тим як зрозуміти важливість SVR у прогнозуванні часових рядів, ось кілька важливих концепцій, які вам потрібно знати: + +- **Регресія:** Техніка навчання з учителем для прогнозування безперервних значень на основі заданого набору вхідних даних. Ідея полягає у побудові кривої (або лінії) у просторі ознак, яка має максимальну кількість точок даних. [Натисніть тут](https://en.wikipedia.org/wiki/Regression_analysis) для отримання додаткової інформації. +- **Машина опорних векторів (SVM):** Тип моделі машинного навчання з учителем, яка використовується для класифікації, регресії та виявлення аномалій. Модель є гіперплощиною у просторі ознак, яка у випадку класифікації виступає як межа, а у випадку регресії — як лінія найкращого підходу. У SVM зазвичай використовується функція ядра для перетворення набору даних у простір з більшою кількістю вимірів, щоб вони могли бути легко розділені. [Натисніть тут](https://en.wikipedia.org/wiki/Support-vector_machine) для отримання додаткової інформації про SVM. +- **Регресор опорних векторів (SVR):** Тип SVM, який знаходить лінію найкращого підходу (яка у випадку SVM є гіперплощиною) з максимальною кількістю точок даних. + +### Чому SVR? [^1] + +У попередньому уроці ви дізналися про ARIMA, яка є дуже успішним статистичним лінійним методом для прогнозування даних часових рядів. Однак у багатьох випадках дані часових рядів мають *нелінійність*, яку неможливо відобразити за допомогою лінійних моделей. У таких випадках здатність SVM враховувати нелінійність даних для задач регресії робить SVR успішним у прогнозуванні часових рядів. + +## Вправа - створення моделі SVR + +Перші кілька кроків підготовки даних такі ж, як у попередньому уроці про [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Відкрийте папку [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) у цьому уроці та знайдіть файл [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb). [^2] + +1. Запустіть ноутбук та імпортуйте необхідні бібліотеки: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Завантажте дані з файлу `/data/energy.csv` у Pandas DataFrame та перегляньте їх: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Побудуйте графік усіх доступних даних про енергію з січня 2012 року до грудня 2014 року: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Тепер давайте створимо нашу модель SVR. + +### Створення навчальних і тестових наборів даних + +Тепер ваші дані завантажені, тому ви можете розділити їх на навчальний і тестовий набори. Потім ви переформатуєте дані, щоб створити набір даних на основі часових кроків, який буде потрібен для SVR. Ви навчите свою модель на навчальному наборі. Після завершення навчання моделі ви оціните її точність на навчальному наборі, тестовому наборі, а потім на повному наборі даних, щоб побачити загальну продуктивність. Ви повинні переконатися, що тестовий набір охоплює більш пізній період часу, ніж навчальний набір, щоб гарантувати, що модель не отримує інформацію з майбутніх періодів часу [^2] (ситуація, відома як *перенавчання*). + +1. Виділіть двомісячний період з 1 вересня по 31 жовтня 2014 року для навчального набору. Тестовий набір включатиме двомісячний період з 1 листопада по 31 грудня 2014 року: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Візуалізуйте відмінності: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### Підготовка даних для навчання + +Тепер вам потрібно підготувати дані для навчання, виконавши фільтрацію та масштабування даних. Відфільтруйте ваш набір даних, щоб включити лише потрібні періоди часу та стовпці, а також виконайте масштабування, щоб дані були представлені в інтервалі 0,1. + +1. Відфільтруйте оригінальний набір даних, щоб включити лише зазначені періоди часу для кожного набору та лише потрібний стовпець 'load' плюс дату: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Масштабуйте навчальні дані до діапазону (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Тепер масштабуйте тестові дані: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Створення даних із часовими кроками [^1] + +Для SVR ви перетворюєте вхідні дані у форму `[batch, timesteps]`. Тобто ви переформатуєте існуючі `train_data` та `test_data`, щоб додати новий вимір, який відповідає часовим крокам. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Для цього прикладу ми беремо `timesteps = 5`. Отже, вхідні дані для моделі — це дані за перші 4 часові кроки, а вихідні — дані за 5-й часовий крок. + +```python +timesteps=5 +``` + +Перетворення навчальних даних у 2D-тензор за допомогою вкладеного спискового розуміння: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Перетворення тестових даних у 2D-тензор: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +Вибір вхідних і вихідних даних із навчальних і тестових даних: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Реалізація SVR [^1] + +Тепер настав час реалізувати SVR. Щоб дізнатися більше про цю реалізацію, ви можете звернутися до [цієї документації](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Для нашої реалізації ми дотримуємося таких кроків: + + 1. Визначте модель, викликавши `SVR()` і передавши гіперпараметри моделі: kernel, gamma, c та epsilon + 2. Підготуйте модель для навчальних даних, викликавши функцію `fit()` + 3. Зробіть прогнози, викликавши функцію `predict()` + +Тепер ми створюємо модель SVR. Тут ми використовуємо [RBF kernel](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) і встановлюємо гіперпараметри gamma, C та epsilon як 0.5, 10 та 0.05 відповідно. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Навчання моделі на навчальних даних [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Прогнозування за допомогою моделі [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Ви створили SVR! Тепер потрібно оцінити його. + +### Оцінка вашої моделі [^1] + +Для оцінки спочатку ми повернемо дані до оригінального масштабу. Потім, щоб перевірити продуктивність, ми побудуємо графік оригінальних і прогнозованих часових рядів, а також виведемо результат MAPE. + +Масштабування прогнозованих і оригінальних вихідних даних: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Перевірка продуктивності моделі на навчальних і тестових даних [^1] + +Ми витягуємо часові мітки з набору даних, щоб показати їх на осі x нашого графіка. Зверніть увагу, що ми використовуємо перші ```timesteps-1``` значення як вхідні дані для першого вихідного значення, тому часові мітки для вихідних даних почнуться після цього. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Побудова графіка прогнозів для навчальних даних: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Виведення MAPE для навчальних даних + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Побудова графіка прогнозів для тестових даних + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Виведення MAPE для тестових даних + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Ви отримали дуже хороший результат на тестовому наборі даних! + +### Перевірка продуктивності моделі на повному наборі даних [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Дуже гарні графіки, які показують модель з хорошою точністю. Чудова робота! + +--- + +## 🚀Виклик + +- Спробуйте змінити гіперпараметри (gamma, C, epsilon) під час створення моделі та оцінити дані, щоб побачити, який набір гіперпараметрів дає найкращі результати на тестових даних. Щоб дізнатися більше про ці гіперпараметри, ви можете звернутися до документа [тут](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Спробуйте використовувати різні функції ядра для моделі та аналізувати їх продуктивність на наборі даних. Корисний документ можна знайти [тут](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Спробуйте використовувати різні значення для `timesteps`, щоб модель могла дивитися назад для прогнозування. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Огляд і самостійне навчання + +Цей урок був присвячений застосуванню SVR для прогнозування часових рядів. Щоб дізнатися більше про SVR, ви можете звернутися до [цього блогу](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Ця [документація scikit-learn](https://scikit-learn.org/stable/modules/svm.html) надає більш детальне пояснення про SVM загалом, [SVR](https://scikit-learn.org/stable/modules/svm.html#regression), а також інші деталі реалізації, такі як різні [функції ядра](https://scikit-learn.org/stable/modules/svm.html#kernel-functions), які можна використовувати, та їх параметри. + +## Завдання + +[Нова модель SVR](assignment.md) + +## Подяки + +[^1]: Текст, код і результати в цьому розділі були надані [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Текст, код і результати в цьому розділі були взяті з [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/3-SVR/assignment.md b/translations/uk/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 00000000..14c4d133 --- /dev/null +++ b/translations/uk/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,29 @@ + +# Нова модель SVR + +## Інструкції [^1] + +Тепер, коли ви створили модель SVR, створіть нову, використовуючи свіжі дані (спробуйте один із [цих наборів даних від Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Додайте коментарі до своєї роботи в ноутбуці, візуалізуйте дані та вашу модель, а також протестуйте її точність за допомогою відповідних графіків і MAPE. Спробуйте також змінити різні гіперпараметри та використати різні значення для часових кроків. + +## Критерії оцінювання [^1] + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | ----------------------------------------------------------- | ------------------------------------------------------- | --------------------------------- | +| | Представлено ноутбук із побудованою, протестованою та поясненою моделлю SVR, з візуалізаціями та зазначеною точністю. | Представлено ноутбук без коментарів або з помилками. | Представлено неповний ноутбук. | + + + +[^1]:Текст у цьому розділі базується на [завданні з ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/7-TimeSeries/README.md b/translations/uk/7-TimeSeries/README.md new file mode 100644 index 00000000..b812c5b7 --- /dev/null +++ b/translations/uk/7-TimeSeries/README.md @@ -0,0 +1,37 @@ + +# Вступ до прогнозування часових рядів + +Що таке прогнозування часових рядів? Це процес передбачення майбутніх подій шляхом аналізу тенденцій минулого. + +## Регіональна тема: світове споживання електроенергії ✨ + +У цих двох уроках ви познайомитеся з прогнозуванням часових рядів — менш відомою, але надзвичайно корисною галуззю машинного навчання, яка має велике значення для промислових і бізнесових застосувань, а також інших сфер. Хоча нейронні мережі можуть бути використані для підвищення ефективності цих моделей, ми вивчатимемо їх у контексті класичного машинного навчання, оскільки моделі допомагають прогнозувати майбутню продуктивність на основі минулого. + +Наш регіональний фокус — споживання електроенергії у світі, цікавий набір даних для вивчення прогнозування майбутнього використання електроенергії на основі моделей минулого навантаження. Ви можете побачити, наскільки корисним може бути таке прогнозування в бізнес-середовищі. + + + +Фото [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) електричних веж на дорозі в Раджастані на [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Уроки + +1. [Вступ до прогнозування часових рядів](1-Introduction/README.md) +2. [Створення моделей ARIMA для часових рядів](2-ARIMA/README.md) +3. [Створення регресора на основі опорних векторів для прогнозування часових рядів](3-SVR/README.md) + +## Автори + +"Вступ до прогнозування часових рядів" написано з ⚡️ [Francesca Lazzeri](https://twitter.com/frlazzeri) та [Jen Looper](https://twitter.com/jenlooper). Ноутбуки вперше з'явилися онлайн у [репозиторії Azure "Deep Learning For Time Series"](https://github.com/Azure/DeepLearningForTimeSeriesForecasting), який спочатку був написаний Francesca Lazzeri. Урок про SVR написаний [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD). + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/8-Reinforcement/1-QLearning/README.md b/translations/uk/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 00000000..1887f22d --- /dev/null +++ b/translations/uk/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,258 @@ + +# Вступ до навчання з підкріпленням та Q-Learning + + +> Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Навчання з підкріпленням включає три важливі концепції: агент, деякі стани та набір дій для кожного стану. Виконуючи дію в заданому стані, агент отримує винагороду. Уявіть комп'ютерну гру Super Mario. Ви — Маріо, знаходитеся на рівні гри, стоїте поруч із краєм обриву. Над вами монета. Ви, як Маріо, на рівні гри, у певній позиції — це ваш стан. Переміщення на один крок вправо (дія) призведе до падіння з обриву, і це дасть вам низький числовий бал. Однак натискання кнопки стрибка дозволить вам отримати очко і залишитися живим. Це позитивний результат, і він повинен нагородити вас позитивним числовим балом. + +Використовуючи навчання з підкріпленням і симулятор (гру), ви можете навчитися грати в гру, щоб максимізувати винагороду, тобто залишатися живим і набирати якомога більше очок. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Натисніть на зображення вище, щоб почути Дмитра, який розповідає про навчання з підкріпленням + +## [Квіз перед лекцією](https://ff-quizzes.netlify.app/en/ml/) + +## Передумови та налаштування + +У цьому уроці ми будемо експериментувати з кодом на Python. Ви повинні мати можливість виконувати код Jupyter Notebook з цього уроку, або на вашому комп'ютері, або десь у хмарі. + +Ви можете відкрити [ноутбук уроку](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) і пройти через цей урок, щоб створити. + +> **Примітка:** Якщо ви відкриваєте цей код з хмари, вам також потрібно отримати файл [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), який використовується в коді ноутбука. Додайте його до тієї ж директорії, що й ноутбук. + +## Вступ + +У цьому уроці ми дослідимо світ **[Петрика і вовка](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, натхненний музичною казкою російського композитора [Сергія Прокоф'єва](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Ми використаємо **навчання з підкріпленням**, щоб дозволити Петрику досліджувати своє середовище, збирати смачні яблука і уникати зустрічі з вовком. + +**Навчання з підкріпленням** (RL) — це техніка навчання, яка дозволяє нам навчитися оптимальній поведінці **агента** в певному **середовищі**, проводячи багато експериментів. Агент у цьому середовищі повинен мати **мету**, визначену **функцією винагороди**. + +## Середовище + +Для простоти уявімо світ Петрика як квадратну дошку розміром `width` x `height`, як на цьому зображенні: + + + +Кожна клітинка на цій дошці може бути: + +* **землею**, по якій Петрик та інші створіння можуть ходити. +* **водою**, по якій, очевидно, ходити не можна. +* **деревом** або **травою**, місцем, де можна відпочити. +* **яблуком**, яке Петрик буде радий знайти, щоб нагодувати себе. +* **вовком**, який небезпечний і якого слід уникати. + +Існує окремий модуль Python, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), який містить код для роботи з цим середовищем. Оскільки цей код не важливий для розуміння наших концепцій, ми імпортуємо модуль і використовуємо його для створення зразкової дошки (блок коду 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Цей код повинен надрукувати зображення середовища, схоже на наведене вище. + +## Дії та політика + +У нашому прикладі мета Петрика — знайти яблуко, уникаючи вовка та інших перешкод. Для цього він може просто ходити, поки не знайде яблуко. + +Таким чином, у будь-якій позиції він може вибрати одну з наступних дій: вгору, вниз, вліво і вправо. + +Ми визначимо ці дії як словник і зіставимо їх із парами відповідних змін координат. Наприклад, рух вправо (`R`) буде відповідати парі `(1,0)`. (блок коду 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Підсумовуючи, стратегія та мета цього сценарію такі: + +- **Стратегія** нашого агента (Петрика) визначається так званою **політикою**. Політика — це функція, яка повертає дію в будь-якому заданому стані. У нашому випадку стан проблеми представлений дошкою, включаючи поточну позицію гравця. + +- **Мета** навчання з підкріпленням — зрештою навчитися хорошій політиці, яка дозволить нам ефективно вирішувати проблему. Однак, як базовий варіант, розглянемо найпростішу політику, яку називають **випадковою прогулянкою**. + +## Випадкова прогулянка + +Спочатку вирішимо нашу проблему, реалізувавши стратегію випадкової прогулянки. У випадковій прогулянці ми будемо випадково вибирати наступну дію з дозволених дій, поки не досягнемо яблука (блок коду 3). + +1. Реалізуйте випадкову прогулянку за допомогою наведеного нижче коду: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + Виклик `walk` повинен повернути довжину відповідного шляху, яка може змінюватися від одного запуску до іншого. + +1. Запустіть експеримент прогулянки кілька разів (скажімо, 100) і надрукуйте отриману статистику (блок коду 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Зверніть увагу, що середня довжина шляху становить близько 30-40 кроків, що досить багато, враховуючи той факт, що середня відстань до найближчого яблука становить близько 5-6 кроків. + + Ви також можете побачити, як виглядає рух Петрика під час випадкової прогулянки: + +  + +## Функція винагороди + +Щоб зробити нашу політику більш розумною, нам потрібно зрозуміти, які кроки є "кращими" за інші. Для цього нам потрібно визначити нашу мету. + +Мета може бути визначена у вигляді **функції винагороди**, яка повертає певне значення оцінки для кожного стану. Чим більше число, тим краща функція винагороди. (блок коду 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Цікаво, що у більшості випадків *ми отримуємо значну винагороду лише наприкінці гри*. Це означає, що наш алгоритм повинен якось запам’ятовувати "хороші" кроки, які призводять до позитивної винагороди в кінці, і збільшувати їх важливість. Аналогічно, всі кроки, які призводять до поганих результатів, слід знеохочувати. + +## Q-Learning + +Алгоритм, який ми тут обговоримо, називається **Q-Learning**. У цьому алгоритмі політика визначається функцією (або структурою даних), яка називається **Q-таблиця**. Вона записує "корисність" кожної дії в даному стані. + +Вона називається Q-таблицею, тому що її часто зручно представляти у вигляді таблиці або багатовимірного масиву. Оскільки наша дошка має розміри `width` x `height`, ми можемо представити Q-таблицю за допомогою масиву numpy з формою `width` x `height` x `len(actions)`: (блок коду 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Зверніть увагу, що ми ініціалізуємо всі значення Q-таблиці однаковим значенням, у нашому випадку — 0.25. Це відповідає політиці "випадкової прогулянки", оскільки всі кроки в кожному стані однаково хороші. Ми можемо передати Q-таблицю до функції `plot`, щоб візуалізувати таблицю на дошці: `m.plot(Q)`. + + + +У центрі кожної клітинки є "стрілка", яка вказує на бажаний напрямок руху. Оскільки всі напрямки рівні, відображається точка. + +Тепер нам потрібно запустити симуляцію, дослідити наше середовище та навчитися кращому розподілу значень Q-таблиці, що дозволить нам набагато швидше знайти шлях до яблука. + +## Суть Q-Learning: рівняння Беллмана + +Як тільки ми починаємо рухатися, кожна дія матиме відповідну винагороду, тобто теоретично ми можемо вибрати наступну дію на основі найвищої миттєвої винагороди. Однак у більшості станів цей крок не досягне нашої мети — досягти яблука, і тому ми не можемо одразу вирішити, який напрямок кращий. + +> Пам’ятайте, що важливий не миттєвий результат, а кінцевий результат, який ми отримаємо наприкінці симуляції. + +Щоб врахувати цю відкладену винагороду, нам потрібно використовувати принципи **[динамічного програмування](https://en.wikipedia.org/wiki/Dynamic_programming)**, які дозволяють мислити про нашу проблему рекурсивно. + +Припустимо, що зараз ми знаходимося в стані *s*, і хочемо перейти до наступного стану *s'*. Роблячи це, ми отримаємо миттєву винагороду *r(s,a)*, визначену функцією винагороди, плюс певну майбутню винагороду. Якщо припустити, що наша Q-таблиця правильно відображає "привабливість" кожної дії, то в стані *s'* ми виберемо дію *a*, яка відповідає максимальному значенню *Q(s',a')*. Таким чином, найкраща можлива майбутня винагорода, яку ми могли б отримати в стані *s*, буде визначена як `max` *Q(s',a')* (максимум тут обчислюється для всіх можливих дій *a'* у стані *s'*). + +Це дає **формулу Беллмана** для обчислення значення Q-таблиці в стані *s*, враховуючи дію *a*: + +## Перевірка політики + +Оскільки Q-Table містить "привабливість" кожної дії в кожному стані, її досить легко використовувати для визначення ефективної навігації у нашому світі. У найпростішому випадку ми можемо вибрати дію, що відповідає найвищому значенню в Q-Table: (блок коду 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Якщо ви спробуєте код вище кілька разів, то можете помітити, що іноді він "зависає", і вам потрібно натиснути кнопку STOP у ноутбуці, щоб перервати виконання. Це відбувається через те, що можуть виникати ситуації, коли два стани "вказують" один на одного з точки зору оптимального Q-Value, у результаті чого агент безкінечно переміщується між цими станами. + +## 🚀Виклик + +> **Завдання 1:** Змініть функцію `walk`, щоб обмежити максимальну довжину шляху певною кількістю кроків (наприклад, 100), і подивіться, як код вище час від часу повертає це значення. + +> **Завдання 2:** Змініть функцію `walk` так, щоб вона не поверталася до місць, де вже була раніше. Це запобігатиме зацикленню `walk`, однак агент все одно може опинитися "заблокованим" у місці, з якого не може вибратися. + +## Навігація + +Кращою політикою навігації буде та, яку ми використовували під час навчання, що поєднує експлуатацію та дослідження. У цій політиці ми будемо вибирати кожну дію з певною ймовірністю, пропорційною значенням у Q-Table. Ця стратегія все ще може призводити до того, що агент повертається до вже досліджених позицій, але, як видно з коду нижче, вона забезпечує дуже короткий середній шлях до бажаного місця (пам'ятайте, що `print_statistics` запускає симуляцію 100 разів): (блок коду 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Після запуску цього коду ви повинні отримати значно меншу середню довжину шляху, ніж раніше, у діапазоні 3-6. + +## Дослідження процесу навчання + +Як ми вже згадували, процес навчання — це баланс між дослідженням і використанням отриманих знань про структуру простору задачі. Ми побачили, що результати навчання (здатність допомогти агенту знайти короткий шлях до мети) покращилися, але також цікаво спостерігати, як середня довжина шляху змінюється під час процесу навчання: + +Висновки з навчання можна підсумувати так: + +- **Середня довжина шляху збільшується**. На початку середня довжина шляху зростає. Це, ймовірно, пов'язано з тим, що коли ми нічого не знаємо про середовище, ми, швидше за все, потрапляємо в погані стани, наприклад, у воду або до вовка. Коли ми дізнаємося більше і починаємо використовувати ці знання, ми можемо довше досліджувати середовище, але все ще не дуже добре знаємо, де знаходяться яблука. + +- **Довжина шляху зменшується, коли ми дізнаємося більше**. Як тільки ми дізнаємося достатньо, агенту стає легше досягати мети, і довжина шляху починає зменшуватися. Однак ми все ще відкриті до досліджень, тому часто відхиляємося від найкращого шляху і досліджуємо нові варіанти, що робить шлях довшим за оптимальний. + +- **Довжина різко збільшується**. На графіку також видно, що в певний момент довжина різко збільшується. Це вказує на стохастичну природу процесу і на те, що ми можемо в якийсь момент "зіпсувати" коефіцієнти Q-Table, перезаписавши їх новими значеннями. Це ідеально слід мінімізувати, зменшуючи швидкість навчання (наприклад, ближче до кінця навчання ми лише трохи коригуємо значення Q-Table). + +Загалом, важливо пам'ятати, що успіх і якість процесу навчання значною мірою залежать від параметрів, таких як швидкість навчання, зменшення швидкості навчання та коефіцієнт дисконтування. Їх часто називають **гіперпараметрами**, щоб відрізнити їх від **параметрів**, які ми оптимізуємо під час навчання (наприклад, коефіцієнти Q-Table). Процес пошуку найкращих значень гіперпараметрів називається **оптимізацією гіперпараметрів**, і це заслуговує окремої теми. + +## [Тест після лекції](https://ff-quizzes.netlify.app/en/ml/) + +## Завдання +[Більш реалістичний світ](assignment.md) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний переклад людиною. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/8-Reinforcement/1-QLearning/assignment.md b/translations/uk/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 00000000..0cdb7387 --- /dev/null +++ b/translations/uk/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,41 @@ + +# Більш реалістичний світ + +У нашій ситуації Пітер міг пересуватися майже без втоми чи голоду. У більш реалістичному світі йому потрібно час від часу сідати та відпочивати, а також харчуватися. Давайте зробимо наш світ більш реалістичним, впровадивши наступні правила: + +1. Пересуваючись з одного місця в інше, Пітер втрачає **енергію** і набирає **втому**. +2. Пітер може відновлювати енергію, з'їдаючи яблука. +3. Пітер може позбавлятися втоми, відпочиваючи під деревом або на траві (тобто заходячи на клітинку з деревом або травою — зелене поле). +4. Пітер повинен знайти і вбити вовка. +5. Щоб перемогти вовка, Пітер повинен мати певний рівень енергії та втоми, інакше він програє битву. + +## Інструкції + +Використовуйте оригінальний блокнот [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) як відправну точку для вашого рішення. + +Модифікуйте функцію винагороди відповідно до правил гри, запустіть алгоритм навчання з підкріпленням, щоб знайти найкращу стратегію для перемоги в грі, і порівняйте результати випадкових ходів із вашим алгоритмом за кількістю виграних і програних ігор. + +> **Note**: У вашому новому світі стан є більш складним і, окрім позиції людини, також включає рівні втоми та енергії. Ви можете представити стан у вигляді кортежу (Board, energy, fatigue), або визначити клас для стану (ви також можете успадкувати його від `Board`), або навіть модифікувати оригінальний клас `Board` у файлі [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py). + +У вашому рішенні, будь ласка, збережіть код, відповідальний за стратегію випадкових ходів, і порівняйте результати вашого алгоритму з випадковими ходами наприкінці. + +> **Note**: Можливо, вам доведеться налаштувати гіперпараметри, щоб усе працювало, особливо кількість епох. Оскільки успіх у грі (битва з вовком) є рідкісною подією, ви можете очікувати значно тривалішого часу навчання. + +## Критерії оцінювання + +| Критерії | Відмінно | Задовільно | Потребує покращення | +| -------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Блокнот представлений із визначенням нових правил світу, алгоритмом Q-Learning і текстовими поясненнями. Q-Learning значно покращує результати порівняно з випадковими ходами. | Блокнот представлений, Q-Learning реалізований і покращує результати порівняно з випадковими ходами, але незначно; або блокнот погано документований, а код не має чіткої структури. | Зроблено спробу переосмислити правила світу, але алгоритм Q-Learning не працює, або функція винагороди не повністю визначена. | + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/uk/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 00000000..35768bbc --- /dev/null +++ b/translations/uk/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/uk/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 00000000..ad8b3ba2 --- /dev/null +++ b/translations/uk/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,15 @@ + + + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/8-Reinforcement/2-Gym/README.md b/translations/uk/8-Reinforcement/2-Gym/README.md new file mode 100644 index 00000000..9b9e04f4 --- /dev/null +++ b/translations/uk/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,351 @@ + +# CartPole Катання + +Задача, яку ми вирішували в попередньому уроці, може здатися іграшковою, не дуже застосовною до реальних сценаріїв. Але це не так, адже багато реальних проблем мають схожі характеристики — наприклад, гра в шахи чи Ґо. Вони схожі тим, що також мають дошку з певними правилами та **дискретний стан**. + +## [Передлекційна вікторина](https://ff-quizzes.netlify.app/en/ml/) + +## Вступ + +У цьому уроці ми застосуємо ті ж принципи Q-навчання до задачі з **неперервним станом**, тобто станом, який визначається одним або кількома дійсними числами. Ми розглянемо наступну задачу: + +> **Задача**: Якщо Петро хоче втекти від вовка, йому потрібно навчитися рухатися швидше. Ми побачимо, як Петро може навчитися кататися на ковзанах, зокрема тримати рівновагу, використовуючи Q-навчання. + + + +> Петро та його друзі проявляють креативність, щоб втекти від вовка! Зображення від [Jen Looper](https://twitter.com/jenlooper) + +Ми використаємо спрощену версію задачі збереження рівноваги, відому як задача **CartPole**. У світі CartPole є горизонтальний слайдер, який може рухатися вліво або вправо, і мета — утримати вертикальний стовп на вершині слайдера. + +## Передумови + +У цьому уроці ми будемо використовувати бібліотеку **OpenAI Gym** для симуляції різних **середовищ**. Ви можете запускати код цього уроку локально (наприклад, у Visual Studio Code), у такому випадку симуляція відкриється у новому вікні. Якщо ви запускаєте код онлайн, можливо, доведеться внести деякі зміни в код, як описано [тут](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7). + +## OpenAI Gym + +У попередньому уроці правила гри та стан були задані класом `Board`, який ми визначили самостійно. Тут ми використаємо спеціальне **середовище симуляції**, яке моделюватиме фізику стовпа, що балансує. Одним із найпопулярніших середовищ симуляції для навчання алгоритмів з підкріпленням є [Gym](https://gym.openai.com/), який підтримується [OpenAI](https://openai.com/). Використовуючи Gym, ми можемо створювати різні **середовища** — від симуляції CartPole до ігор Atari. + +> **Примітка**: Інші середовища, доступні в OpenAI Gym, можна переглянути [тут](https://gym.openai.com/envs/#classic_control). + +Спочатку встановимо Gym і імпортуємо необхідні бібліотеки (блок коду 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Вправа — ініціалізація середовища CartPole + +Щоб працювати із задачею балансування CartPole, потрібно ініціалізувати відповідне середовище. Кожне середовище має: + +- **Observation space** (простір спостережень), який визначає структуру інформації, яку ми отримуємо від середовища. Для задачі CartPole ми отримуємо положення стовпа, швидкість та інші значення. + +- **Action space** (простір дій), який визначає можливі дії. У нашому випадку простір дій дискретний і складається з двох дій — **вліво** та **вправо**. (блок коду 2) + +1. Для ініціалізації введіть наступний код: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Щоб побачити, як працює середовище, запустимо коротку симуляцію на 100 кроків. На кожному кроці ми надаємо одну з дій для виконання — у цій симуляції ми просто випадково вибираємо дію з `action_space`. + +1. Запустіть код нижче і подивіться, до чого це призведе. + + ✅ Пам’ятайте, що бажано запускати цей код на локальній установці Python! (блок коду 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Ви повинні побачити щось подібне до цього зображення: + +  + +1. Під час симуляції нам потрібно отримувати спостереження, щоб вирішити, як діяти. Насправді функція `step` повертає поточні спостереження, функцію винагороди та прапорець `done`, який вказує, чи має сенс продовжувати симуляцію: (блок коду 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + Ви побачите щось подібне до цього у виводі блокнота: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Вектор спостережень, який повертається на кожному кроці симуляції, містить наступні значення: + - Положення візка + - Швидкість візка + - Кут нахилу стовпа + - Швидкість обертання стовпа + +1. Отримайте мінімальне та максимальне значення цих чисел: (блок коду 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Ви також можете помітити, що значення винагороди на кожному кроці симуляції завжди дорівнює 1. Це тому, що наша мета — вижити якомога довше, тобто утримувати стовп у відносно вертикальному положенні максимально довгий час. + + ✅ Насправді симуляція CartPole вважається вирішеною, якщо ми зможемо отримати середню винагороду 195 за 100 послідовних спроб. + +## Дискретизація стану + +У Q-навчанні нам потрібно створити Q-таблицю, яка визначає, що робити в кожному стані. Щоб це зробити, стан має бути **дискретним**, точніше, він повинен містити кінцеву кількість дискретних значень. Таким чином, нам потрібно якось **дискретизувати** наші спостереження, відображаючи їх у кінцевий набір станів. + +Є кілька способів це зробити: + +- **Розділення на інтервали**. Якщо ми знаємо діапазон певного значення, ми можемо розділити цей діапазон на кілька **інтервалів** і замінити значення номером інтервалу, до якого воно належить. Це можна зробити за допомогою методу numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). У цьому випадку ми точно знатимемо розмір стану, оскільки він залежатиме від кількості інтервалів, які ми виберемо для дискретизації. + +✅ Ми можемо використовувати лінійну інтерполяцію, щоб привести значення до певного кінцевого діапазону (наприклад, від -20 до 20), а потім перетворити числа на цілі, округливши їх. Це дає нам трохи менше контролю над розміром стану, особливо якщо ми не знаємо точних діапазонів вхідних значень. Наприклад, у нашому випадку 2 із 4 значень не мають верхніх/нижніх меж, що може призвести до нескінченної кількості станів. + +У нашому прикладі ми використаємо другий підхід. Як ви помітите пізніше, незважаючи на невизначені верхні/нижні межі, ці значення рідко виходять за певні кінцеві інтервали, тому стани з екстремальними значеннями будуть дуже рідкісними. + +1. Ось функція, яка бере спостереження з нашої моделі та створює кортеж із 4 цілих значень: (блок коду 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Давайте також дослідимо інший метод дискретизації за допомогою інтервалів: (блок коду 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Тепер запустимо коротку симуляцію та спостерігатимемо ці дискретні значення середовища. Спробуйте обидва методи `discretize` та `discretize_bins` і подивіться, чи є різниця. + + ✅ `discretize_bins` повертає номер інтервалу, який починається з 0. Таким чином, для значень вхідної змінної близько 0 він повертає число з середини інтервалу (10). У `discretize` ми не враховували діапазон вихідних значень, дозволяючи їм бути від’ємними, тому значення стану не зміщені, і 0 відповідає 0. (блок коду 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Розкоментуйте рядок, який починається з `env.render`, якщо хочете побачити, як виконується середовище. В іншому випадку ви можете виконувати його у фоновому режимі, що швидше. Ми будемо використовувати це "невидиме" виконання під час процесу Q-навчання. + +## Структура Q-таблиці + +У попередньому уроці стан був простою парою чисел від 0 до 8, тому було зручно представляти Q-таблицю за допомогою тензора numpy з формою 8x8x2. Якщо ми використовуємо дискретизацію за інтервалами, розмір нашого вектора стану також відомий, тому ми можемо використовувати той самий підхід і представляти стан у вигляді масиву форми 20x20x10x10x2 (тут 2 — це розмірність простору дій, а перші розміри відповідають кількості інтервалів, які ми вибрали для кожного з параметрів у просторі спостережень). + +Однак іноді точні розміри простору спостережень невідомі. У випадку функції `discretize` ми ніколи не можемо бути впевнені, що наш стан залишається в певних межах, оскільки деякі з початкових значень не обмежені. Тому ми використаємо трохи інший підхід і представимо Q-таблицю у вигляді словника. + +1. Використовуйте пару *(state, action)* як ключ словника, а значення відповідатиме значенню запису в Q-таблиці. (блок коду 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Тут ми також визначаємо функцію `qvalues()`, яка повертає список значень Q-таблиці для заданого стану, що відповідає всім можливим діям. Якщо запис відсутній у Q-таблиці, ми повернемо 0 за замовчуванням. + +## Починаємо Q-навчання + +Тепер ми готові навчити Петра балансувати! + +1. Спочатку встановимо деякі гіперпараметри: (блок коду 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Тут `alpha` — це **швидкість навчання**, яка визначає, наскільки ми повинні коригувати поточні значення Q-таблиці на кожному кроці. У попередньому уроці ми починали з 1, а потім зменшували `alpha` до нижчих значень під час навчання. У цьому прикладі ми залишимо її сталою для простоти, і ви можете експериментувати з налаштуванням значень `alpha` пізніше. + + `gamma` — це **коефіцієнт дисконтування**, який показує, наскільки ми повинні віддавати перевагу майбутній винагороді над поточною. + + `epsilon` — це **фактор дослідження/експлуатації**, який визначає, чи повинні ми віддавати перевагу дослідженню чи експлуатації. У нашому алгоритмі ми в `epsilon` відсотках випадків вибиратимемо наступну дію відповідно до значень Q-таблиці, а в решті випадків виконуватимемо випадкову дію. Це дозволить нам досліджувати області простору пошуку, які ми раніше не бачили. + + ✅ У контексті балансування — вибір випадкової дії (дослідження) діятиме як випадковий поштовх у неправильному напрямку, і стовп повинен буде навчитися відновлювати рівновагу після цих "помилок". + +### Покращення алгоритму + +Ми також можемо зробити два покращення до нашого алгоритму з попереднього уроку: + +- **Обчислення середньої кумулятивної винагороди** за кілька симуляцій. Ми будемо виводити прогрес кожні 5000 ітерацій і усереднювати нашу кумулятивну винагороду за цей період часу. Це означає, що якщо ми отримаємо більше 195 балів — ми можемо вважати задачу вирішеною, навіть із вищою якістю, ніж потрібно. + +- **Обчислення максимальної середньої кумулятивної винагороди**, `Qmax`, і ми збережемо Q-таблицю, що відповідає цьому результату. Коли ви запустите навчання, ви помітите, що іноді середня кумулятивна винагорода починає знижуватися, і ми хочемо зберегти значення Q-таблиці, які відповідають найкращій моделі, спостереженій під час навчання. + +1. Збирайте всі кумулятивні винагороди на кожній симуляції у вектор `rewards` для подальшого побудови графіків. (блок коду 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Джен
- Ерік Ванджау
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Джен
- Ерік Ванджау
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Джен і Дмитро
- Ерік Ванджау
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Джен
- Ерік Ванджау
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Джен і Кессі
- Ерік Ванджау
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Джен і Кессі
- Ерік Ванджау
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Джен і Кессі
- Ерік Ванджау
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Джен
- Ерік Ванджау
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Джен
- Ерік Ванджау
.yml). Цей workflow буде обробляти процес збірки та розгортання. + +6. Моніторинг розгортання +Перейдіть до вкладки "Actions" у вашому GitHub репозиторії. +Ви повинні побачити запущений workflow. Цей workflow збере та розгорне ваш статичний веб-додаток на Azure. +Після завершення workflow ваш додаток буде доступний за наданою URL-адресою Azure. + +### Приклад файлу Workflow + +Ось приклад того, як може виглядати файл GitHub Actions workflow: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Додаткові ресурси +- [Документація Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Документація GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +--- + +**Відмова від відповідальності**: +Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/sketchnotes/LICENSE.md b/translations/uk/sketchnotes/LICENSE.md new file mode 100644 index 00000000..308383f0 --- /dev/null +++ b/translations/uk/sketchnotes/LICENSE.md @@ -0,0 +1,124 @@ + +Поширення на тих самих умовах 4.0 Міжнародна + +======================================================================= + +Корпорація Creative Commons ("Creative Commons") не є юридичною фірмою і не надає юридичних послуг або консультацій. Розповсюдження публічних ліцензій Creative Commons не створює відносин адвокат-клієнт або інших подібних відносин. Creative Commons надає свої ліцензії та пов’язану інформацію "як є". Creative Commons не надає жодних гарантій щодо своїх ліцензій, будь-яких матеріалів, ліцензованих відповідно до їхніх умов, або будь-якої пов’язаної інформації. Creative Commons відмовляється від будь-якої відповідальності за збитки, що виникають у результаті їх використання, наскільки це можливо за законом. + +Використання публічних ліцензій Creative Commons + +Публічні ліцензії Creative Commons забезпечують стандартний набір умов, які автори та інші правовласники можуть використовувати для поширення оригінальних творів і матеріалів, що підпадають під дію авторського права та певних інших прав, зазначених у публічній ліцензії нижче. Наступні зауваження надаються лише для інформаційних цілей, не є вичерпними і не є частиною наших ліцензій. + + Зауваження для ліцензіарів: Наші публічні ліцензії призначені для використання тими, хто має право надати публіці дозвіл на використання матеріалів у спосіб, який інакше обмежується авторським правом та іншими правами. Наші ліцензії є безвідкличними. Ліцензіари повинні ознайомитися з умовами ліцензії, яку вони обирають, перед її застосуванням. Ліцензіари також повинні забезпечити наявність усіх необхідних прав перед застосуванням наших ліцензій, щоб публіка могла використовувати матеріали відповідно до очікувань. Ліцензіари повинні чітко позначати будь-які матеріали, які не підпадають під дію ліцензії. Це включає інші матеріали, ліцензовані за CC, або матеріали, використані відповідно до винятків чи обмежень авторського права. Більше зауважень для ліцензіарів: + wiki.creativecommons.org/Considerations_for_licensors + + Зауваження для публіки: Використовуючи одну з наших публічних ліцензій, ліцензіар надає публіці дозвіл використовувати ліцензовані матеріали на умовах, зазначених у ліцензії. Якщо дозвіл ліцензіара не потрібен з будь-якої причини — наприклад, через застосування винятків чи обмежень авторського права — тоді таке використання не регулюється ліцензією. Наші ліцензії надають лише дозволи в межах авторського права та певних інших прав, які ліцензіар має право надавати. Використання ліцензованих матеріалів може бути обмежене з інших причин, включаючи права інших осіб на матеріали. Ліцензіар може робити спеціальні запити, наприклад, просити позначати або описувати всі зміни. Хоча це не є обов’язковим за нашими ліцензіями, ми рекомендуємо поважати такі запити, якщо це розумно. Більше зауважень для публіки: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Публічна ліцензія Creative Commons Attribution-ShareAlike 4.0 International + +Використовуючи Ліцензовані Права (визначені нижче), Ви приймаєте і погоджуєтеся дотримуватися умов цієї Публічної ліцензії Creative Commons Attribution-ShareAlike 4.0 International ("Публічна ліцензія"). У тій мірі, в якій ця Публічна ліцензія може бути інтерпретована як договір, Ви отримуєте Ліцензовані Права в обмін на прийняття цих умов, а Ліцензіар надає Вам такі права в обмін на вигоди, які Ліцензіар отримує від надання Ліцензованого Матеріалу на цих умовах. + +Розділ 1 — Визначення. + + a. Адаптований Матеріал означає матеріал, що підпадає під дію авторського права та подібних прав, який створений на основі Ліцензованого Матеріалу або є його похідним, і в якому Ліцензований Матеріал перекладено, змінено, упорядковано, трансформовано або іншим чином модифіковано у спосіб, що вимагає дозволу відповідно до авторського права та подібних прав, які належать Ліцензіару. Для цілей цієї Публічної ліцензії, якщо Ліцензований Матеріал є музичним твором, виконанням або звуковим записом, Адаптований Матеріал завжди створюється, коли Ліцензований Матеріал синхронізується у часовому зв’язку з рухомим зображенням. + + b. Ліцензія Адаптера означає ліцензію, яку Ви застосовуєте до своїх авторських прав та подібних прав у Ваших внесках до Адаптованого Матеріалу відповідно до умов цієї Публічної ліцензії. + + c. Сумісна ліцензія BY-SA означає ліцензію, зазначену на creativecommons.org/compatiblelicenses, затверджену Creative Commons як еквівалентну цій Публічній ліцензії. + + d. Авторське право та подібні права означають авторське право та/або подібні права, тісно пов’язані з авторським правом, включаючи, але не обмежуючись, права на виконання, трансляцію, звуковий запис та sui generis права на бази даних, незалежно від того, як ці права позначені чи класифіковані. Для цілей цієї Публічної ліцензії права, зазначені в Розділі 2(b)(1)-(2), не є Авторським правом та подібними правами. + + e. Ефективні технологічні заходи означають ті заходи, які, за відсутності належного дозволу, не можуть бути обійдені відповідно до законів, що виконують зобов’язання за статтею 11 Договору ВОІВ про авторське право, прийнятого 20 грудня 1996 року, та/або подібних міжнародних угод. + + f. Винятки та обмеження означають добросовісне використання, добросовісну практику та/або будь-які інші винятки чи обмеження авторського права та подібних прав, які застосовуються до Вашого використання Ліцензованого Матеріалу. + + g. Елементи ліцензії означають атрибути ліцензії, зазначені в назві Публічної ліцензії Creative Commons. Елементи ліцензії цієї Публічної ліцензії — це Атрибуція та Поширення на тих самих умовах. + + h. Ліцензований Матеріал означає художній або літературний твір, базу даних або інший матеріал, до якого Ліцензіар застосував цю Публічну ліцензію. + + i. Ліцензовані Права означають права, надані Вам відповідно до умов цієї Публічної ліцензії, які обмежуються всіма Авторськими правами та подібними правами, що застосовуються до Вашого використання Ліцензованого Матеріалу і які Ліцензіар має право ліцензувати. + + j. Ліцензіар означає фізичну(их) або юридичну(их) особу(осіб), яка надає права за цією Публічною ліцензією. + + k. Поширювати означає надавати матеріал публіці будь-яким способом або процесом, що вимагає дозволу відповідно до Ліцензованих Прав, таких як відтворення, публічний показ, публічне виконання, розповсюдження, передача, комунікація або імпорт, а також робити матеріал доступним для публіки, включаючи способи, за допомогою яких члени публіки можуть отримати доступ до матеріалу з обраного ними місця та в обраний час. + + l. Sui Generis права на бази даних означають права, відмінні від авторського права, що виникають у результаті Директиви 96/9/ЄС Європейського парламенту та Ради від 11 березня 1996 року про правовий захист баз даних, з поправками та/або наступними змінами, а також інші еквівалентні права в будь-якій точці світу. + + m. Ви означає фізичну або юридичну особу, яка використовує Ліцензовані Права за цією Публічною ліцензією. Ваш має відповідне значення. +Права, а також база даних, у якій Ви маєте права sui generis на базу даних (але не на її окремі елементи), є адаптованим матеріалом, + +включаючи для цілей Розділу 3(b); і +c. Ви повинні дотримуватися умов Розділу 3(a), якщо Ви поширюєте всю або значну частину вмісту бази даних. + +Для уникнення непорозумінь, цей Розділ 4 доповнює і не замінює Ваші зобов’язання за цією Публічною Ліцензією, якщо Ліцензовані Права включають інші авторські права та подібні права. + +--- + +Розділ 5 — Відмова від гарантій та обмеження відповідальності. + +a. ЯКЩО ІНШЕ НЕ ПЕРЕДБАЧЕНО ЛІЦЕНЗІАРОМ ОКРЕМО, НАСКІЛЬКИ ЦЕ МОЖЛИВО, ЛІЦЕНЗІАР НАДАЄ ЛІЦЕНЗОВАНИЙ МАТЕРІАЛ "ЯК Є" І "ЯК ДОСТУПНО", І НЕ НАДАЄ ЖОДНИХ ЗАЯВ АБО ГАРАНТІЙ ЩОДО ЛІЦЕНЗОВАНОГО МАТЕРІАЛУ, ЧИ ТО ЯВНИХ, ЧИ ТО НЕЯВНИХ, СТАТУТНИХ АБО ІНШИХ. ЦЕ ВКЛЮЧАЄ, БЕЗ ОБМЕЖЕНЬ, ГАРАНТІЇ ПРАВА ВЛАСНОСТІ, ПРИДАТНОСТІ ДЛЯ ПРОДАЖУ, ПРИДАТНОСТІ ДЛЯ ПЕВНОЇ МЕТИ, ВІДСУТНОСТІ ПОРУШЕНЬ, ВІДСУТНОСТІ ПРИХОВАНИХ АБО ІНШИХ ДЕФЕКТІВ, ТОЧНОСТІ АБО НАЯВНОСТІ ЧИ ВІДСУТНОСТІ ПОМИЛОК, НЕЗАЛЕЖНО ВІД ТОГО, ЧИ ВІДОМІ ВОНИ АБО МОЖУТЬ БУТИ ВИЯВЛЕНІ. ДЕ ВІДМОВА ВІД ГАРАНТІЙ НЕ ДОЗВОЛЕНА ПОВНІСТЮ АБО ЧАСТКОВО, ЦЯ ВІДМОВА МОЖЕ НЕ ЗАСТОСОВУВАТИСЯ ДО ВАС. + +b. НАСКІЛЬКИ ЦЕ МОЖЛИВО, ЛІЦЕНЗІАР НІ ЗА ЯКИХ ОБСТАВИН НЕ НЕСЕ ВІДПОВІДАЛЬНОСТІ ПЕРЕД ВАМИ ЗА ЖОДНОЮ ЮРИДИЧНОЮ ТЕОРІЄЮ (ВКЛЮЧАЮЧИ, БЕЗ ОБМЕЖЕНЬ, НЕДБАЛІСТЬ) АБО ІНШИМИ ЗА БУДЬ-ЯКІ ПРЯМІ, ОСОБЛИВІ, НЕПРЯМІ, ВИПАДКОВІ, ПОБІЧНІ, ШТРАФНІ, ПРИКЛАДНІ АБО ІНШІ ЗБИТКИ, ВИТРАТИ, ВИТРАТИ АБО ШКОДУ, ЩО ВИНИКАЮТЬ У ЗВ’ЯЗКУ З ЦІЄЮ ПУБЛІЧНОЮ ЛІЦЕНЗІЄЮ АБО ВИКОРИСТАННЯМ ЛІЦЕНЗОВАНОГО МАТЕРІАЛУ, НАВІТЬ ЯКЩО ЛІЦЕНЗІАР БУВ ПОПЕРЕДЖЕНИЙ ПРО МОЖЛИВІСТЬ ТАКИХ ЗБИТКІВ, ВИТРАТ, ВИТРАТ АБО ШКОДИ. ДЕ ОБМЕЖЕННЯ ВІДПОВІДАЛЬНОСТІ НЕ ДОЗВОЛЕНЕ ПОВНІСТЮ АБО ЧАСТКОВО, ЦЕ ОБМЕЖЕННЯ МОЖЕ НЕ ЗАСТОСОВУВАТИСЯ ДО ВАС. + +c. Відмова від гарантій та обмеження відповідальності, зазначені вище, повинні тлумачитися таким чином, щоб, наскільки це можливо, максимально наближатися до абсолютної відмови та відмови від усієї відповідальності. + +--- + +Розділ 6 — Термін дії та припинення. + +a. Ця Публічна Ліцензія діє протягом терміну дії авторських прав та подібних прав, ліцензованих тут. Однак, якщо Ви не дотримуєтеся цієї Публічної Ліцензії, Ваші права за цією Публічною Ліцензією автоматично припиняються. + +b. Якщо Ваше право використовувати Ліцензований Матеріал було припинено відповідно до Розділу 6(a), воно відновлюється: + +1. автоматично з дати усунення порушення, за умови, що це порушення усунуто протягом 30 днів з моменту його виявлення; або +2. за явним відновленням Ліцензіаром. + +Для уникнення непорозумінь, цей Розділ 6(b) не впливає на будь-яке право Ліцензіара вимагати відшкодування за Ваші порушення цієї Публічної Ліцензії. + +c. Для уникнення непорозумінь, Ліцензіар також може пропонувати Ліцензований Матеріал на інших умовах або припинити його розповсюдження в будь-який час; однак це не припиняє дію цієї Публічної Ліцензії. + +d. Розділи 1, 5, 6, 7 і 8 залишаються чинними після припинення дії цієї Публічної Ліцензії. + +--- + +Розділ 7 — Інші умови. + +a. Ліцензіар не зобов’язаний дотримуватися будь-яких додаткових або відмінних умов, повідомлених Вами, якщо вони не були явно погоджені. + +b. Будь-які домовленості, розуміння або угоди щодо Ліцензованого Матеріалу, не зазначені тут, є окремими та незалежними від умов цієї Публічної Ліцензії. + +--- + +Розділ 8 — Тлумачення. + +a. Для уникнення непорозумінь, ця Публічна Ліцензія не зменшує, не обмежує, не накладає умов або не накладає обмежень на будь-яке використання Ліцензованого Матеріалу, яке може бути законно здійснене без дозволу за цією Публічною Ліцензією. + +b. Наскільки це можливо, якщо будь-яке положення цієї Публічної Ліцензії вважається таким, що не може бути виконаним, воно автоматично реформується до мінімального ступеня, необхідного для його виконання. Якщо положення не може бути реформоване, воно відокремлюється від цієї Публічної Ліцензії без впливу на виконання інших умов. + +c. Жодна умова цієї Публічної Ліцензії не буде відмовлена, і жодне недотримання не буде погоджене, якщо це не було явно погоджено Ліцензіаром. + +d. Ніщо в цій Публічній Ліцензії не становить або не може бути витлумачено як обмеження або відмова від будь-яких привілеїв та імунітетів, які застосовуються до Ліцензіара або Вас, включаючи юридичні процеси будь-якої юрисдикції або органу. + +--- + +======================================================================= + +Creative Commons не є стороною своїх публічних ліцензій. Незважаючи на це, Creative Commons може обрати застосування однієї зі своїх публічних ліцензій до матеріалу, який вона публікує, і в таких випадках буде вважатися "Ліцензіаром". Текст публічних ліцензій Creative Commons присвячений суспільному надбанню відповідно до CC0 Public Domain Dedication. За винятком обмеженої мети вказівки на те, що матеріал поширюється за публічною ліцензією Creative Commons або як це дозволено політиками Creative Commons, опублікованими на creativecommons.org/policies, Creative Commons не дозволяє використання торгової марки "Creative Commons" або будь-якої іншої торгової марки чи логотипу Creative Commons без попередньої письмової згоди, включаючи, без обмежень, у зв’язку з будь-якими несанкціонованими змінами до будь-якої з її публічних ліцензій або будь-якими іншими домовленостями, розуміннями або угодами щодо використання ліцензованого матеріалу. Для уникнення непорозумінь, цей абзац не є частиною публічних ліцензій. + +Creative Commons можна зв’язатися за адресою creativecommons.org. + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file diff --git a/translations/uk/sketchnotes/README.md b/translations/uk/sketchnotes/README.md new file mode 100644 index 00000000..26b86aba --- /dev/null +++ b/translations/uk/sketchnotes/README.md @@ -0,0 +1,21 @@ + +Усі скетчноти навчальної програми можна завантажити тут. + +🖨 Для друку у високій роздільній здатності доступні версії у форматі TIFF у [цьому репозиторії](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Створено: [Томомі Імура](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +--- + +**Відмова від відповідальності**: +Цей документ було перекладено за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, зверніть увагу, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ мовою оригіналу слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникли внаслідок використання цього перекладу. \ No newline at end of file